(57)【特許請求の範囲】
【請求項１】
マルチメディア・シーケンスのビデオの基準品質及び前記ビデオの最終品質と前記マルチメディア・シーケンスのオーディオの基準品質及び前記オーディオの最終品質とを入手するステップと、
前記ビデオの前記基準品質及び前記オーディオの前記基準品質に従って前記マルチメディア・シーケンスの基準品質を判定するステップと、
前記ビデオの前記基準品質、前記ビデオの前記最終品質、前記オーディオの前記基準品質、及び前記オーディオの前記最終品質に従って前記マルチメディア・シーケンスのひずみ値を判定するステップと、
前記マルチメディア・シーケンスの前記基準品質及び前記マルチメディア・シーケンスの前記ひずみ値に従って前記マルチメディア・シーケンスのマルチメディア品質を判定するステップと
を含む、マルチメディア品質を評価する方法。
【請求項２】
前記ビデオの前記基準品質、前記ビデオの前記最終品質、前記オーディオの前記基準品質、及び前記オーディオの前記最終品質に従って前記マルチメディア・シーケンスのひずみ値を判定する前記ステップは、
前記ビデオの前記基準品質及び前記ビデオの前記最終品質に従って前記ビデオのひずみ値を判定するステップと、
前記オーディオの前記基準品質及び前記オーディオの前記最終品質に従って前記オーディオのひずみ値を判定するステップと、
前記ビデオの前記ひずみ値及び前記オーディオの前記ひずみ値に従って前記マルチメディア・シーケンスの前記ひずみ値を判定するステップと
を含む、請求項１に記載の方法。
【請求項３】
前記ビデオの前記ひずみ値及び前記オーディオの前記ひずみ値に従って前記マルチメディア・シーケンスの前記ひずみ値を判定する前記ステップは、
前記ビデオの前記基準品質及び前記ビデオの前記ひずみ値に従って前記ビデオのひずみ係数を判定するステップと、
前記オーディオの前記基準品質及び前記オーディオの前記ひずみ値に従って前記オーディオのひずみ係数を判定するステップと、
前記ビデオの前記ひずみ係数及び前記オーディオの前記ひずみ係数に従って前記マルチメディア・シーケンスのひずみ係数を判定するステップと、
前記マルチメディア・シーケンスの前記基準品質及び前記マルチメディア・シーケンスの前記ひずみ係数に従って前記マルチメディア・シーケンスの前記ひずみ値を判定するステップと
を含む、請求項２に記載の方法。
【請求項４】
前記ビデオの前記ひずみ係数及び前記オーディオの前記ひずみ係数に従って前記マルチメディア・シーケンスのひずみ係数を判定する前記ステップは、
次式に従って前記マルチメディア・シーケンスのひずみ係数ｄａｖを判定するステップであり、
【数１９】
0006010685.tif 000020
ｄｖ及びｄａは、それぞれ、前記ビデオの前記ひずみ係数及び前記オーディオの前記ひずみ係数であり、ａ５、ａ６、及びａ７は、定数である、ステップ
を含む、請求項３に記載の方法。
【請求項５】
マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するステップであり、ここで、Ｎは正の整数であり、Ｎは２以上である、ステップと、
前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価するステップと、
前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントの前記マルチメディア品質に従って前記マルチメディア・シーケンスのマルチメディア品質を判定するステップと
を含み、
前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価する前記ステップは、
各マルチメディア・セグメントのビデオの基準品質及び前記ビデオの最終品質と、各マルチメディア・セグメントのオーディオの基準品質及び前記オーディオの最終品質とを入手するステップと、
前記ビデオの前記基準品質及び前記オーディオの前記基準品質に従って各マルチメディア・セグメントの基準品質を判定するステップと、
前記ビデオの前記基準品質、前記ビデオの前記最終品質、前記オーディオの前記基準品質、及び前記オーディオの前記最終品質に従って各マルチメディア・セグメントのひずみ値を判定するステップと、
各マルチメディア・セグメントの前記基準品質及び各マルチメディア・セグメントの前記ひずみ値に従って各マルチメディア・セグメントの前記マルチメディア品質を判定するステップと
を含む、マルチメディア品質を評価する方法。
【請求項６】
前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価する前記ステップは、
各マルチメディア・セグメントのオーディオ及びビデオの非同期の影響係数を入手するステップ
をさらに含み、各マルチメディア・セグメントの前記基準品質及び各マルチメディア・セグメントの前記ひずみ値に従って各マルチメディア・セグメントの前記マルチメディア品質を判定する前記ステップは、
各マルチメディア・セグメントの前記基準品質、各マルチメディア・セグメントの前記ひずみ値、及び各マルチメディア・セグメントのオーディオ及びビデオの非同期の前記影響係数に従って各マルチメディア・セグメントの前記マルチメディア品質を判定するステップ
を含む、請求項５に記載の方法。
【請求項７】
マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割する前記ステップは、
持続時間に従って前記マルチメディア・シーケンスを前記Ｎ個のマルチメディア・セグメントに分割するステップ、又は
マルチメディア品質、ビデオ品質、若しくはオーディオ品質のレベルに従って前記マルチメディア・シーケンスを前記Ｎ個のマルチメディア・セグメントに分割するステップ
を含む、請求項５又は６に記載の方法。
【請求項８】
前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントの前記マルチメディア品質に従って前記マルチメディア・シーケンスのマルチメディア品質を判定する前記ステップは、
Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって前記マルチメディア・シーケンスの前記マルチメディア品質を判定するステップであり、前記Ｋ個のマルチメディア・セグメントは、前記Ｎ個のマルチメディア・セグメントのうちで最悪のマルチメディア品質を有する前記Ｋ個のマルチメディア・セグメントであり、Ｋは、正の整数であり、Ｋは、１以上Ｎ未満である、ステップ
を含む、請求項５又は６に記載の方法。
【請求項９】
マルチメディア・シーケンスのビデオの基準品質及び前記ビデオの最終品質と前記マルチメディア・シーケンスのオーディオの基準品質及び前記オーディオの最終品質とを入手するように構成された第１の入手モジュールと、
前記第１の入手モジュールによって入手される前記ビデオの前記基準品質及び前記オーディオの前記基準品質に従って前記マルチメディア・シーケンスの基準品質を判定するように構成された基準品質判定モジュールと、
前記第１の入手モジュールによって入手される前記ビデオの前記基準品質、前記ビデオの前記最終品質、前記オーディオの前記基準品質、及び前記オーディオの前記最終品質に従って前記マルチメディア・シーケンスのひずみ値を判定するように構成されたひずみ値判定モジュールと、
前記基準品質判定モジュールによって判定される前記マルチメディア・シーケンスの前記基準品質及び前記ひずみ値判定モジュールによって判定される前記マルチメディア・シーケンスの前記ひずみ値に従って前記マルチメディア・シーケンスのマルチメディア品質を判定するように構成されたマルチメディア品質判定モジュールと
を含む、マルチメディア品質を評価する装置。
【請求項１０】
前記ひずみ値判定モジュールは、
前記ビデオの前記基準品質及び前記ビデオの前記最終品質に従って前記ビデオのひずみ値を判定するように構成された第１の判定ユニットと、
前記オーディオの前記基準品質及び前記オーディオの前記最終品質に従って前記オーディオのひずみ値を判定するように構成された第２の判定ユニットと、
前記ビデオの前記ひずみ値及び前記オーディオの前記ひずみ値に従って前記マルチメディア・シーケンスの前記ひずみ値を判定するように構成された第３の判定ユニットと
を含む、請求項９に記載の装置。
【請求項１１】
前記第３の判定ユニットは、
前記ビデオの前記基準品質及び前記ビデオの前記ひずみ値に従って前記ビデオのひずみ係数を判定するように構成された第１の判定サブユニットと、
前記オーディオの前記基準品質及び前記オーディオの前記ひずみ値に従って前記オーディオのひずみ係数を判定するように構成された第２の判定サブユニットと、
前記ビデオの前記ひずみ係数及び前記オーディオの前記ひずみ係数に従って前記マルチメディア・シーケンスのひずみ係数を判定するように構成された第３の判定サブユニットと、
前記マルチメディア・シーケンスの前記基準品質及び前記マルチメディア・シーケンスの前記ひずみ係数に従って前記マルチメディア・シーケンスの前記ひずみ値を判定するように構成された第４の判定サブユニットと
を含む、請求項１０に記載の装置。
【請求項１２】
前記第３の判定サブユニットは、次式に従って前記マルチメディア・シーケンスのひずみ係数ｄａｖを判定するようにさらに構成され、
【数２０】
0006010685.tif 000021
ｄｖ及びｄａは、それぞれ、前記ビデオの前記ひずみ係数及び前記オーディオの前記ひずみ係数であり、ａ５、ａ６、及びａ７は、定数である、
請求項１１に記載の装置。
【請求項１３】
マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するように構成されたセグメント化モジュールであり、ここで、Ｎは、正の整数であり、Ｎは、２以上である、セグメント化モジュールと、
前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価するように構成された評価モジュールと、
前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントの前記マルチメディア品質に従って前記マルチメディア・シーケンスのマルチメディア品質を判定するように構成された処理モジュールと
を含み、
前記評価モジュールは、
各マルチメディア・セグメントのビデオの基準品質及び前記ビデオの最終品質と、各マルチメディア・セグメントのオーディオの基準品質及び前記オーディオの最終品質とを入手するように構成された第１の入手ユニットと、
前記ビデオの前記基準品質及び前記オーディオの前記基準品質に従って各マルチメディア・セグメントの基準品質を判定するように構成された基準品質判定ユニットと、
前記ビデオの前記基準品質、前記ビデオの前記最終品質、前記オーディオの前記基準品質、及び前記オーディオの前記最終品質に従って各マルチメディア・セグメントのひずみ値を判定するように構成されたひずみ値判定ユニットと、
各マルチメディア・セグメントの前記基準品質及び各マルチメディア・セグメントの前記ひずみ値に従って各マルチメディア・セグメントの前記マルチメディア品質を判定するように構成された評価ユニットと
を含む、マルチメディア品質を評価する装置。
【請求項１４】
前記評価モジュールは、
各マルチメディア・セグメントのオーディオ及びビデオの非同期の影響係数を入手するように構成された第２の入手ユニット
をさらに含み、前記評価ユニットは、各マルチメディア・セグメントの前記基準品質、各マルチメディア・セグメントの前記ひずみ値、及び各マルチメディア・セグメントのオーディオ及びビデオの非同期の前記影響係数に従って各マルチメディア・セグメントの前記マルチメディア品質を判定するようにさらに構成される、
請求項１３に記載の装置。
【請求項１５】
前記セグメント化モジュールは、
持続時間に従って前記マルチメディア・シーケンスを前記Ｎ個のマルチメディア・セグメントに分割するように構成された第１のセグメント化ユニット、又は
マルチメディア品質、ビデオ品質、若しくはオーディオ品質のレベルに従って前記マルチメディア・シーケンスを前記Ｎ個のマルチメディア・セグメントに分割するように構成された第２のセグメント化ユニット
を含む、請求項１３又は１４に記載の装置。
【請求項１６】
コンピュータに請求項１から８のいずれか一項に記載の方法を実行させるプログラムが記録されたコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアの分野に関し、詳細には、マルチメディア品質を評価する方法及び装置に関する。
【背景技術】
【０００２】
ネットワーク技術の発展及びマルチメディアの新時代の到来に伴って、ビデオ・オン・デマンド、ウェブ・テレビジョン、ビデオ電話などが、ブロードバンド・ネットワークの主要なサービスになっており、これらのサービスは、第３世代（３Ｇ）無線ネットワークの主要なサービスにもなる。さまざまなマルチメディア処理技術及びマルチメディア通信技術は次々に現れる。マルチメディア・サービスに関して、データの量が多く、リアルタイム性能の要件が高く、ユーザの感度が強い。したがって、マルチメディア品質評価が、マルチメディア通信機器の製造業者及びオペレータにとって非常に重要な意味を有する。機器製造業者が、あるシステムの納得させるマルチメディア品質評価結果を提供できる場合に、これは、機器製造業者の製品の販売を促進するという非常に大きい効果を有し、オペレータについて、マルチメディア品質評価データを、オペレータのサービス販売促進及び宣伝に使用することができる。さらに、自動的なリアルタイムのマルチメディア品質評価方法を開発できる場合に、機器製造業者とオペレータとの両方が、問題を突き止め、故障を診断するのを助けるために、この実施態様に基づいてマルチメディア・デバイスに対してリアルタイム監視を実行して、マルチメディア・サービスを経験する上でのユーザの要件を保証することができる。
【０００３】
マルチメディア品質は、オリジナル信号に対するディジタル・マルチメディアのひずみを測定するための測定値である。マルチメディア通信品質に影響する主要な要因は、ビデオ品質、オーディオ品質、ビデオひずみレベル、及びオーディオひずみレベルである。マルチメディア・シーケンス内のビデオ信号及びオーディオ信号は、サンプリング、量子化、圧縮符号化、ネットワーク伝送、復号、及びアナログ信号の回復などのフェーズを通過する必要があり、誤り及び情報ひずみは、各フェーズで導入される可能性があり、低いユーザ満足度をもたらす。オーディオ又はビデオの損傷とひずみとの両方が、下落したマルチメディア経験を引き起こし、したがって、ビデオ品質及びオーディオ品質の組合せに従ってマルチメディア品質をどのようにして入手するのかが、主要な問題になる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的なマルチメディア品質評価方法は、まず、ネットワーク損傷があるという条件でマルチメディア・シーケンス内のオーディオ・シーケンス品質及びビデオ・シーケンス品質を別々に評価し、その後、マルチメディア品質を入手するために特定の多項式を使用することによって、オーディオ・シーケンス品質及びビデオ・シーケンス品質を組み合わせる。
【０００５】
ネットワーク上のパケットロスがないときには、オーディオとビデオとの両方が、比較的安定した基準品質を有し、マルチメディア品質に関する人の印象は、オーディオ及びビデオを直接に組み合わせることによって得られる基準品質である。しかし、パケットロスがあるときには、人は、元々は安定していたマルチメディア品質が突然の品質劣化に出会う、すなわち、パケットロスによって引き起こされるマルチメディア・シーケンスのひずみを感じるが、ビデオ及びオーディオが、パケットロスの場合に、組み合わされる前に別々に評価されるわけではない。既存のマルチメディア品質評価方法は、マルチメディア・シーケンスに対するパケットロス及びマルチメディア・シーケンスのひずみの影響を直接に反映することができず、人の主観的印象と一致しない。
【０００６】
本発明の実施形態は、人の主観的印象と一致し、マルチメディア品質を正確に有効に評価できる、マルチメディア品質を評価する方法及び装置を提供する。
【課題を解決するための手段】
【０００７】
一態様によれば、本発明の実施形態は、マルチメディア品質を評価する方法であって、マルチメディア・シーケンスのビデオの基準品質及びビデオの最終品質とマルチメディア・シーケンスのオーディオの基準品質及びオーディオの最終品質とを入手し、ビデオの基準品質及びオーディオの基準品質に従ってマルチメディア・シーケンスの基準品質を判定し、ビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従ってマルチメディア・シーケンスのひずみ値を判定し、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することを含む方法を提供する。
【０００８】
もう１つの態様によれば、本発明の実施形態は、マルチメディア品質を評価する方法であって、マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割し、ここで、Ｎは正の整数であり、Ｎは２以上であり、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価し、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定することを含む方法を提供する。
【０００９】
もう１つの態様によれば、本発明の実施形態は、マルチメディア品質を評価する装置であって、マルチメディア・シーケンスのビデオの基準品質及びビデオの最終品質とマルチメディア・シーケンスのオーディオの基準品質及びオーディオの最終品質とを入手するように構成された第１の入手モジュールと、第１の入手モジュールによって入手されるビデオの基準品質及びオーディオの基準品質に従ってマルチメディア・シーケンスの基準品質を判定するように構成された基準品質判定モジュールと、第１の入手モジュールによって入手されるビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従ってマルチメディア・シーケンスのひずみ値を判定するように構成されたひずみ値判定モジュールと、基準品質判定モジュールによって判定されるマルチメディア・シーケンスの基準品質及びひずみ値判定モジュールによって判定されるマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定するように構成されたマルチメディア品質判定モジュールとを含む装置を提供する。
【００１０】
もう１つの態様によれば、本発明の実施形態は、マルチメディア品質を評価する装置であって、マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するように構成されたセグメント化モジュールであり、ここで、Ｎは正の整数であり、Ｎは２以上である、セグメント化モジュールと、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価するように構成された評価モジュールと、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定するように構成された処理モジュールとを含む装置を提供する。
【００１１】
前述の技術的解決策に基づいて、本発明の実施形態によるマルチメディア品質を評価する方法及び装置は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、人の主観的印象と一致するマルチメディア・シーケンスのひずみを直接に反映することができ、したがって、マルチメディア品質を正確に効果的に評価することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態による、マルチメディア品質を評価する方法を示す概略流れ図である。
【図２】本発明の実施形態による、マルチメディア・シーケンスのひずみ値を判定する方法を示す概略流れ図である。
【図３】本発明の実施形態による、マルチメディア品質を評価する方法を示すもう１つの概略流れ図である。
【図４】本発明の実施形態による、マルチメディア品質を評価する方法を示すもう１つの概略流れ図である。
【図５】本発明のもう１つの実施形態による、マルチメディア品質を評価する方法を示す概略流れ図である。
【図６】本発明の実施形態による、マルチメディア品質を評価する装置を示す概略ブロック図である。
【図７】本発明の実施形態による、ひずみ値判定モジュールを示す概略ブロック図である。
【図８】本発明の実施形態による、マルチメディア品質を評価する装置を示すもう１つの概略ブロック図である。
【図９】本発明のもう１つの実施形態による、マルチメディア品質を評価する装置を示す概略ブロック図である。
【発明を実施するための形態】
【００１３】
本発明の実施形態における技術的解決策をより明瞭に説明するために、以下では、本発明の実施形態を説明するのに必要な添付図面を簡単に紹介する。明らかに、以下の説明の添付図面は、単に本発明のいくつかの実施形態を示すものであり、当業者は、創作的努力なしでこれらの添付図面から他の図面を導出することができる。
【００１４】
以下では、本発明の実施形態における添付図面を参照して本発明の実施形態における技術的解決策を明瞭かつ完全に説明する。明らかに、説明される実施形態は、本発明の実施形態のすべてではなく一部である。創作的努力なしで本発明の実施形態に基づいて当業者が入手するすべての他の実施形態は、本発明の保護範囲に含まれなければならない。
【００１５】
図１は、本発明の実施形態による、マルチメディア品質を評価する方法１００の概略流れ図である。図１に示されているように、方法１００は、以下を含む。
【００１６】
Ｓ１１０  マルチメディア・シーケンスのビデオの基準品質及びビデオの最終品質とマルチメディア・シーケンスのオーディオの基準品質及びオーディオの最終品質とを入手する。
【００１７】
Ｓ１２０  ビデオの基準品質及びオーディオの基準品質に従ってマルチメディア・シーケンスの基準品質を判定する。
【００１８】
Ｓ１３０  ビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従ってマルチメディア・シーケンスのひずみ値を判定する。
【００１９】
Ｓ１４０  マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定する。
【００２０】
マルチメディア品質に関する人の印象は、ひずみが安定したマルチメディア基準品質に重畳されることである。マルチメディア基準品質が記述するものは、マルチメディア内のビデオ又はオーディオの符号化圧縮によって引き起こされるマルチメディア圧縮品質である。パケットロス又はマルチメディアのフリーズなどの要因に起因して、人は、マルチメディア・シーケンスのひずみを感じる。ひずみは、基準品質に対する相対劣化レベル、すなわち、比較的安定な基準品質からのマルチメディア品質劣化である。本発明のこの実施形態では、マルチメディア・シーケンスのビデオの基準品質及びビデオの最終品質並びにマルチメディア・シーケンスのオーディオの基準品質及びオーディオの最終品質が入手された後に、マルチメディア・シーケンスの基準品質は、ビデオの基準品質及びオーディオの基準品質に従って判定され、マルチメディア・シーケンスのひずみ値は、ビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従って判定され、最後に、マルチメディア・シーケンスのマルチメディア品質は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従って判定される。このように、マルチメディア・シーケンスのひずみは、総合的に理解されるのであって、ビデオ及びオーディオが別々に理解された後の組合せではない。
【００２１】
したがって、本発明のこの実施形態によるマルチメディア品質を評価する方法は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、マルチメディア・シーケンスのひずみを直接に反映することができ、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。
【００２２】
Ｓ１１０では、マルチメディア・シーケンスのビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質が、入手される。ビデオの基準品質は、ビデオの符号化圧縮に起因して引き起こされるビデオ圧縮品質であり、具体的には、異なる符号化タイプ及び解像度を有するビデオの符号化ビット・レートに従う計算を介して入手することができ、オーディオの基準品質は、オーディオの符号化圧縮に起因して引き起こされるオーディオ圧縮品質であり、具体的には、異なる符号化タイプ、サンプリング周波数、チャネル数などを有するオーディオの符号化ビット・レートに従う計算を介して入手することができる。ビデオの最終品質及びオーディオの最終品質は、ネットワーク損傷（たとえば、パケットロス、ジッタ、その他）は、ビデオ及びオーディオで別々に発生する場合の、マルチメディア・シーケンスのビデオ及びオーディオの入手された最終的な経験品質であり、具体的には、マルチメディア・シーケンスに対してオーディオ分析及びビデオ分析を実行することによる計算を介して入手することができる。
【００２３】
Ｓ１２０では、マルチメディア・シーケンスの基準品質を、ビデオの基準品質及びオーディオの基準品質に従って判定する。本発明のこの実施形態は、マルチメディア・シーケンスの基準品質が判定される特定の方法を限定しない。たとえばマルチメディア・シーケンスの基準品質Ｑａｖ’を、次式（１）によって判定することができる。
Ｑａｖ’＝ａ１・Ｑｖ＿ｃｏｄｉｎｇ＋ａ２・Ｑａ＿ｃｏｄｉｎｇ＋ａ３・Ｑｖ＿ｃｏｄｉｎｇ・Ｑａ＿ｃｏｄｉｎｇ＋ａ４    （１）
ここで、Ｑｖ＿ｃｏｄｉｎｇ及びＱａ＿ｃｏｄｉｎｇは、それぞれビデオの基準品質及びオーディオの基準品質であり、ａ１、ａ２、ａ３、及びａ４は、ビデオの空間解像度及び表示モードに関するパラメータであり、その値は、データ・トレーニングを使用することによって入手され、基本的にすべてが０と１との間の小数であり、たとえば、解像度が（１２８×９６）のときに、ａ１＝０．２０７９６２、ａ２＝０．１２４３６５、ａ３＝０．１７９０１８、ａ４＝０．５４５６である。
【００２４】
Ｓ１３０では、マルチメディア・シーケンスのひずみ値が、ビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従って判定される。図２に示されているように、Ｓ１３０は、以下をも含む。
【００２５】
Ｓ１３１  ビデオの基準品質及びビデオの最終品質に従ってビデオのひずみ値を判定する。
【００２６】
Ｓ１３２  オーディオの基準品質及びオーディオの最終品質に従ってオーディオのひずみ値を判定する。
【００２７】
Ｓ１３３  ビデオのひずみ値及びオーディオのひずみ値に従ってマルチメディア・シーケンスのひずみ値を判定する。
【００２８】
ビデオのひずみ値は、ビデオの基準品質からビデオの最終品質を減算することによって入手することができ、オーディオのひずみ値は、オーディオの基準品質からオーディオの最終品質を減算することによって入手することができる。
【００２９】
Ｓ１３３では、マルチメディア・シーケンスのひずみ値が、ビデオのひずみ値及びオーディオのひずみ値に従って判定される。具体的には、マルチメディア・シーケンスのひずみ値を、次の方法で入手することができる。
【００３０】
ビデオのひずみ係数は、ビデオの基準品質及びビデオのひずみ値に従って判定される。ビデオのひずみ係数ｄｖは、ビデオの基準品質Ｑｖ＿ｃｏｄｉｎｇに対するビデオのひずみ値Ｄｖの比であり、任意選択で、次式（２）によって判定され得る。
【数１】
0006010685.tif 000002
【００３１】
ビデオのひずみ値Ｄｖが、ビデオの基準品質からビデオの最終品質を減算することによって入手され、したがって、任意選択で、ビデオのひずみ係数ｄｖを、次式（３）によって判定することもできることを理解されたい。
【数２】
0006010685.tif 000003
【００３２】
オーディオのひずみ係数は、オーディオの基準品質及びオーディオのひずみ値に従って判定される。オーディオのひずみ係数ｄａは、オーディオの基準品質Ｑａ＿ｃｏｄｉｎｇに対するオーディオのひずみ値Ｄａの比であり、任意選択で、次式（４）によって判定され得る。
【数３】
0006010685.tif 000004
【００３３】
同様に、オーディオのひずみ値Ｄａは、オーディオの基準品質からオーディオの最終品質を減算することによって入手され、したがって、任意選択で、オーディオのひずみ係数ｄａを、次式（５）によって判定することもできる。
【数４】
0006010685.tif 000005
【００３４】
マルチメディア・シーケンスのひずみ係数は、ビデオのひずみ係数及びオーディオのひずみ係数に従って判定される。マルチメディア・シーケンスのひずみ係数ｄａｖは、ビデオのひずみ係数ｄｖ及びオーディオのひずみ係数ｄａによって判定される。ビデオのひずみ係数ｄｖ又はオーディオのひずみ係数ｄａの増加は、マルチメディア・シーケンスのひずみ係数ｄａｖを増加させ、その関係は、線形とすることができ、非線形とすることもでき、線形と非線形との組合せとすることもできる。本発明のこの実施形態は、マルチメディア・シーケンスのひずみ係数ｄａｖがビデオのひずみ係数ｄｖ及びオーディオのひずみ係数ｄａに従って計算される特定の方法を限定せず、たとえば、ｄａｖを、次式（６）又は（７）によって判定することができる。
【数５】
0006010685.tif 000006
ｄａｖ＝ａ５＋ａ６・ｄｖ＋ａ７・ｄａ    （７）
ここで、ａ５、ａ６、ａ７は、定数であり、その値は、符号化タイプ及びビデオ解像度に関係し、ｄｖ又はｄａが増えるときにｄａｖが増えるという条件を満足し、特定の数値を、実験を使用して入手することができる。
【００３５】
マルチメディア・シーケンスのひずみ値は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ係数に従って判定される。たとえば、マルチメディア・シーケンスのひずみ値Ｄａｖを、次式（８）によって判定することができる。
Ｄａｖ＝（Ｑａｖ’−Ｑｍｉｎ）・ｄａｖ    （８）
ここで、Ｑｍｉｎは、定数であり、最小のマルチメディア品質を示し、たとえば、レーティングが５ポイント・システムのときに、最小品質は１である。
【００３６】
Ｓ１４０では、マルチメディア・シーケンスのマルチメディア品質が、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従って判定される。マルチメディア・シーケンスの基準品質Ｑａｖ’及びマルチメディア・シーケンスのひずみ値Ｄａｖが判定された後に、マルチメディア・シーケンスのマルチメディア品質Ｑａｖが、Ｑａｖ’及びＤａｖに従って入手され、その関係を、次式（９）によって示すことができる。
Ｑａｖ＝ｆ（Ｑａｖ’，Ｄａｖ）    （９）
【００３７】
たとえば、その関係を、次式（１０）として表すことができる。
Ｑａｖ＝Ｑａｖ’−Ｄａｖ    （１０）
【００３８】
式（９）及び（１０）は、マルチメディア・シーケンスのマルチメディア品質が、ひずみがマルチメディア・シーケンスの基準品質に重畳された後に入手される結果であり、マルチメディア品質に関する人の印象が、正確に、ひずみが安定したマルチメディア基準品質に重畳されることであることを示す。したがって、本発明のこの実施形態によるマルチメディア品質を評価する方法は、人の認知特性と一致する。
【００３９】
このように、本発明のこの実施形態によるマルチメディア品質を評価する方法は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、マルチメディア・シーケンスのひずみを直接に反映することができ、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。
【００４０】
任意選択で、マルチメディア・シーケンスのマルチメディア品質を、式（１）、（３）、（５）、（６）、及び（８）が式（１０）に置換された後に入手することができる。この場合に、マルチメディア・シーケンスのマルチメディア品質Ｑａｖは、ビデオの基準品質Ｑｖ＿ｃｏｄｉｎｇ、オーディオの基準品質Ｑａ＿ｃｏｄｉｎｇ、ビデオの最終品質Ｑｖ、及びオーディオの最終品質Ｑａの関数である。
【００４１】
任意選択で、式（１）について、次式（１１）を、式（１）のパラメータを置換し、整理を実行することによって得ることができる。
Ｑａｖ’＝ａ１・（Ｑｖ＋Ｄｖ）＋ａ２・（Ｑａ＋Ｄａ）＋ａ３・（Ｑｖ＋Ｄｖ）・（Ｑａ＋Ｄａ）＋ａ４
＝ａ１・Ｑｖ＋ａ１・Ｄｖ＋ａ２・Ｑａ＋ａ２・Ｄａ＋ａ３・（Ｑｖ・Ｑａ＋Ｑｖ・Ｄａ＋Ｄｖ・Ｑａ＋Ｄｖ・Ｄａ）＋ａ４
＝（ａ１・Ｑｖ＋ａ２・Ｑａ＋ａ３・Ｑｖ・Ｑａ＋ａ４）＋（ａ１・Ｄｖ＋ａ２・Ｑａ＋ａ３・（Ｑｖ・Ｄａ＋Ｄｖ・Ｑａ＋Ｄｖ・Ｄａ））
＝Ｑ”＋ｆ１（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）    （１１）
【００４２】
式（１１）では、Ｑ”はａ１・Ｑｖ＋ａ２・Ｑａ＋ａ３・Ｑｖ・Ｑａ＋ａ４を示す、すなわち、１つの品質スコアが、ビデオの最終品質及びオーディオの最終品質に従って入手される。ａ１・Ｄｖ＋ａ２・Ｑａ＋ａ３・（Ｑｖ・Ｄａ＋Ｄｖ・Ｑａ＋Ｄｖ・Ｄａ）は、関数ｆ１（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）の形で表され、マルチメディア品質を計算する式（１０）は、次式（１２）として表すことができる。
Ｑａｖ＝（Ｑ”＋ｆ１（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ））−（Ｑ”＋ｆ１（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）−Ｑｍｉｎ）・ｄａｖ    （１２）
ここで、マルチメディアひずみ係数ｄａｖを、複数の関数の形で表すことができ、したがって、ｆ２（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）の形で表すことができ、式（１２）は、次式（１３）として展開することができる。
Ｑａｖ＝Ｑ”・（１−ｆ２（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ））＋
ｆ１（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）・（１−ｆ２（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ））＋Ｑｍｉｎ・ｆ２（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）
＝Ｑ”・ｆ３（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）＋ｆ４（Ｑｍｉｎ，Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）    （１３）
【００４３】
１−ｆ２（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）は、関数ｆ３（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）を使用することによって表され、ｆ１（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）・（１−ｆ２（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ））＋Ｑｍｉｎ・ｆ２（Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）は、関数ｆ４（Ｑｍｉｎ，Ｑｖ，Ｑａ，Ｄｖ，Ｄａ）を使用することによって表され、マルチメディア品質の計算方法は、上で説明した別の式の形として展開することができる、すなわち、マルチメディア品質Ｑａｖは、ビデオの最終品質Ｑｖ、オーディオの最終品質Ｑａ、ビデオのひずみ値Ｄｖ、及びオーディオのひずみ値Ｄａの関数である。
【００４４】
本発明のこの実施形態によるマルチメディア品質を評価する方法は、マルチメディア・シーケンスの基準品質及びひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、マルチメディア・シーケンスのひずみを直接に反映することができ、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。
【００４５】
オーディオ及びビデオが非同期であるときには、マルチメディア・シーケンスのマルチメディア品質は、おそらくは劣化する。このシナリオでは、オーディオ及びビデオが非同期であるという問題を考慮する必要がある。したがって、図３に示されているように、本発明のこの実施形態によるマルチメディア品質を評価する方法１００は、さらに、以下を含む。
【００４６】
Ｓ１５０  マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数を入手する。
【００４７】
Ｓ１４０は、さらに、以下を含む。
【００４８】
Ｓ１４１  マルチメディア・シーケンスの基準品質、マルチメディア・シーケンスのひずみ値、並びにマルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数に従ってマルチメディア・シーケンスのマルチメディア品質を判定する。
【００４９】
Ｓ１５０では、マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数が、入手される。マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数は、オーディオ及びビデオの非同期の時間差ΔＴｓｙｎの関数であり、マルチメディア品質に対するオーディオ及びビデオの非同期の影響を反映する。
【００５０】
Ｓ１４１では、マルチメディア・シーケンスのマルチメディア品質が、マルチメディア・シーケンスの基準品質、マルチメディア・シーケンスのひずみ値、並びにマルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数に従って判定される。その関係を、次式（１４）として表すことができる。
Ｑａｖ＝ｆ（Ｑａｖ’，Ｄａｖ，ｆ５（ΔＴｓｙｎ））    （１４）
ここで、ｆ５（ΔＴｓｙｎ）は、マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数である。
【００５１】
たとえば、任意選択で、マルチメディア・シーケンスのマルチメディア品質Ｑａｖを、次式（１５）によって判定することができる。
Ｑａｖ＝Ｑａｖ’−Ｄａｖ・ｆ５（ΔＴｓｙｎ）    （１５）
ここで、ｆ５（ΔＴｓｙｎ）は、１より大きく、より大きい｜ΔＴｓｙｎ｜は、より大きいｆ５（ΔＴｓｙｎ）を示し、これは、Ｑａｖをより小さくする。ｆ５（ΔＴｓｙｎ）は、形において限定されず、線形とすることができ、非線形とすることもでき、線形の式と非線形の式との組合せとすることもでき、たとえば、その特定の形を、次式（１６）として表すことができる。
【数６】
0006010685.tif 000007
ここで、ｂ１、ｃ１、ｄ１は、定数である。
【００５２】
任意選択で、マルチメディア・シーケンスのマルチメディア品質Ｑａｖを、次式（１７）によって判定することもできる。
Ｑａｖ＝（Ｑａｖ’−Ｄａｖ）・ｆ６（ΔＴｓｙｎ）    （１７）
ここで、ｆ６（ΔＴｓｙｎ）は、マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数であり、その値は、１より小さく、０より大きく、より大きい｜ΔＴｓｙｎ｜は、より小さいｆ６（ΔＴｓｙｎ）を示し、これは、Ｑａｖをより小さくする。ｆ６（ΔＴｓｙｎ）は、形において限定されず、線形とすることができ、非線形とすることもでき、線形の式と非線形の式との組合せとすることもでき、たとえば、その特定の形を、次式（１８）として表すことができる。
【数７】
0006010685.tif 000008
ここで、ｂ２、ｃ２、ｄ２は、定数である。
【００５３】
式（１４）、（１５）、及び（１７）は、マルチメディア・シーケンスのマルチメディア品質が、ひずみとオーディオ及びビデオの非同期の影響とがマルチメディア・シーケンスの基準品質に重畳された後に入手される結果であり、人の認知特性と一致することを示す。
【００５４】
したがって、本発明のこの実施形態に従ってマルチメディア品質を評価する方法は、マルチメディア・シーケンスの基準品質、マルチメディア・シーケンスのひずみ値、及びマルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数に従ってマルチメディア品質を判定することによって、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。
【００５５】
図４を参照して、以下で、本発明のこの実施形態による、マルチメディア品質を評価する方法を詳細に説明する。
【００５６】
Ｓ４１０  ビデオの基準品質及びオーディオの基準品質に従ってマルチメディア・シーケンスの基準品質を計算する。たとえば、前述の式（１）を使用することができる。
【００５７】
Ｓ４２０  ビデオの基準品質及びビデオの最終品質に従ってビデオのひずみ係数を計算する。たとえば、前述の式（３）を使用することができる。
【００５８】
Ｓ４３０  オーディオの基準品質及びオーディオの最終品質に従ってオーディオのひずみ係数を計算する。たとえば、前述の式（５）を使用することができる。
【００５９】
Ｓ４４０  ビデオのひずみ係数及びオーディオのひずみ係数に従ってマルチメディア・シーケンスのひずみ係数を計算する。たとえば、前述の式（６）又は（７）を使用することができる。
【００６０】
Ｓ４５０  マルチメディア・シーケンスのマルチメディア品質を計算する。オーディオ及びビデオの非同期が発生しないときには、マルチメディア・シーケンスのマルチメディア品質は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ係数に従って計算され、たとえば、前述の式（８）及び（１０）を使用することができる。オーディオ及びビデオが非同期であるときには、マルチメディア・シーケンスのマルチメディア品質は、マルチメディア・シーケンスの基準品質、マルチメディア・シーケンスのひずみ係数、並びにマルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数に従って計算され、たとえば、前述の式（８）及び式（１５）又は（１７）を使用することができる。
【００６１】
したがって、本発明のこの実施形態に従ってマルチメディア品質を評価する方法は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ係数に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。
【００６２】
図５は、本発明の実施形態による、マルチメディア品質を評価する方法５００の概略流れ図である。図５に示されているように、方法５００は、以下を含む。
【００６３】
Ｓ５１０  マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割する。ここで、Ｎは、正の整数であり、２以上である。
【００６４】
Ｓ５２０  Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価する。
【００６５】
Ｓ５３０  Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定する。
【００６６】
あるマルチメディア・シーケンスについて、人の短期記憶に起因して、マルチメディア品質は、現在時刻からの時間のより短い期間内のより深い記憶を用いて理解される。本発明のこの実施形態では、マルチメディア・シーケンスは、まず、複数のマルチメディア・セグメントに分割され、その後、各マルチメディア・セグメントのマルチメディア品質が、別々に評価され、その後、マルチメディア・シーケンスのマルチメディア品質が、各マルチメディア・セグメントのマルチメディア品質に従って判定される。
【００６７】
したがって、本発明のこの実施形態に従ってマルチメディア品質を評価する方法は、マルチメディア・シーケンスをセグメントに分割し、各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、各マルチメディア・セグメントに対して人が払う注意のレベルに従ってマルチメディア・シーケンスのマルチメディア品質を判定するのに便利であり、人の認知特性と一致し、マルチメディア品質の評価の正確さを高めることができる。
【００６８】
Ｓ５１０では、マルチメディア・シーケンスが、Ｎ個のマルチメディア・セグメントに分割される。Ｎは、正の整数であり、２以上である、すなわち、マルチメディア・シーケンスは、少なくとも２つのマルチメディア・セグメントに分割される。
【００６９】
任意選択で、マルチメディア・シーケンスを、持続時間に従ってＮ個のマルチメディア・セグメントに分割することができる。たとえば、マルチメディア・シーケンスの最初のフレームから開始して、各Ｌ秒の持続時間内のマルチメディア・シーケンスが、１つのセグメントに分割され、Ｌの値は、特定の状況に従って調整することができる。
【００７０】
任意選択で、マルチメディア・シーケンスを、マルチメディア品質、ビデオ品質、又はオーディオ品質のレベルに従ってＮ個のマルチメディア・セグメントに分割することもできる。人は、マルチメディア・シーケンス内の比較的特別なコンテンツ、たとえば、ビット誤りによって影響されたビデオ・ピクチャ、ひずんだオーディオのサウンドなどに注意を払う傾向がある。したがって、マルチメディア・セグメント化は、中央として低品質のマルチメディア・コンテンツをとり、マルチメディア・シーケンス全体を、持続時間が約Ｌ秒の連続するマルチメディア・セグメントに分割し、ここで、Ｌの値は、特定の状況に従って調整することができる。たとえば、セグメント化を、以下の方法に従って実行することができる。
【００７１】
１．最初のフレームから開始して、０．８×Ｌ秒のウィンドウをスライドさせ、各ウィンドウ内のマルチメディア品質を計算する。
【００７２】
２．１つのマルチメディア・セグメントを判定するために、最低品質を有するウィンドウ位置を選択する。
【００７３】
３．選択されたマルチメディア・セグメントを除外し、ステップ１及び２を繰り返して新しいマルチメディア・セグメントを入手する。ここで、インターバルは、新しいマルチメディア・セグメントが判定されたマルチメディア・セグメントに隣接する場合に、０〜０．４×Ｌ秒になるように制御される。
【００７４】
４．ステップ３を繰り返して、マルチメディア・シーケンス全体を分割する。
【００７５】
５．マルチメディア・シーケンス全体の完全なセグメント化を実施するために、等しい割り振り方法を採用することによって、マルチメディア・セグメントのインターバルのマルチメディア・フレームを、隣接するマルチメディア・セグメントに組み合わせる。
【００７６】
マルチメディア品質に従って実行されるセグメント化の前述の方法を、ビデオ品質又はオーディオ品質に従って実行されるセグメント化に置換することもできることを理解されたい。ビデオ品質に従って実行されるセグメント化中には、長さ単位を、ビデオのＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ、グループ・オフ・ピクチャ）とすることができる、すなわち、１つ又は複数のＧＯＰ長が、１つのマルチメディア・セグメントとして使用される。
【００７７】
マルチメディア・シーケンスに対してセグメント化を実行する方法を、別の方法とすることができ、たとえば、各セグメントの長さを異なるものとすることができ、もう１つの例として、マルチメディア品質に従って実行されるセグメント化中に、高い品質を有するマルチメディア・セグメントを、最初に選択することなどができることを、さらに理解されたい。本発明のこの実施形態は、マルチメディア・シーケンスがＮ個のマルチメディア・セグメントに分割される特定の方法を限定しない。
【００７８】
Ｓ５２０では、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質が、評価される。マルチメディア・セグメントごとに、マルチメディア・セグメントのマルチメディア品質は、各マルチメディア・セグメントのオーディオ及びビデオの品質条件及びひずみ条件の組合せに従う計算を介して入手することができる。本発明の実施形態は、各マルチメディア・セグメントのマルチメディア品質が評価される方法を限定しない。特定の方法について、従来技術を使用することができ、本発明の実施形態に従ってマルチメディア品質を評価する前述の方法１００を使用することもできる。詳細を本明細書でもう一度提供することはしない。
【００７９】
Ｓ５３０では、マルチメディア・シーケンスのマルチメディア品質が、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に従って判定される。Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質が評価された後に、マルチメディア・シーケンスのマルチメディア品質が、Ｎ個のマルチメディア・セグメントのマルチメディア品質に従って入手される。
【００８０】
任意選択で、マルチメディア・シーケンスのマルチメディア品質を、Ｎ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって判定することができる。加重平均を、等しい重み値に基づいてＮ個のマルチメディア・セグメントのマルチメディア品質に対して実行することができ、加重平均を、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に関する重み値に基づいてＮ個のマルチメディア・セグメントのマルチメディア品質に対して実行することもでき、たとえば、マルチメディア・セグメントのより低いマルチメディア品質は、より大きい重みを示す。たとえば、マルチメディア・シーケンスの品質を、次式（１９）を使用することによって判定することができる。
【数８】
0006010685.tif 000009
ここで、ｍは、マルチメディア・シーケンス内のｍ番目のマルチメディア・セグメントを示し、Ｑａｖ，ｍは、ｍ番目のマルチメディア・セグメントのマルチメディア品質であり、Ｗｍは、その重み値であり、等しい定数とするか、マルチメディア品質のレベルに従って適用される重みとすることができる。
【００８１】
人は、簡単にものを忘れるので、後で見られたマルチメディア・セグメントは、強い印象を与え、前に見られたマルチメディア・セグメントに関する記憶は、比較的曖昧である。したがって、加重平均を、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントの時刻に関する重み値に基づいてＮ個のマルチメディア・セグメントのマルチメディア品質に対して実行することもでき、たとえば、マルチメディア・セグメントの時刻と現在のレーティング時刻との間のより短い時間的距離は、より大きい重み値を示す。たとえば、マルチメディア・セグメントの品質を、次式（２０）を使用して判定することができる。
【数９】
0006010685.tif 000010
ここで、ｔｍは、ｍ番目のマルチメディア・セグメントの時刻と現在のレーティング時刻との間の時間的距離であり、
【数１０】
0006010685.tif 000011
は、この時間的距離に関する重み値である。
【００８２】
加重平均を、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質及び時刻に関する重み値に基づいてＮ個のマルチメディア・セグメントのマルチメディア品質に対して実行することができる。たとえば、マルチメディア・シーケンスの品質を、次式（２１）を使用することによって判定することができる。
【数１１】
0006010685.tif 000012
ここで、Ｗｍは、マルチメディア品質に関する重み値であり、
【数１２】
0006010685.tif 000013
は、時間的距離に関する重み値であり、この２つの重み値を、１つの重み値に組み合わせることもでき、この１つの重み値は、マルチメディア品質だけに関するのではなく、時間的距離にも関する。
【００８３】
人の目は、より悪い品質を有するマルチメディア・セグメントに簡単に気付き、より悪いマルチメディア・セグメントは、マルチメディア・シーケンス全体の品質を反映することができる。したがって、任意選択で、最も悪いマルチメディア品質を有するＫ個のマルチメディア・セグメントを、Ｎ個のマルチメディア・セグメントから選択することができ、マルチメディア・シーケンスのマルチメディア品質は、Ｋ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって判定され、ここで、Ｋは、正の整数であり、Ｋは、１以上Ｎ未満であり、Ｋの特定の値は、実際のアプリケーション・シナリオに従ってセットすることができる。加重平均がＫ個のマルチメディア・セグメントのマルチメディア品質に対して実行される方法について、加重平均がＮ個のマルチメディア・セグメントのマルチメディア品質に対して実行される前述の方法を参照されたい、すなわち、加重平均を、等しい重み値に基づいて、又はＫ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質及び／又は時刻に関する重み値に基づいて、Ｋ個のマルチメディア・セグメントのマルチメディア品質に対して実行することができる。
【００８４】
任意選択で、加重平均が、等しい重み値に基づいて実行される場合に、マルチメディア・シーケンスの品質を、次式（２２）を使用することによって判定することができる。
【数１３】
0006010685.tif 000014
ここで、ｋは、マルチメディア・シーケンス内で最悪の品質を有するｋ番目のマルチメディア・セグメントを示し、Ｑａｖ，ｋは、マルチメディア・シーケンス内で最悪の品質を有するｋ番目のマルチメディア・セグメントのマルチメディア品質である。
【００８５】
任意選択で、加重平均が、Ｋ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に関する重み値に基づいて実行される場合に、マルチメディア・シーケンスの品質を、次式（２３）を使用することによって判定することができる。
【数１４】
0006010685.tif 000015
ここで、Ｗｋは、マルチメディア品質に関する重み値である。
【００８６】
任意選択で、加重平均が、Ｋ個のマルチメディア・セグメントの各マルチメディア・セグメントの時刻に関する重み値に基づいて実行される場合に、マルチメディア・シーケンスの品質を、次式（２４）を使用することによって判定することができる。
【数１５】
0006010685.tif 000016
ここで、
【数１６】
0006010685.tif 000017
は、時刻に関する重み値である。
【００８７】
任意選択で、加重平均が、Ｋ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質及び時刻に関する重み値に基づいて実行される場合に、マルチメディア・シーケンスの品質を、次式（２５）を使用することによって判定することができる。
【数１７】
0006010685.tif 000018
【００８８】
したがって、本発明のこの実施形態に従ってマルチメディア品質を評価する方法は、マルチメディア・シーケンスをセグメントに分割し、その後各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定することとによって、人によって各マルチメディア・セグメントに払われる注意のレベルに従って、マルチメディア・シーケンスのマルチメディア品質を判定するのに便利であり、人の認知特性に一致し、マルチメディア品質の評価の正確さを高めることができる。
【００８９】
本発明の実施形態では、各ステップのシーケンス番号の値が、実行順序を示さず、ステップの実行順序は、関数及びその固有の論理に従って判定されなければならず、本発明の実施形態の実施プロセスに対する限定を構成してはならないことを理解されたい。
【００９０】
図１から図５を参照すると、前述は、本発明の実施形態に従ってマルチメディア品質を評価する方法を詳細に説明する。図６から図９を参照して、以下では、本発明の実施形態に従ってマルチメディア品質を評価する装置を説明する。
【００９１】
図６は、本発明の実施形態による、マルチメディア品質を評価する装置６００の概略ブロック図である。図６に示されているように、装置６００は、
マルチメディア・シーケンスのビデオの基準品質及びビデオの最終品質とマルチメディア・シーケンスのオーディオの基準品質及びオーディオの最終品質とを入手するように構成された第１の入手モジュール６１０と、
第１の入手モジュール６１０によって入手されるビデオの基準品質及びオーディオの基準品質に従ってマルチメディア・シーケンスの基準品質を判定するように構成された基準品質判定モジュール６２０と、
第１の入手モジュール６１０によって入手されるビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従ってマルチメディア・シーケンスのひずみ値を判定するように構成されたひずみ値判定モジュール６３０と、
基準品質判定モジュール６２０によって判定されるマルチメディア・シーケンスの基準品質及びひずみ値判定モジュール６３０によって判定されるマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定するように構成されたマルチメディア品質判定モジュール６４０と
を含む。
【００９２】
本発明のこの実施形態によるマルチメディア品質を判定する装置は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、マルチメディア・シーケンスのひずみを直接に反映することができ、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。
【００９３】
本発明のこの実施形態では、図７に示されているように、任意選択で、ひずみ値判定モジュール６３０は、
ビデオの基準品質及びビデオの最終品質に従ってビデオのひずみ値を判定するように構成された第１の判定ユニット６３１と、
オーディオの基準品質及びオーディオの最終品質に従ってオーディオのひずみ値を判定するように構成された第２の判定ユニット６３２と、
ビデオのひずみ値及びオーディオのひずみ値に従ってマルチメディア・シーケンスのひずみ値を判定するように構成された第３の判定ユニット６３３と
を含む。
【００９４】
本発明のこの実施形態では、任意選択で、第３の判定ユニット６３３は、
ビデオの基準品質及びビデオのひずみ値に従ってビデオのひずみ係数を判定するように構成された第１の判定サブユニットと、
オーディオの基準品質及びオーディオのひずみ値に従ってオーディオのひずみ係数を判定するように構成された第２の判定サブユニットと、
ビデオのひずみ係数及びオーディオのひずみ係数に従ってマルチメディア・シーケンスのひずみ係数を判定するように構成された第３の判定サブユニットと、
マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ係数に従ってマルチメディア・シーケンスのひずみ値を判定するように構成された第４の判定サブユニットと
を含む。
【００９５】
本発明のこの実施形態では、第３の判定サブユニットは、次式に従ってマルチメディア・シーケンスのひずみ係数ｄａｖを判定するようにさらに構成され、
【数１８】
0006010685.tif 000019
ｄｖ及びｄａは、それぞれ、ビデオのひずみ係数及びオーディオのひずみ係数であり、ａ５、ａ６、及びａ７は、定数である。
【００９６】
本発明のこの実施形態では、図８に示されているように、マルチメディア品質を評価する装置６００は、
マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数を入手するように構成された第２の入手モジュール６５０
をさらに含む。
【００９７】
マルチメディア品質判定モジュール６４０は、マルチメディア・シーケンスの基準品質、マルチメディア・シーケンスのひずみ値、及び第２の入手モジュール６５０によって入手されるマルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数に従ってマルチメディア・シーケンスのマルチメディア品質を判定するようにさらに構成される。
【００９８】
本発明のこの実施形態では、マルチメディア品質判定モジュール６４０は、次式に従ってマルチメディア・シーケンスのマルチメディア品質Ｑａｖを判定するようにさらに構成され、
Ｑａｖ＝Ｑａｖ’−Ｄａｖ・ｆ５（ΔＴｓｙｎ）又は
Ｑａｖ＝（Ｑａｖ’−Ｄａｖ）・ｆ６（ΔＴｓｙｎ）
Ｑａｖ’は、マルチメディア・シーケンスの基準品質であり、Ｄａｖは、マルチメディア・シーケンスのひずみ値であり、ｆ５（ΔＴｓｙｎ）及びｆ６（ΔＴｓｙｎ）は、マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数であり、ΔＴｓｙｎは、マルチメディア・シーケンスのオーディオ及びビデオの非同期の時間差であり、より大きい｜ΔＴｓｙｎ｜は、より大きいｆ５（ΔＴｓｙｎ）及びより小さいｆ６（ΔＴｓｙｎ）を示す。
【００９９】
本発明のこの実施形態によるマルチメディア品質を評価する装置は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、マルチメディア・シーケンスのひずみを直接に反映することができ、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。
【０１００】
図９は、本発明の実施形態による、マルチメディア品質を評価する装置９００の概略ブロック図である。図９に示されているように、装置９００は、
マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するように構成されたセグメント化モジュール９１０であり、ここで、Ｎは、正の整数であり、Ｎは、２以上である、セグメント化モジュール９１０と、
Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価するように構成された評価モジュール９２０と、
Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定するように構成された処理モジュール９３０と
を含む。
【０１０１】
本発明のこの実施形態に従ってマルチメディア品質を評価する装置は、マルチメディア・シーケンスをセグメントに分割し、各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、人によって各マルチメディア・セグメントに払われる注意のレベルに従って、マルチメディア・シーケンスのマルチメディア品質を判定するのに便利であり、人の認知特性に一致し、マルチメディア品質の評価の正確さを高めることができる。
【０１０２】
本発明のこの実施形態では、任意選択で、セグメント化モジュール９１０は、
持続時間に従ってマルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するように構成された第１のセグメント化ユニット
を含む。
【０１０３】
本発明のこの実施形態では、任意選択で、セグメント化モジュール９１０は、
マルチメディア品質、ビデオ品質、若しくはオーディオ品質のレベルに従ってマルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するように構成された第２のセグメント化ユニット
を含む。
【０１０４】
本発明のこの実施形態では、評価モジュール９２０は、
各マルチメディア・セグメントのビデオの基準品質及びビデオの最終品質と、各マルチメディア・セグメントのオーディオの基準品質及びオーディオの最終品質とを入手するように構成された第１の入手ユニットと、
ビデオの基準品質及びオーディオの基準品質に従って各マルチメディア・セグメントの基準品質を判定するように構成された基準品質判定ユニットと、
ビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従って各マルチメディア・セグメントのひずみ値を判定するように構成されたひずみ値判定ユニットと、
各マルチメディア・セグメントの基準品質及び各マルチメディア・セグメントのひずみ値に従って各マルチメディア・セグメントのマルチメディア品質を判定するように構成された評価ユニットと
を含む。
【０１０５】
本発明のこの実施形態では、任意選択で、評価モジュール９２０は、
各マルチメディア・セグメントのオーディオ及びビデオの非同期の影響係数を入手するように構成された第２の入手ユニット
をさらに含む。
【０１０６】
評価ユニットは、各マルチメディア・セグメントの基準品質、各マルチメディア・セグメントのひずみ値、及び各マルチメディア・セグメントのオーディオ及びビデオの非同期の影響係数に従って各マルチメディア・セグメントのマルチメディア品質を判定するようにさらに構成される。
【０１０７】
本発明のこの実施形態では、処理モジュール９３０は、Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによってマルチメディア・シーケンスのマルチメディア品質を判定するようにさらに構成され、Ｋ個のマルチメディア・セグメントは、Ｎ個のマルチメディア・セグメントのうちで最悪のマルチメディア品質を有するＫ個のマルチメディア・セグメントであり、Ｋは、正の整数であり、Ｋは、１以上Ｎ未満である。
【０１０８】
本発明のこの実施形態では、任意選択で、処理モジュール９３０は
等しい重み値に基づき、Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって、マルチメディア・シーケンスのマルチメディア品質を判定するように構成された第１の処理ユニット
を含む。
【０１０９】
本発明のこの実施形態では、任意選択で、処理モジュール９３０は
Ｎ個又はＫ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に関する重み値に基づき、Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって、マルチメディア・シーケンスのマルチメディア品質を判定するように構成された第２の処理ユニット
を含む。
【０１１０】
本発明のこの実施形態では、任意選択で、処理モジュール９３０は
Ｎ個又はＫ個のマルチメディア・セグメントの各マルチメディア・セグメントの時刻に関する重み値に基づき、Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって、マルチメディア・シーケンスのマルチメディア品質を判定するように構成された第３の処理ユニット
を含む。
【０１１１】
本発明のこの実施形態では、任意選択で、処理モジュール９３０は
Ｎ個又はＫ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質及び時刻に関する重み値に基づき、Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって、マルチメディア・シーケンスのマルチメディア品質を判定するように構成された第４の処理ユニット
を含む。
【０１１２】
本発明のこの実施形態に従ってマルチメディア品質を評価する装置は、マルチメディア・シーケンスをセグメントに分割し、各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、人によって各マルチメディア・セグメントに払われる注意のレベルに従って、マルチメディア・シーケンスのマルチメディア品質を判定するのに便利であり、人の認知特性に一致し、マルチメディア品質の評価の正確さを高めることができる。
【０１１３】
本発明のこの実施形態での用語「及び／又は」は、関連する対象を説明するために関連する関係のみを説明するものであり、３つの関係が存在する可能性があることを表すことを理解されたい。たとえば、Ａ及び／又はＢは、次の３つのケースすなわち、Ａのみが存在する、ＡとＢとの両方が存在する、及びＢのみが存在するを表すことができる。さらに、本明細書での文字「／」は、一般に、関連する対象の間の「又は」の関係を示す。
【０１１４】
当業者は、本明細書で開示される実施形態で説明される例と組み合わせて、ユニット及びアルゴリズム・ステップを、コンピュータ・ハードウェア又はコンピュータ・ソフトウェア及び電子ハードウェアの組合せによって実施できることを認識する可能性がある。機能が、ハードウェア又はソフトウェアのどちらによって実行されるのかは、特定の応用例及び技術的解決策の設計制約条件に依存する。当業者は、特定の応用例ごとに説明される機能を実施するのに異なる方法を使用することができるが、その実施態様が本発明の範囲を超えると考えてはならない。
【０１１５】
便宜及び短い説明のために、前述のシステム、装置、及びユニットの詳細な動作するプロセスについて、前述の方法実施形態の対応するプロセスを参照する場合があり、詳細が本明細書でもう一度説明されることがないことを、当業者は明瞭に理解することができる。
【０１１６】
本願で提供される複数の実施形態で、開示されるシステム、装置、及び方法を他の形で実施できることを理解されたい。たとえば、説明される装置実施形態は、単に例示的である。たとえば、ユニット分割は、単に論理的な機能分割であり、実際の実施態様に他の分割がある可能性がある。たとえば、複数のユニット又はコンポーネントを、別のシステムに組み合わせるか一体化することができ、或いは、いくつかの特徴を無視し又は実行しないものとすることができる。さらに、表示され又は議論される相互結合又は直接結合又は通信接続を、いくつかのインターフェースを介して実施することができる。装置又はユニットの間の間接結合又は通信接続を、電子的な形、機械的な形、又は他の形で実施することができる。
【０１１７】
別々の部分として説明されるユニットが、物理的に別々であってもなくてもよく、ユニットとして表示される部分が、物理的なユニットであってもなくてもよく、１つの位置に配置されてもよく、或いは、複数のネットワーク・ユニット上に分散されてもよい。ユニットの一部又はすべてを、実施形態の解決策の目的を達成するための必要に応じて選択することができる。
【０１１８】
さらに、本発明の実施形態の機能ユニットを、１つの処理ユニットに一体化することができ、或いは、ユニットのそれぞれが、物理的に単独で存在することができ、或いは、２つ以上のユニットが、１つのユニットに一体化される。
【０１１９】
機能が、ソフトウェア機能ユニットの形で実施され、独立の製品として販売され又は使用されるときに、機能をコンピュータ可読記憶媒体に格納することができる。そのような理解に基づいて、本質的に、本発明の技術的解決策、又は従来技術に貢献する部分若しくは技術的解決策の一部を、ソフトウェア製品の形で実施することができる。ソフトウェア製品は、記憶媒体に格納され、本発明の実施形態で説明される方法のステップのすべて又は一部を実行するようにコンピュータ・デバイス（パーソナル・コンピュータ、サーバ、又はネットワーク・デバイスとすることができる）に指示する複数の命令を含む。前述の記憶媒体は、ＵＳＢフラッシュ・ドライブ、リムーバブル・ハード・ディスク、読取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダム・アクセス・メモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスク、又は光ディスクなど、プログラム・コードを格納できるいずれかの媒体を含む。
【０１２０】
前述の説明は、単に、本発明の特定の実施態様であるが、本発明の保護範囲を限定することは意図されていない。本発明で開示される技術範囲内で当業者が容易に想到するすべての変形又は置換は、本発明の保護範囲に含まれるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
【図１】
0006010685.tif 000022
【図２】
0006010685.tif 000023
【図３】
0006010685.tif 000024
【図４】
0006010685.tif 000025
【図５】
0006010685.tif 000026
【図６】
0006010685.tif 000027
【図７】
0006010685.tif 000028
【図８】
0006010685.tif 000029
【図９】
0006010685.tif 000030