(57)【要約】ビデオの品質を測定する方法および装置を提供する。その方法は、ビデオの各フレームが損失または上手く送信されたかどうかを示すことによってビデオのフレーム損失パターンを生成することと、そのビデオの品質を生成されたフレーム損失パターンの関数として評価することを備える。
2014504471.tif 000002
【特許請求の範囲】
【請求項１】
ビデオの品質を測定する方法であって、
前記ビデオの各フレームが損失したかまたは上手く送信されたかどうかを示すことによって前記ビデオのフレーム損失パターンを生成するステップと、
前記ビデオの前記品質を前記生成されたフレーム損失パターンの関数として評価するステップと、
を備える、前記方法。
【請求項２】
前記評価は、
１番目の損失フレームからの、前記ビデオの１または複数の連続した損失フレームをグループフレーム損失にグループ化するステップと、
最初のグループフレーム損失からの、前記フレーム損失パターンを、１または複数の連続したグループフレーム損失を有する複数のセクションに分割して、セクションの各グループフレーム損失が、前記グループフレーム損失とその前のグループフレーム損失との間で同じ数の上手く送信されたフレームおよび同じ数の損失フレームを有するようにするステップと、
グループフレーム損失の各セクションによって生成された品質劣化の値を計算するステップと、
すべてのセクションの前記値を合わせることによって前記ビデオの前記品質を評価するステップと、
を備える、請求項１に記載の方法。
【請求項３】
グループフレーム損失のセクションによって生成された前記品質劣化の前記値を、前記セクションの隣接する２つのグループフレーム損失間で上手く送信されたフレームの平均数と前記セクションのすべての前記グループフレーム損失の損失フレームの平均数との関数として計算することをさらに備える、請求項２に記載の方法。
【請求項４】
前記評価は、すべてのセクションの前記値を重み付けプーリングによって合わせることを備える、請求項２または３に記載の方法。
【請求項５】
前記重み付けプーリングの１つのセクションの重み付け係数は、前記セクションの前記フレーム数、前記セクションの真ん中から最後のフレームまでの距離、および前記セクションによって導かれた知覚的時間劣化によって異なる、請求項４に記載の方法。
【請求項６】
ビデオの品質を測定する装置であって、入力ビデオを受信し、および前記受信されたビデオのフレーム損失パターンを生成する手段と、
前記ビデオの前記品質を、前記生成されたフレーム損失パターンの関数として評価する手段と、
を備える、前記装置。
【請求項７】
前記ビデオの前記品質を評価する前記手段は、
フレーム損失パターン生成ユニットから前記フレーム損失パターンを受信し、および前記第１の損失フレームからの、前記フレーム損失パターンの１または複数の連続した損失フレームをグループフレーム損失にグループ化するためのグループ化ユニットと、
前記グループ化ユニットから前記グループ化されたフレーム損失パターンを受信し、および最初のグループフレーム損失からの、前記フレーム損失パターンを、１または複数の連続したグループフレーム損失を有する複数のセクションに分割して、セクションの各グループフレーム損失が、前記グループフレーム損失とその前のグループフレーム損失との間で前記同じ数の上手く送信されたフレームおよび前前記同じ数の損失フレームを有するようにするための分割ユニットと、
前記分割ユニットによって出力されたグループフレーム損失の各セクションによって生成された品質劣化の値を計算するための計算ユニットと、
前記計算ユニットによって出力されたすべてのセクションの前記値を合わせて前記ビデオの前記品質を評価し、および前記値を出力するための評価ユニットと
を備える、請求項６に記載の装置。
【請求項８】
前記計算ユニットは、グループフレーム損失のセクションによって生成された前記品質劣化の前記値を、前記セクションの隣接する２つのグループフレーム損失間で上手く送信されたフレームの平均数と前記セクションのすべての前記グループフレーム損失の損失フレームの平均数との関数として計算する、請求項７に記載の装置。
【請求項９】
前記評価ユニットは、重み付けプーリングによってすべてのセクションの前記値を合わせる、請求項７または８に記載の装置。
【請求項１０】
前記重み付けプーリングの１つのセクションの重み付け係数は、前記セクションの前記フレーム数、前記セクションの真ん中から最後のフレームまでの距離、および前記セクションによって導かれた前記知覚的時間劣化によって異なる、請求項９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム損失パターンに基づいてビデオの品質を測定する方法および装置に関する。
【背景技術】
【０００２】
この節は、以下に説明および／または特許請求される本発明のさまざまな態様と関連させることができる、技術のさまざまな態様を読み手に紹介することを意図する。この論考は、本発明のさまざまな態様をより理解し易くするための背景情報を読み手に提供するのに役立つものとされている。従って、こうした記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。
【０００３】
デジタル圧縮されたビデオの送信において、かなり重大な障害の源は、エラーを起こしやすいチャネルを介してビデオストリームを配信することによる。情報の一部損失および一部破損は、フレーム内の局所的歪みがフレームを介して空間的および時間的に伝搬するため、ユーザの知覚品質に劇的なインパクトを与えることがある。このようなフレーム損失の視覚的インパクトは、破損したストリームに対処するビデオデコーダの能力によって異なる。一部の例において、デコーダは、自発的にいくつかのフレームを落とす（drop）ことを判断できる。例えば、デコーダは、破損または欠損した情報を有するフレームをすべて落とすまたは廃棄して、次に有効な復号されたフレームが使用可能になるまで、代わりに前のビデオフレームを繰り返すことができる。エンコーダも、ターゲットとなる符号化ビットレートが低すぎる場合において、コンテンツの動きが急増する時にフレームを落とすことができる。上記のすべての例において、フレーム損失は、ビデオ内で発生すると言えよう。
【０００４】
多くの既存のビデオ品質モニタリング製品において、メディア全体のビデオ品質は、主な３つのコーディングアーチファクト、即ち、ジャーキネス(jerkiness)、ブロックノイズ(blockiness)およびぼけ(blurring)に基づいて分析される。ブロックノイズとぼけは、主な２種類の空間コーディングアーチファクトであり、それぞれ、ブロック境界の不連続として、および高周波数損失としてふるまう。一方、ジャーキネスは、最も重大な時間アーチファクトである。
【０００５】
グループフレーム損失のセットによって生じるビデオ品質の時間劣化は、ジャーキネスと呼ばれ、グループフレーム損失とは、ビデオシーケンスの１または複数の連続したフレームがまとまって損失したという事実を意味する。
【０００６】
知覚されるビデオ品質に対する（周期的な（periodic：一定間隔の）または周期的でない）ビデオフレーム損失の知覚的インパクトの評価についていくつかの研究がある。
【０００７】
非特許文献１において、人間は通常、一貫したフレーム損失に対してかなり寛容であり、その負のインパクトは、フレーム損失の一貫性と大いに関係することが指摘され、ひいてはジャーキネスの大きさとして使用されるようになった。
【０００８】
非特許文献２において、ジャーキネスの知覚的インパクトとグループフレーム損失の長さおよび発生頻度との関係が述べられている。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】K. C. Yang, C. C. Guest , K. EI-Maleh and P. K. Das, “Perceptual Temporal Quality Metric for Compressed Video”, IEEE Transaction on Multimedia, vol.9, no.7, Nov. 2007, pp.1528-1535.
【非特許文献２】R. R. Pastrama-Vidal and J. C. Gicquel, “Automatic Quality Assessment of Video Fluidity Impairments Using a No-Reference Metric”, the 2nd International Workshop on Video Processing and Quality Metric for Consumer Electronics, Scottsdale, USA 22-24, Jan. 2006.
【非特許文献３】L. Y. Duan, J. Q. Wamg et al, ”Shot-Level Camera Motion Estimation based on a Parametric Model”
【発明の概要】
【課題を解決するための手段】
【００１０】
本発明の発明者は、ビデオのフレーム損失パターンがジャーキネスの知覚的インパクトに大きな影響を与え、やがてビデオ品質全体にインパクトを与えることを発見した。「フレーム損失パターン」については、ビデオシーケンスの各フレームが、異なる表現を用いて送信される時に上手く送信されたか、または損失したかに関する状態を順次記録することによって生成されるパターンという意味である。
【００１１】
従って、本発明は、ビデオおよび対応する装置の品質を測定する方法を提供することによって、この発見を活用する。
【００１２】
一実施形態において、ビデオの品質を測定する方法を提供する。その方法は、ビデオの各フレームが損失したかまたは上手く送信されたかどうかを示すことによって、ビデオのフレーム損失パターンを生成することと、ビデオの品質を、生成されたフレーム損失パターンの関数として評価することを備える。
【００１３】
一実施形態において、ビデオの品質を測定する装置を提供する。その装置は、入力ビデオを受信し、そして受信されたビデオのフレーム損失パターンを生成する手段と、ビデオの品質を、生成されたフレーム損失パターンの関数として評価する手段とを備える。
【００１４】
発明の有利な実施形態は、従属する特許請求の範囲、以下の説明および図面において開示される。
【図面の簡単な説明】
【００１５】
発明の模範的実施形態を、添付図面を参照して説明する。
【図１】ビデオのフレーム損失パターンのうちのいくつかの例を示す模範的な図である。
【図２】本発明の実施形態に従った、フレーム損失パターンに基づいてビデオの品質を測定する方法を示す流れ図である。
【図３】フレーム損失パターンが２つのサブセクションに分割されることを示す模範的な図である。
【図４】ビデオの品質を測定する方法のフレームワークを示す模範的な図である。
【図５】本発明の実施形態に従った、フレーム損失パターンに基づいてビデオの品質を測定する装置を示すブロック図である。
【図６】ビデオ品質の主観テストを行うように設計されたソフトウェアツールのインタフェースを示す図である。
【発明を実施するための形態】
【００１６】
以下の説明において、本発明の実施形態のさまざまな態様を説明する。説明を目的として、特定の構成および詳細は、完全な理解を与えるために記載されている。しかしながら、本発明は、本明細書に提示した特定の詳細を用いずに実施されてもよいことが当業者には明らかであろう。
【００１７】
図１は、ビデオのフレーム損失パターンのうちのいくつかの例を示す模範的な図である。上記のように、フレーム損失パターンは、異なる表現を用いてビデオの各フレームの状態を順次記録することによって生成される。例えば、フレーム損失パターンを、「１、１、１、１、０、０、１、１、１、０、１」などの、０−１の連続によって表すことができ、「０」は、対応するフレームが送信中に損失したことを表し、「１」は、フレームの送信が上手くいったことを表す。フレーム損失パターンを、高／低レベルを用いた図の形にすることもでき、それぞれ、上手くいったフレーム送信とフレーム損失とを表す。図１（ａ）は、そのようなビデオのフレーム損失パターンを示し、図のそれぞれの低いレベル（谷部）が、１または複数の連続したフレーム損失を包含するグループフレーム損失を意味し、上手く送信されたフレームが、図の高いレベル（最上部）によって表されている。図１（ｂ）は、２つの異なるフレーム損失パターンである「パターン１」および「パターン２」を示し、両方とも、各グループフレーム損失が同じ長さを有する、１０個のグループフレーム損失から構成されている。フレーム損失パターンをビデオの知覚的ジャーキネスに影響を与える１つの要因と見なしていない、非特許文献１および２の研究結果によれば、上記の２つの「パターン１」および「パターン２」によって生じるビデオ品質の劣化は、非常に似ているはずである。しかしながら、本発明の発明者の研究は、上記の場合とは全く異なる結論に達する。
【００１８】
発明者の発見によれば、ジャーキネスの知覚的インパクトは、フレーム損失パターンによって大いに影響を受ける。同じフレーム損失率である、以下の事例（１）から事例（３）までを例にとる。
事例（１）：１つのフレームが２フレームおきに損失する。
事例（２）：４つの連続したフレームが８フレームおきに損失する。
事例（３）：ビデオシーケンスの後半が完全に損失する。
【００１９】
上記の３つの事例すべてにおける全体のフレーム損失率は、５０パーセントである。しかしながら、それらの知覚的インパクトは、全く異なる。事例１において、閲覧者は、はっきりとしたディザリングを知覚しても、長時間にわたる閲覧の後で気分が悪くなるであろう。事例３において、閲覧者は、そのような種類の現象を知覚しないが、長時間にわたるフリージング(freezing)に直面するであろう。つまり、同じフレーム損失率を有する異なるフレーム損失パターンによって、完全に異なる知覚が生じる。
【００２０】
本発明の実施形態に従って、上記の発見に基づいてビデオの品質を測定する方法を提供する。
【００２１】
図２は、本発明の実施形態に従った、フレーム損失パターンに基づいてビデオの品質を測定する方法を示す流れ図である。
【００２２】
図２に示すように、方法は、以下のステップを備える。
【００２３】
ステップ２０１：フレーム損失パターンは、ビデオシーケンスの各フレームの（損失または上手く送信された）状態を示すことによって生成される。
【００２４】
ステップ２０２：１番目の（the first）損失フレームからの、ビデオシーケンスの１または複数の連続した損失フレームをグループフレーム損失にグループ化する。
【００２５】
ステップ２０３：最初の(the first)グループフレーム損失からの、フレーム損失パターンを、１または複数の連続したグループフレーム損失を有する複数のセクションに分割して、セクションの各グループフレーム損失が、そのグループフレーム損失とその前のグループフレーム損失との間で同じ数の上手く送信されたフレームおよび同じ数の損失フレームを有するようにする。
【００２６】
ステップ２０４：グループフレーム損失の各セクションによって生成された品質劣化の値を計算する。
【００２７】
ステップ２０５：すべてのセクションの値を合わせることによってビデオシーケンスの品質を評価する。
【００２８】
次に、添付図面を参照して詳細な説明を与える。
【００２９】
発明の実施形態に従った方法において、まず第一に、ビデオシーケンスのフレーム損失パターンが生成される。この生成を、適切なやり方によってビデオシーケンスのすべてのフレームの状態を示すことによって実現することができる。フレーム損失を、周知の方法によって検出することができることを当業者は認識するであろう。この点についての詳細はこれ以上説明しない。
【００３０】
次に、ビデオシーケンスのすべての損失フレームのうちの１番目から開始して、１または複数の連続した損失フレームは、グループフレーム損失と呼ばれる１つのグループにグループ化される。
【００３１】
考えられるフレーム損失パターンを示す。
【００３２】
【数１】
2014504471.tif 000003
【００３３】
このパターンは、タイムスタンプによって与えられ、ここでｇｄｉは、ｉ番目のグループフレーム損失を表す。次に、フレーム損失パターンは、第１のグループフレーム損失から複数のサブセクションに分割（またはセグメント化）される。各サブセクションは、１または複数の連続したグループフレーム損失を備え、それぞれのグループフレーム損失は、ビデオシーケンスの品質劣化に同様の知覚的インパクトを与える。
【００３４】
連続したグループフレーム損失を同様の知覚的インパクトに分割して上記の目的のために、この方法において、ビデオシーケンスの各グループフレーム損失を２つのパラメータｇｄ＝（ｇａｐｇｄ，ｌｅｎｇｄ）によって特定することができる。第１のパラメータｇａｐｇｄは、現在のグループフレーム損失と前のグループフレーム損失との間で上手く送信されたフレームの数である。第２のパラメータｌｅｎｇｄは、現在のグループフレーム損失の損失フレームの数である。ｇａｐｇｄとｌｅｎｇｄの両方の値は、１から１０までの整数に限定される。セグメント化されたサブセクションのすべてのグループフレーム損失が、同じパラメータｇａｐｇｄおよびｌｅｎｇｄを有する場合、それらのパラメータは、ビデオシーケンスの品質劣化に同様の知覚的インパクトを与える。
【００３５】
距離関数
【００３６】
【数２】
2014504471.tif 000004
【００３７】
をサブセクションの２つのグループフレーム損失間の知覚的インパクトの差の大きさとして使用することができる。上記の距離関数において、関数ｆ（ｘ，ｙ）は、ビデオの知覚品質評価に使用され、それについて後で説明する。
【００３８】
フレーム損失パターンは、その後、距離関数の定義に基づいてサブセクションにセグメント化される。
【００３９】
以下は、距離関数の擬似コードである。
【００４０】
セグメント化手順。
１、ｎＣｏｕｎｔ＝０，  ｐｏｏｌ＝｛｝；        ／／数字として定義される／サブセクションのセット
２、（ｉ＝０，  ｉ＜＝ｎ，  ｉ＋＋）｛  に対し
２、１  もし各ｇｄ∈ｐｏｏｌが（ｄ（ｇｄ，ｇｄｉ）＜ｃ）であれば、
プールにｇｄｉを挿入する
さもなくば｛ＳｕｂＳｅｃｔｉｏｎｎＣｏｕｎｔ＝ｐｏｏｌ；ｐｏｏｌ＝｛  ｝；ｎＣｏｕｎｔ＋＋｝；
｝
を挿入する
上記の擬似コードｃは、定数である。この手順は、フレーム損失パターンＦＬＰをサブセクションのセット
【００４１】
【数３】
2014504471.tif 000005
【００４２】
に分割する。
【００４３】
図３は、上記のフレーム損失パターンが２つのサブセクションに分割される例を示す。図３に示すように、１つのサブセクション内のグループフレーム損失は、同様の知覚的インパクトから成ると見なされ、そして隣接する２つのサブセクションは、上手く送信されたいくつかのフレームにリンクされている。
【００４４】
次に、各サブセクションの知覚評価が実行される。
【００４５】
同じサブセクション内のグループフレーム損失が、同様の知覚的インパクトから成ると見なされるので、そのサブセクションを、典型的には、一定間隔のフレーム損失として扱うことができることを認識するであろう。
【００４６】
従って、各サブセクションも、２つのパラメータＳｕｂＳｅｃｔｉｏｎ＝（ｇａｐＳＳ，ｌｅｎＳＳ）によって特定される。第１のパラメータｇａｐＳＳは、隣接する２つのグループフレーム損失間で上手く送信されたフレームの平均数であり、そして第２のパラメータｌｅｎＳＳは、サブセクションのすべてのグループフレーム損失の損失フレームの平均数である。
【００４７】
平たく言えば、ｇａｐＳＳおよびｌｅｎＳＳのサブセクションの特徴量(feature values)はまさに、そのサブセクション内のすべてのグループフレーム損失に対するｇａｐＳＳおよびｌｅｎＳＳの平均値である。
【００４８】
そこでサブセクションの知覚品質の劣化は、ｇａｐＳＳおよびｌｅｎＳＳの特徴量によって決定されることが考えられる。以下のように定義される。
【００４９】
【数４】
2014504471.tif 000006
【００５０】
主観検査によって、（ｇａｐＳＳ，ｌｅｎＳＳ）のある離散値に対し、知覚品質評価を手動でマークすることができる。このため、我々は、離散関数ｆ（ｘ，ｙ）をｘ，ｙ∈｛１，２，．．．，１０｝で定義する。
【００５１】
例として、離散関数ｆ（ｘ，ｙ）を以下のように定義することができる。
【００５２】
【数５】
2014504471.tif 000007
【００５３】
ここで、ｃｓｔｉｌｌは、閾値とする定数であり、ＣａｍｅｒａＭｏｔｉｏｎは、サブセクションのカメラモーションのレベルの大きさである。そしてｆ１（ｘ，ｙ）ｆ２（ｘ，ｙ）は、以下の表に与えられる。
【００５４】
【表１】
2014504471.tif 000008
【００５５】
【表２】
2014504471.tif 000009
【００５６】
カメラモーションは、知覚品質に影響を与えるもう一つの重要な要因になるので、カメラモーションのレベルも推定する必要がある。
【００５７】
カメラモーションを周知の方法で推定することができる。その最も重要なグローバル動き推定モデルは、非特許文献３に記載された、８パラメータ透視動きモデルである。
【００５８】
非特許文献３は、以下の式で明らかになる。
【００５９】
【数６】
2014504471.tif 000010
【００６０】
ここで、（ａＤ，．．，ａ７）は、グローバル動きパラメータであり、（ｘｉ，ｙｉ）は、現在のフレームのｉ番目のピクセルの空間座標を示し、そして（ｘｉ’，ｙｉ’）は、前のフレームの対応するピクセルの空間座標を示す。動きモデルパラメータとシンボルレベルの解釈との関係が確立される。
【００６１】
【数７】
2014504471.tif 000011
【００６２】
非特許文献３で紹介されたアルゴリズムは、本発明の実施形態の方法における８パラメータＧＭＥモデルを抽出するのに適用される。カメラモーションのレベルは、最終的に以下のように定義される。
【００６３】
【数８】
2014504471.tif 000012
【００６４】
そこでｆｐ（ｘ，ｙ）＝ｆ（ｘ，ｙ）は、ｘ，ｙ∈｛１，２，．．，１０｝として定義される。関数ｆｐ（ｘ，ｙ）を整数でない変数を有する関数に一般化する方法についても問題であり、典型的な学習(training)が問題である。従って学習マシン（例えば、当業者には周知である、人工ニューラルネットワーク（ＡＮＮ））を使用して、そのマシンがｆ（ｘ，ｙ）で学習する間に
【００６５】
【数９】
2014504471.tif 000013
【００６６】
を割り当てることができる。
【００６７】
これまでのところ、フレーム損失パターンの各サブセクションによって生成される知覚品質劣化の値Ｊｐが得られた。
【００６８】
最終的に、ビデオシーケンスの品質は、フレーム損失パターンのすべてのセクションの値を合わせることによって評価される。
【００６９】
この方法において、プーリング戦略を使用して、それらの値をビデオシーケンス全体の品質評価に統合することができる。このような時間品質のプーリング戦略は、ブロックノイズ、ぼけなどの、空間アーチファクトを考慮する場合のプーリング戦略とはまったく異なることを指摘すべきである。人間視覚システム（ＨＶＳ）の特性のため、人々は、「悪く感じやすく、許し難い」。より高い時間品質から成る２つのサブセクション間の上手く送信されたフレームは通常、全体の時間品質を考慮する場合に無視される。
【００７０】
上記のセグメント化ステップにおいて、ビデオシーケンスは、一定間隔のフレーム損失
【００７１】
【数１０】
2014504471.tif 000014
【００７２】
のサブセクションのセットにセグメント化され、そして隣接する各２つのサブセクションは、ＳｕｂｓｅｃｔｉｏｎｉとＳｕｂｓｅｃｔｉｏｎｉ＋１との間の上手く送信されたフレーム、ＮｏＬｏｓｓｉを示す、いくつかの上手く送信されたフレームによって区切られる。分かり易くするために、ＮｏＬｏｓｓｉは、最も少ない品質劣化値１を有する特別な種類の一定間隔のフレーム損失として扱われる。つまり、我々は、
【００７３】
【数１１】
2014504471.tif 000015
【００７４】
と設定する。その後、これらすべてのＮｏＬｏｓｓｉは、設定したＦＬＰに挿入された。
【００７５】
従って、全体の品質劣化は、以下のように定義される。
【００７６】
【数１２】
2014504471.tif 000016
【００７７】
ここで、ｗ（ｆｌｐｉ）は、ＦＬＰの要素の重み関数であり、以下のように定義される。
【００７８】
【数１３】
2014504471.tif 000017
【００７９】
この式において、ｌｅｎｇｔｈ（ｆｌｐｉ）は、ｆｌｐｉのフレーム数である。ｄｉｓｔ（ｆｌｐｉ）は、ｆｌｐｉの中央から最後のフレームまでの距離である。Ｊｐ（ｆｌｐｉ）は、上記で定義されたように、ｆｌｐｉによって導出された知覚的時間劣化である。
【００８０】
ｆＴは、人間の「記憶および忘却」プロパティを記述した関数である。閲覧者は、彼／彼女が最後のフレームを閲覧し終わった時に、彼の／彼女の全体の評価を行うと考えられている。最後のフレームから遠く離れたサブセクションは、閲覧者によって忘れられる可能性がある。遠く離れているほど、忘れる可能性が高くなる。
【００８１】
ｆＤは、「悪く感じやすく、許し難い」視覚プロパティを記述する関数である。人間は、かなり歪みのあるサブセクションに強いインパクトを受ける一方、歪みのないサブセクションをほとんど無視する。
【００８２】
図４は、ビデオの品質を測定する方法のフレームワークを示す模範的な図である。フレームワークの入力は、受信されたビデオシーケンスであり、フレーム損失パターン（またはタイムスタンプ）と併せて、各フレームの損失した／上手くいった受信を示す。フレームワークの出力は、入力ビデオシーケンスに対するビデオ量（ジャーキネス）のレベルを示す値Ｊである。
【００８３】
図４に示すように、フレームワークの主部は、（１）入力ビデオのフレーム損失パターンのセグメント化、（２）一定間隔のフレーム損失と見なされている各セクションの知覚評価、および（３）プーリング、の３つの動作から構成される。
【００８４】
セグメント化ステップにおいて、入力ビデオシーケンスのフレーム損失パターンは、上記のように、セクションのセットに分割される。これらのセクションを２種類に分類することができる。その１つ（ＳｕｂＳｅｃｔｉｏｎｉ）は、同様のグループフレーム損失から構成され、そしてセグメント内の一定間隔のフレーム損失と見なされる。もう１つの種類（ＮｏＬｏｓｓｉ）は、フレーム損失をまったく包含しない。
【００８５】
知覚評価ステップにおいて、ＮｏＬｏｓｓｉの知覚評価は、定数１に設定される。ＳｕｂＳｅｃｔｉｏｎｉの知覚評価は、上記のように、式（１）に基づいて推定される。
【００８６】
プーリングステップにおいて、全体のジャーキネス評価は、上記のように、式（３）に従ったすべてのセクションの知覚評価に基づいて推定される。
【００８７】
本発明の別の実施形態は、フレーム損失パターンに基づいてビデオの品質を測定する装置を提供する。
【００８８】
図５は、本発明の実施形態に従ったフレーム損失パターンに基づいてビデオの品質を測定する装置を示すブロック図である。
【００８９】
図５に示すように、装置５００は、入力ビデオシーケンスを受信し、且つ受信されたビデオシーケンスのフレーム損失パターンを生成するためのフレーム損失パターン生成ユニット５０１と、フレーム損失パターン生成ユニット５０１からフレーム損失パターンを受信し、且つ第１の損失フレームからの、フレーム損失パターンの１または複数の連続した損失フレームをグループフレーム損失にグループ化するためのグループ化ユニット５０２と、グループ化ユニット５０２からグループ化されたフレーム損失パターンを受信し、且つ第１のグループフレーム損失からの、フレーム損失パターンを、１または複数の連続したグループフレーム損失を有する複数のセクションに分割して、セクションの各グループフレーム損失が、そのグループフレーム損失とその前のグループフレーム損失との間で同じ数の上手く送信されたフレームおよび同じ数の損失フレームを有するようにするための分割ユニット５０３と、分割ユニット５０３によって出力されたグループフレーム損失の各セクションによって生成された品質劣化の値を計算するための計算ユニット５０４と、計算ユニット５０４によって出力されたすべてのセクションの値を合わせてビデオシーケンスの品質を評価し、且つその値を出力するための評価ユニット５０５とを備える。
【００９０】
本発明の評価精度を非特許文献１および２と比較して推定する実験が行われた。このため、ビデオ品質の主観テストを行うためのソフトウェアツールが設計された。図６は、その主観テストを行うために設計されたソフトウェアツールのインタフェースを示す図である。入力ビデオシーケンスを右側の「ＹＵＶシーケンス」グループボックス内で選択することができ、フレーム損失パターンを右側中央の「フレーム損失パターン」グループボックス内で選択することができる。フレーム損失パターンの影響を受けたビデオシーケンスはその後、左側の小ウィンドウで表示される。
【００９１】
閲覧者はその後、以下のようなジャーキネスの知覚をマークするように要求される。
１−品質劣化をまったく知覚しない
２−注意して調べて見ると時間軸に不自然なものがあるのに気付くが、ビデオを楽しむのに影響を及ぼさない
３−はっきりとした品質劣化であり、通常、邪魔に感じる
４−品質劣化をかなり不快に思う
５−劣化がひどく、ビデオにまったく耐えられない
【００９２】
その主観テストにおいて、１０ＣＩＦ（３５２×２８８ピクセルのビデオ解像度）シーケンスが選択され、２０個のフレーム損失パターンが選ばれた。３人の閲覧者は採点するように依頼されて、彼らの平均値は、ＪＳとして示した、主観スコアに考慮される。マークされたスコアを有するすべてのシーケンスは、データセットＤＳに組まれる。
【００９３】
パラメータ設定
実装において、経験に基づいて定数が決定される。定数は、β１＝β２＝１，β３＝２、
ｃ＝１．５、ｃｓｔｉｌｌ＝０．２３である。
【００９４】
簡易にするために、３００フレームのウィンドウは、閲覧者がこのウィンドウの前のフレームの品質について忘れるであろうと思われる間の記憶容量とされた。そしてウィンドウ内で、ｆＴ＝１に設定され、ｆＤ（ｄ）＝６−ｄに設定される。ｆ１（ｘ，ｙ）およびｆ２（ｘ，ｙ）は、上記の表１および表２によって決定される。
【００９５】
実験結果
本発明の評価精度は、本発明に従って得られた主観評価結果Ｊと主観スコアＪＳとを比較することによって推定される。ピアソンの相関が予測精度測定に使用される。
【００９６】
以下の表は、本発明のピアソンの相関（予測精度）および非特許文献１および２で提案されたアルゴリズムを示す。
【００９７】
【表３】
2014504471.tif 000018
【００９８】
本発明の好適な実施形態に適用される基礎的な新規の特徴を示し、説明し、そして指摘したが、説明された装置および方法、開示されたデバイスの形態および詳細、およびそれらの動作のさまざまな省略および置換および変更は、本発明の精神から逸脱することなく当業者によって行われてよいことが理解されよう。同じ結果を実現するために実質的に同じやり方で実質的に同じ機能を実行する要素のすべての組み合わせは、発明の範囲内であることを明確に意図する。説明したある実施形態から別の実施形態に要素を置き換えることも、すべて意図および企図する。
【００９９】
本発明は、単に例として説明され、そして発明の範囲から逸脱せずに詳細の変更を行うことができることが理解されよう。説明で開示された各特徴および（それに適した）特許請求の範囲および図面は、単独または適した任意の組み合わせにおいて提供されてよい。適した特徴は、ハードウェア、ソフトウェア、またはその２つを組み合わせて実装されてよい。
【図１】
2014504471.tif 000019
【図２】
2014504471.tif 000020
【図３】
2014504471.tif 000021
【図４】
2014504471.tif 000022
【図５】
2014504471.tif 000023
【図６】
2014504471.tif 000024
【国際調査報告】
2014504471.tif 000025
2014504471.tif 000026