(57)【要約】【課題】主観評価試験を行うことなく、映像・音声信号の物理的特徴量の測定から適切に主観品質を推定できるようにする。【解決手段】ストリーミング形式で入力される評価対象の映像・音声信号の短時間毎の客観品質を表わす評価値を求める手段（１１０）と、この求めた評価値を時系列的に記憶する手段（１２０）と、この記憶された一定時間分毎の評価値をもとに、予め定めた総合品質評価特性モデルに基づき、人間の長時間主観評価特性を反映した総合評価値（総合品質）を求める手段（１３０）を設ける。【選択図】        図１
2004172753.tif 000002
【特許請求の範囲】
【請求項１】
人間が感じる映像・音声品質（これを主観品質と呼ぶ）を評価対象の映像・音声信号の物理的特徴量から推定する映像・音声品質客観評価方法であって、
評価対象の映像・音声信号の短時間毎の客観品質を表わす評価値を求めるステップと、
前記求めた評価値を時系列的に記憶するステップと、
前記記憶された一定時間分の評価値をもとに、予め定めた総合品質評価特性モデルに基づき、人間の長時間主観評価特性を反映した総合評価値（総合品質）を求めるステップと、
を有することを特徴とする映像・音声品質客観評価方法。
【請求項２】
請求項１記載の映像・音声品質客観評価方法において、
前記総合品質評価特性モデルとして、
（１）  同一の劣化時間長・劣化度合いの品質劣化であっても、劣化の発生した時間的位置が品質判断時点から離れるほど総合品質に与える影響が低下するモデル、
（２）  同一の総劣化時間長／劣化度合いであっても、品質変動の頻度が高いほど総合品質が低下するモデル、
（３）  上記（１）に示すモデルにおいて、ある一定の劣化時間長あるいは劣化度合いを超えた場合にはその影響が支配的となるモデル、
の一つまたは複数を用いることを特徴とする映像・音声品質客観評価方法。
【請求項３】
人間が感じる映像・音声品質（主観品質）を評価対象の映像・音声信号の物理的特徴量から推定する映像・音声品質客観評価装置であって、
連続的に入力される評価対象の映像・音声信号の短時間毎の客観品質を表わす評価値を求める手段と、
前記求めた評価値を時系列的に記憶する手段と、
前記記憶された一定時間分の評価値をもとに、予め定めた総合品質評価特性モデルに基づき、人間の長時間主観評価特性を反映した総合評価値（総合品質）を求めて出力する手段と、
を有することを特徴とする映像・音声品質客観評価装置。
【請求項４】
請求項３記載の映像・音声品質客観評価装置において、
前記総合品質評価特性モデルとして、
（１）  同一の劣化時間長・劣化度合いの品質劣化であっても、劣化の発生した時間的位置が品質判断時点から離れるほど総合品質に与える影響が低下するモデル、
（２）  同一の総劣化時間長／劣化度合いであっても、品質変動の頻度が高いほど総合品質が低下するモデル、
（３）  上記（１）に示すモデルにおいて、ある一定の劣化時間長あるいは劣化度合いを超えた場合にはその影響が支配的となるモデル、
の一つまたは複数を用いることを特徴とする映像・音声品質客観評価装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人間が映像又は音声を観てあるいは聴いてその品質を評価する主観評価試験を行うことなく、映像又は音声信号の物理的特徴量の測定から主観品質を推定する映像・音声品質客観評価方法及び装置に関する。
【０００２】
【従来の技術】
近年、インターネットアクセス回線の高速・広帯域化に伴い、映像・音声のストリーミング配信サービスの普及が本格化している。映像・音声の快適なストリーミング配信サービスを提供するためには、適切な映像・音声品質評価技術に基づく品質設計・管理が重要となる。
【０００３】
映像・音声の品質は、多数の被験者が実際に映像・音声を観てあるいは聴いてその品質を評価する主観評価試験により評価することが基本である（例えば、非特許文献１参照）。しかし、主観評価試験を行うには多くの手間・時間・費用がかかる。また、評価に影響を与える外部要因を極力排除する必要があるため、専用の評価施設が必要なことから、実験を行える場所も限られている。
【０００４】
これを解決する手段として客観品質評価装置がある。客観品質評価装置では、評価対象の映像や音声信号を入力とし、客観評価モデルが出力する歪み量を元に、主観評価実験を行う事なく、主観品質を推定する。なお、代表的なビデオストリーミング向け品質評価モデルツールには、例えばＧｅｎｉｓｔａ社のＶｉｄｅｏ  ＱｏＳがある（例えば、非特許文献２、非特許文献３参照）。
【０００５】
【非特許文献１】
川口銀河  他，“映像配信サービスにおけるビットレート変動の影響の主観品質評価”，信学技報ＣＱ２００２−７１，Ｊｕｌ．２００２
【非特許文献２】
ＭＣＭＪａｐａｎ，“ビデオストリーミンク向け品質分析ソフトウエア「ＶｉｄｅｏＱｏＳ」”，平成１３年１０月９日、Ｂｒｏａｄｂａｎｄ  Ｗａｔｃｈホームページ、＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｗａｔｃｈ．ｉｍｐｒｅｓｓ．ｃｏ．ｊｐ／ｂｒｏａｄｂａｎｄ／ｎｅｗｓ／２００１／１０／０９／ｖｉｄｅｏｑｏｓ．ｈｔｍ＞
【非特許文献３】
Ｇｅｎｉｓｔａ  Ｃｏｒｐｒａｔｉｏｎ，“Ｖｉｄｅｏ  ＱｏＳ知覚ビデオ品質評価”，平成１３年１０月１０日，株式会社ジェニスタ、＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｃｉｄｆ．ｏｒｇ／ｊａｐａｎｅｓｓ／ｉｎｆｏｒｍａｔｉｏｎ／ｄｏｃｓ／ｃｉｄｆ−ｇｅｎ−４９．ｐｄｆ＞
【０００６】
【発明が解決しようとする課題】
従来技術では、映像や音声信号の短時間区間（数１０ｍｓｅｃ）毎に得られる特徴物理量を評価時間長（例えば数秒）に渡って平均した値などを客観評価装置の出力（つまり、総合品質評価値）とする方法が用いられる。この方法は、品質（特徴物理量）の変動が少なく、かつ評価時間長が短時間（例えば数秒）である場合には、主観品質との一致が期待できる。
【０００７】
しかし、評価時間長が長くなり、かつ、その中で品質が時間的に変動する場合には、人間の劣化認知特性は短時間区間の品質の単純な時間平均では表現できず、結果として得られる推定値は実際の主観品質と乖離してしまう恐れがある（非特許文献１）。
【０００８】
一般に、映像・音声配信サービスのコンテンツ（番組等）の時間尺は、通常、数分〜数時間程度であり、この間にネットワークの状態の変化などによって品質が変動することがある点を鑑みれば、従来技術をこのような長時間サービスの評価に直接適用することは品質推定精度の低下を招くことになる。
【０００９】
本発明の目的は、上述の問題を解決した、映像・音声信号の客観的な物理的特徴量の測定から主観品質を適切に推定する映像・音声品質主観評価方法及び装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、評価対象の映像・音声信号の短時間（例えば数秒）毎の客観品質を表す評価値を過去の一定時間分（例えば数分から数十分）、順次、時系列的に保持し、この一定時間分の評価値を元に、予め用意した総合品質評価値特性モデルに基づいて、人間の長時間主観評価特性を反映した総合品質を推定することを特徴とする。
【００１１】
本発明では、人間の劣化知覚特性に対応した特徴物理量時系列元に、予め用意した時間的に変動する品質劣化に対応した人間の認知特性を表わすモデルに基づいて総合品質評価値を推定するため、特徴物理量とモデルの妥当性が保持される限り、劣化時系列から総合品質を推定するという手法において、主観品質を適切に推定できる。
【００１２】
【発明の実施の形態】
以下、本発明の一実施形態について図面により説明する。
図１は本発明の映像・音声品質客観評価装置の一実施形態のブロック図である。図１において、映像・音声品質客観評価装置１００は短時間評価特性計算部１１０、一時記憶部１２０、長時間評価特性計算部１３０、及び、これら各部の動作を制御する制御部１４０から構成される。
【００１３】
短時間評価特性計算部１１０は、評価対象の映像・音声信号１０をストリーミング形式に連続入力し、あらかじめ内蔵した客観評価モデルをもとに、評価対象信号の短時間（例えば数秒）毎の客観品質を表す評価値を計算して順次出力する。即ち、短時間評価特性計算部１１０では、従来の客観評価装置と同様に、評価対象の映像・音声信号における短時間区間（数１０ｍｓｅｃ）毎に得られる特徴物理量を所定の評価時間長（例えば数秒）にわたって平均した値等を、評価対象信号の客観品質を表わす評価値（短時間特性）として順次出力する。この短時間評価特性計算部１１０には、例えばＧｅｎｅｓｔａ社のＶｉｄｅｏＱｏｓをそのまま利用することができる（例えば、非特許文献２，３参照）。この場合、評価対象（加工された）の映像・音声信号１０のほかに、別途、その基準となる映像・音声信号も入力する。
【００１４】
一時記憶部１２０は、短時間評価特性計算部１１０から順次出力される評価値を時系列で記憶する。即ち、一時記憶部１２０は、評価対象である映像・音声信号の物理特徴量の短時間特性を時系列的に保持する。この一時記憶部１２０は、例えばシフトレジスタアレイ構成のバッファメモリなどにより実現し一定時間を過ぎたデータ（評価値）は順次廃棄して行く。一時記憶部１２０に過去のどの時点までの評価値を留めておくかは、長時間評価特性計算部１３０に含まれる総合品質評価特性モデル（主観評価特性モデル）の要求仕様で決まる。
【００１５】
長時間評価特性計算部１３０は、短時間評価特性計算部１１０の処理と平行して、所定時間（例えば数秒）毎に、一時記憶部１２０から過去の一定時間（例えば数分から数十分）分の評価値を取り込み、予め内蔵した総合品質評価特性モデルに基づき、人間の長時間主観評価特性を反映した総合評価値（総合品質）を計算し、客観品質評価結果２０として出力する。この長時間評価特性計算部１３０に用意する総合品質評価特性モデルについては後述する。
【００１６】
制御部１４０は、例えばＣＰＵ構成であり、短時間評価特性計算部１１０、一時記憶部１２０及び長時間評価特性計算部１３０の各動作タイミング等を制御する。
【００１７】
図２に本映像・音声品質客観評価装置１００の全体的処理フローを示す。図２中、時間ｔは短時間評価特性計算部１００の要求仕様の評価時間長（例えば数秒）であり、時間τは長時間特性計算部１３０の要求仕様の評価時間長（例えば数分から数十分）である。
【００１８】
映像・音声品質客観評価装置１００は、装置を立ち上げ、動作を開始することで、評価対象の映像・音声信号１０をストリーミング形式で連続的に入力する（Ｓ１）。先に述べたように、必要ならば別途、基準となる映像・音声信号も同じく入力する。この連続的に入力される評価対象の映像・音声信号１０について、短時間評価特性計算部１１０は、内蔵した客観評価モデルに基づき、所定時間（ｔ）毎に、その時間長（ｔ）の評価値（短時間特性）を計算し、順次出力していく。
【００１９】
まず、動作開始から時間（τ）に該当する最初の一定時間では、短時間評価特性計算部１１０から順次出力される評価値を、単に一時記憶部１２０へ時系列的に記憶するだけの処理を実行する。図２のステップＳ２の前処理がこれを示している。
【００２０】
その後は、所定時間（ｔ）毎に（Ｓ３）、短時間評価特性計算部１１０が、評価対象の映像・音声信号１０について、時間長（ｔ）の評価値を計算し、一時記憶部１２０へ時系列的に記憶する処理（Ｓ５，Ｓ６）と平行して、長時間評価特性計算部１３０では、一時記憶部１２０から一定時間（τ）分の評価値を取り込み、内蔵した総合品質評価特性モデルに基づき、人間の長時間主観評価特性を反映した総合評価値を計算し、それを客観品質評価結果２０として出力する（Ｓ７，Ｓ８，Ｓ９）。これを評価対象の映像・音声信号が入力されなくなるまで繰り返す（Ｓ４）。なお、先にも述べたように、一時記憶部１２０のデータは、一定時間（τ）を過ぎたものから順次廃棄していく。
【００２１】
次に、長時間評価特性計算部１３０の総合品質評価特性モデル（主観評価特性モデル）について説明する。総合品質評価特性モデルは、人間の長時間主観評価特性を反映する必要がある。即ち、映像・音声を連続して視聴している利用者が、過去の品質劣化状態の影響なども含めて、現在、視聴メディアに対して感じている主観品質を推定できる必要がある。映像・音声の視聴時に発生した劣化の影響は、忘却効果（劣化があったことを時間と共に忘れて行く効果）、段差関知効果（変化の平均特性以外に、“品質の変化”が起きたことそのものを妨害要因と感じる効果）などが挙げられる（例えば、非特許文献１参照）。
【００２２】
ここでは、これらを考慮し総合品質評価特性モデルとして、
（１）  同一の劣化時間長・劣化度合いの品質劣化であっても、劣化の発生した時間的位置が品質判断時点から離れるほど総合品質に与える影響が低下するモデル
（２）  同一の総劣化時間長／劣化度合いであっても、品質変動の頻度が高いほど総合品質が低下するモデル
（３）  上記（１）に示すモデルにおいて、ある一定の劣化時間長あるいは劣化度合いを超えた場合にはその影響が支配的となるモデル
を想定する。実際は必要に応じ、このうちの任意の一つまたは任意の二つの組み合せ、あるいは三つ全部を使用して総合品質評価特性モデルを設定する。ここでは、一例として（１）と（２）を組み合せたモデルを仮定する。
【００２３】
時刻ｔでの品質（短時間評価特性計算部１１０により測定される客観評価値）をＱ（ｔ）とする。時刻０における、人間の長時間主観評価特性を考慮した本モデルにおける総合品質（長時間評価特性計算部１３０で計算される総合評価値）Ｑ＿ｇ（ｔ）は以下の式で表現される。
【００２４】
【数１】
2004172753.tif 000003
【００２５】
ここで、右辺の第１項は、視聴直後のものはよく覚えているので影響が大きいが、時と共に忘れていくことを表わしてする。但し、時間τが過ぎたものは寄与が少ないので完全に忘れたものとする。第２項は、ビットレートの変化（品質の変化）が発生すると“変化”の絶対値が劣化として感じられ、それは視聴直後ほど強いことを表わしている。
【００２６】
このモデルの特徴は以下の通りである。
（１）  常時一定の品質Ｑ＿ｃであるものは時間変化を考慮してもＱ＿ｃとなる
（２）  時間τ以内に品質が劣化したことがある場合には現在再生している短時間品質がＱ＿ｃであっても、時間的影響を組み込むとＱ＿ｃよりも低くなる。
（３）  発生した品質低下がどんなに短時間であっても、第二項により、変化が発生したことの影響が出る（単なる平均などではない主観特性の効果）。
【００２７】
このモデルの場合、ある時刻ｔにおける品質は過去τ時間にのみ影響されることになるので、必然的に図１中の一時記憶部１２０に必要な量はτの時間分となる（それ以前の品質は本モデルにおいては影響しないため不要である）。
【００２８】
図３に本モデルの適用例を示す。また、図４に本モデルの重み（評価特性重み）ｗ（ｔ）を示す。
【００２９】
図３において、上が短時間品質（短時間評価特性計算部１１０で測定される客観評価値）Ｑ（ｔ）の時間変化の例を表わし、下がこれに対して、本モデルによる時間変動の影響を含む総合品質（長時間評価特性計算部１３０で得られる総合評価値）Ｑ−ｇ（ｔ）の時間変化の例を表わしたものである。短時間品質Ｑ（ｔ）の時間変化は、
時刻  −ｒ〜  −０．７τ４，  −０．３τ〜  ０    ：品質  １００
時刻          −０．７τ４，〜−０．３τ          ：品質    ５０
である。現在の表示／再生の短時間品質は１００となっているが、過去の時刻１−０．７τから−０．３τでの品質５０への劣化はユーザが覚えているという効果を本モデルで評価すると、式（１）を積分して現在の時間変化を考慮した総合品質は
１００＊（１−（ｅｘｐ（０．３）（ｅｘｐ（０．４）−１））−Ｂ＊（２＊５０）
となる。第一項で１００より減少分が存在し、また、さらに第二項が段差を含めており、過去の劣化の影響が反映されていることが分かる。
【００３０】
なお、この例においては、説明の都合上、過去の品質による影響として極めて単純なモデルを用い、品質評価についても１次元の総合品質のみを用いているが、より精緻なモデルや、あるいは総合品質だけでなく、映像の特性情報、音声品質などより細かい情報などを用いるといった方法により、映像・音声品質のより正確な、人間の長時間主観特性を考慮した客観評価が可能である。
【００３１】
また、ここでは、人間の長時間主観評価特性を（１）式のような式でモデル化し、長時間評価特性計算部１３０では、該式により総合品質を求める適用例を示したが、長時間評価特性計算部１３０に主観品質の特性をモデル化して反映させる手段としては、あらゆるパターンについての特性を表などとして格納しておく手段（予め主観評価実験などにより値を決定しておく）、代表的なパターンについての値を元に近似する値を返す手段などが考えられる。
【００３２】
なお、図１で示した装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤやＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【００３３】
【発明の効果】
本発明によれば、人間の劣化知覚特性に対応した特徴物理量時系列を元に、予め用意した時間的に変動する品質劣化に対応した人間の認知特性を表わすモデルに基づいて総合品質評価値を推定するため、主観品質を適切に推定できる。
【図面の簡単な説明】
【図１】本発明の一実施形態の装置構成のブロック図である。
【図２】本発明の一実施形態の処理フロー図である。
【図３】本発明による適用例を示す図である。
【図４】本発明による適用例の重みを示す図である。
【符号の説明】
１０  映像・音声信号
２０  客観品質評価結果
１００  映像・音声品質客観評価装置
１１０  短時間評価特性計算部
１２０  一時記憶部
１３０  長時間評価特性計算部
１４０  制御部
【図１】
2004172753.tif 000004
【図２】
2004172753.tif 000005
【図３】
2004172753.tif 000006
【図４】
2004172753.tif 000007