(57)【要約】【解決手段】  画像又は映像の品質を評価する品質志向重要度マップを生成する方法であって、  前記画像又は映像における複数の特徴を抽出する特徴抽出工程と、少なくとも一つの抽出された特徴における認識品質要件を決定する決定工程と、前記抽出された複数の特徴と、前記少なくとも一つの抽出された特徴における認識品質要件とを統合して重要度レベル値の配列を形成し、これにより、前記品質志向重要度マップを生成する統合工程と、を備えることを特徴とする品質志向重要度マップの生成方法。
2006505853.tif 000002
【特許請求の範囲】
【請求項１】
画像又は映像の品質を評価する品質志向重要度マップを生成する方法であって、
前記画像又は映像における複数の特徴を抽出する特徴抽出工程と、
少なくとも一つの抽出された特徴における認識品質要件を決定する決定工程と、
前記抽出された複数の特徴と、前記少なくとも一つの抽出された特徴における認識品質要件とを統合して重要度レベル値の配列を形成し、これにより、前記品質志向重要度マップを生成する統合工程と、
を備えることを特徴とする品質志向重要度マップの生成方法。
【請求項２】
前記画像又は映像における複数の特徴を、視覚特徴に基づく情報と知識に基づく情報とを用いて抽出することを特徴とする請求項１に記載の生成方法。
【請求項３】
絶対運動及び相対運動を決定し、これらを用いて前記画像又は映像のピクセル又は領域の品質レベル値を決定し、また該決定された品質レベル値は、前記品質志向重要度マップを生成するために用いられる認識品質要件であることを特徴とする請求項２に記載の生成方法。
【請求項４】
非線形マッピング関数を用いて、前記抽出された複数の特徴と、前記少なくとも一つの抽出された特徴における認識品質要件とを統合し、重要度レベル値の配列を形成することを特徴とする請求項２に記載の生成方法。
【請求項５】
前記重要度レベル値の配列を形成する際に、前記抽出された複数の特徴の統合の結果としてのカップリング効果を用いることを特徴とする請求項４に記載の生成方法。
【請求項６】
前記品質志向重要度マップは、次の数式：
【数１】
2006505853.tif 000019
を用いて得られ、
ms,i,j,tは、スケールs、位置(i, j)及び時間tにおける前記品質志向重要度マップの要素であり、
fns,i,j,tは、n番目に抽出された特徴であり、
ｃLkは、fLs,i,j,tとfks,i,j,tとを結合させるカップリング効果を意味するカップリング係数であり、
nは、前記抽出された特徴の指標であり、
kは、1<k<N且つk≠Lであるような、前記抽出された特徴の他の指標であり、
Nは、前記抽出された複数の特徴の総数であり、
Lは、L=arg max(fns,i,j,t)とされるfns,i,j,tの最大値である
ことを特徴とする請求項５に記載の生成方法。
【請求項７】
前記非線形カップリングマッピング関数は、g1(x, y) = min (x, y)として定義されることを特徴とする請求項６に記載の生成方法。
【請求項８】
前記抽出された複数の特徴の統合は、（ｉ）該抽出された複数の特徴の夫々に対してウェイトを決定し、（ｉｉ）該ウェイトが加重された、抽出された複数の特徴を加算し、前記非線形マッピング関数を累積された複数の特徴に適用することにより実行され、これにより、前記視覚重要度レベル値の配列を形成することを特徴とする請求項４に記載の生成方法。
【請求項９】
前記品質志向重要度マップは、次の数式
ms,i,j,t = g2(w1 f1s,i,j,t + w2 f2s,i,j,t + ... + wn fns,i,j,t )
を用いて得られ、
ms,i,j,tは、スケールs、位置(i, j)及び時間tにおける前記品質志向重要度マップの要素であり、
fns,i,j,tは、前記抽出された特徴であり、
nは、n番目に抽出された特徴であり、
g2は、前記非線形マッピング関数である
ことを特徴とする請求項５に記載の生成方法。
【請求項１０】
前記非線形マッピング関数は、
【数２】
2006505853.tif 000020
として定義され、
αは非線形特性を与えるパラメータであり、Cは定数である
ことを特徴とする請求項９に記載の生成方法。
【請求項１１】
前記生成された品質志向重要度マップを、該生成された品質志向重要度マップの品質を高めるために、更にポスト処理工程において処理することを特徴とする請求項１に記載の生成方法。
【請求項１２】
前記ポスト処理工程は、ガウスの平滑化技術を用いて実行することを特徴とする請求項１１に記載の生成方法。
【請求項１３】
画像又は映像の品質を評価する品質志向重要度マップを生成する装置であって、
前記画像又は映像における複数の特徴を抽出する特徴抽出手段と、
少なくとも一つの抽出された特徴における認識品質要件を決定する決定手段と、
前記抽出された複数の特徴と、前記少なくとも一つの抽出された特徴における認識品質要件とを統合して重要度レベル値の配列を形成し、これにより、前記品質志向重要度マップを生成する統合手段と、
を備えることを特徴とする品質志向重要度マップの生成装置。
【請求項１４】
画像又は映像の品質を評価する品質志向重要度マップを生成する方法であって、
前記画像又は映像における複数の特徴を抽出する特徴抽出工程と、
少なくとも一つの抽出された特徴における認識品質要件を決定する決定工程と、
前記抽出された複数の特徴と、前記少なくとも一つの抽出された特徴における認識品質要件とを統合して重要度レベル値の配列を形成し、これにより、前記品質志向重要度マップを生成する統合工程と、
を備える品質志向重要度マップの生成手順を、コンピュータに実施させるためのプログラムが記録されていることを特徴とするコンピュータ読取可能媒体。
【請求項１５】
画像又は映像の品質を評価する品質志向重要度マップを生成する方法であって、
前記画像又は映像における複数の特徴を抽出する特徴抽出工程と、
少なくとも一つの抽出された特徴における認識品質要件を決定する決定工程と、
前記抽出された複数の特徴と、前記少なくとも一つの抽出された特徴における認識品質要件とを統合して重要度レベル値の配列を形成し、これにより、前記品質志向重要度マップを生成する統合工程と、
を備える品質志向重要度マップの生成手順を、コンピュータに実施させるためのコンピュータプログラム素子。
【発明の詳細な説明】
【技術分野】
【０００１】
画像又は映像の品質を評価する品質志向重要度マップの生成方法
【背景技術】
【０００２】
視覚歪みメトリクス（数的指標）は、放送画像／映像の品質の監視、圧縮効率の調整、画像拡大工程の改良に関し、重要な役割を果たす。一般的には二分類（クラス）の品質又は歪み評価手法がある。第１のクラス（第１クラス）は、広く用いられている二乗平均誤差（MSE）、ピーク信号／ノイズ比（PSNR）等の数学的に定義された測定結果に基づくものである。第２のクラス（第２クラス）は、人間の視覚システム（HVS）の特徴をシミュレートすることにより歪みを測定することに基づくものである。
【０００３】
第１クラスの手法では、MSEの定義は次式により与えられる。
【０００４】
【数１】
2006505853.tif 000003
但し、ci,j及び
【０００５】
【数２】
2006505853.tif 000004
は、夫々、元の画像及び歪んだ画像のピクセル値である。PSNRの定義は、PSNR＝10 log10(2552 / MSE)である。
【０００６】
第１クラスの手法における利点は、数学的に簡単で、例えばコンピュータによる計算上の複雑性が低いことである。この理由から、第１クラスの手法が広く採用されている。
【０００７】
しかしながら、第２クラスの手法は、人間の視覚により近い認識結果を得ることを目的としており、それゆえ、視覚評価及び情報処理においてより正確になる。しかしながら、HVSの理解が不十分であることや、生理学的及び／又は心理学的な所見をHVSに組み込む際の、例えば処理速度上の遅れにより、第２クラスの手法の実施は、いまだ満足いくものではない。
【０００８】
画像又は映像を見る観測者は、その画像又は映像における全ての視覚情報に注意を向けているわけではなく、ある領域にのみ集中しているという生理学的及び心理学的証拠が複数ある。このような観測者からの視覚的注意情報は、多くの用途で、例えば、視覚認識における探索工程の計算のために、若しくは、画像又は映像の品質を評価するために、HVSで用いられている。
【０００９】
視覚的注意は、ボトムアップ工程又はトップダウン工程により向けられてよい。ボトムアップ工程では、視覚的注意は、画像／映像の視覚特徴からの刺激に基づいており、画像／映像用の誘目度マップ（目立ち度マップ：saliency map）がこのような刺激に基づいて形成される。刺激に基づく視覚特徴の例は、照度（イルミネーション)、色、動き、形状等を含む。トップダウン工程では、画像／映像用の誘目度マップは、予備／専門知識、又は、音のようなその他の公知の指標に基づいて形成される。
【００１０】
【非特許文献１】［１］Z. Wang, A.C. Bovik著, 「ユニバーサル画像品質指標 (A universal image quality index)」, IEEE Signal Processing Letters, vol. 9, No. 3, March 2002, pg. 81-84
【非特許文献２】［２］Z. Wang, H. R. Sheikh and A.C. Bovik, 「JPEG圧縮画像におけるノーリファレンス認識品質の評価 (No Reference perceptual quality assessment of JPEG compressed images)」, IEEE International Conference on Image Processing, 2002
【非特許文献３】［３］Stefan Winkler著, 「画像処理用途の視覚モデル及び品質メトリクス (Vision Models and Quality Metrics for Image Processing Applications)」, Ph. D. Thesis #2313, Swiss Federal Institute of Technology, Lausanne, Switzerland, 2000
【非特許文献４】［４］S. Yao他著, 「多くの特徴を有する認識視覚品質の評価 (Perceptual visual quality evaluation with multi-features)」, IEE Electric Lettersに提出
【特許文献１】［５］WO  ９９／２１１７３
【特許文献２】［６］US特許番号  ２００２／０１２６８９１
【特許文献３】［７］EP  １１０９１３２
【特許文献４】［８］US  ６２４３４１９
【非特許文献５】［９］Miroslaw Bober著, 「MPEG-7視覚形状記述子 (MPEG-7 Visual Shape Descriptors)」, IEEE Transaction on circuits and systems for video technology, Vol. 11, No. 6, June 2001
【発明の開示】
【発明が解決しようとする課題】
【００１１】
文献［１］は、画像の歪みを測定するために、三つの因子、即ち、相関関係の喪失、輝度の歪み、及びコントラストの歪みを結びつける方法を開示している。
【００１２】
文献［２］は、図１に示すノーリファレンス品質メトリクス１００を提案している。歪み画像／映像１０１は、アーチファクト抽出手段１０２により受信され、画像／映像１０１のぶれ及びブロック歪みの分布が検出される。このようなぶれ及びブロック歪みの分布特性が識別手段１０３で識別され、歪み画像／映像１０１の歪み値を表す出力信号１０４が生成される。
【００１３】
文献［１］及び［２］に基づく方法は、第１クラスの手法に属している。従って、第２クラスの手法と比較すると、人間の認識に近い結果を与えるものではない。
【００１４】
文献［３］は、図２に示すように、映像分解及び空間／一時的マスキングに基づくメトリクス２００を提案している。参照画像／映像２０１及び歪み画像／映像２０２は、夫々、信号分解手段２０３及び２０４により受信される。夫々の分解信号２０５及び２０６は、分解信号２０５及び２０６の空間／一時的マスキング用のコントラストゲインコントロール手段２０７及び２０８により受信される。夫々の処理済信号２０９及び２１０は、検出プール手段２１１により処理され、歪み画像／映像２０１の歪み値を表す出力信号２１２が生成される。
【００１５】
文献［４］は、図３に示すように、ニューラルネットワークを用いて、画像／映像の品質を計測する複数の視覚特徴を結びつけている。参照画像／映像３０１及び歪み画像／映像３０２は、複数の特徴抽出手段３０２に入力され、その画像／映像３０１及び３０２における各種の特徴が抽出される。抽出された特徴３０４がニューラルネットワーク３０５により受信され、歪み画像／映像３０２の歪み値３０６が生成される。
【００１６】
文献［５］は、幾つかの視覚刺激に異なるウェイトを割り当てることにより、映像における認識の品質を評価する方法を開示する。
【００１７】
文献［４］及び［５］は、全ての画像又は映像を等しく処理する。従って、画像又は映像の重要でない部分も処理されるので、計算上効率が悪い。
【００１８】
文献［６］は、幾つかのボトムアップ視覚刺激を用いて、画像／映像において視覚的注意の高い領域を決定する。これらのボトムアップ視覚刺激から決定される特徴は、ウェイトをかけて累積され、この視覚的注意の高い領域を示す重要度マップを形成する。この方法では、ボトムアップ特徴のみが決定されるので、結果として、画像／映像に関する品質評価はあまり良くない。更に、ある領域において視覚的注意が高いことが、必ずしも、その領域は高品質で符号化されている、という意味であるとは限らない。
【００１９】
文献［７］は、文献［６］に類似の方法を開示するが、ボトムアップ及びトップダウン視覚刺激を用いて、画像／映像において視覚的注意の高い領域を決定する。ボトムアップ及びトップダウン視覚刺激により得られた決定特徴は、ベイズネットワークを用いて統合される。但し、統合以前に、ベイズネットワークを調整しなければならない。上述のように、ある領域において視覚的注意が高いことが、必ずしも、その領域は高品質で符号化されているはず、という意味であるとは限らない。更に、画像／映像の特徴を統合するベイズネットワークを用いると、この特徴を統合する以前にベイズネットワークを調整する必要があるので、複雑である。
【００２０】
従って、画像又は映像における品質又は歪みを評価する、より正確で更に効率的な方法が望まれている。
【００２１】
本発明の課題は、画像又は映像における品質又は歪みを評価する既存方法の性能を改良できる方法を提供することである。
【課題を解決するための手段】
【００２２】
上記課題は、特許請求の範囲における独立項の特徴により達成される。付加的な特徴は、従属項に起因する。
【００２３】
本発明は、画像又は映像の品質を評価する品質志向重要度マップを生成する方法であって、前記画像又は映像における複数の特徴を抽出する特徴抽出工程と、少なくとも一つの抽出された特徴における認識品質要件を決定する決定工程と、前記抽出された複数の特徴と、前記少なくとも一つの抽出された特徴における認識品質要件とを統合して重要度レベル値の配列を形成し、これにより、前記品質志向重要度マップを生成する統合工程と、を備える品質志向重要度マップの生成方法に関する。
【００２４】
更に、前記抽出された複数の特徴のうち少なくとも一つを用いて、その特徴に基づく画像／映像の認識品質要件を決定する。言い換えれば、抽出された複数の特徴に基づいて観測者により認識された画像／映像における品質の重要度を決定する。
【００２５】
前記抽出された複数の特徴と、前記少なくとも一つの抽出された特徴における認識品質要件との統合により得られた重要度レベル値は、画像に対しては３−D配列（３次元配列）を、或いは映像に対しては４−D配列（４次元配列）を形成する。このような重要度レベル値の配列は、前記画像又は映像の品質又は歪みを評価するための品質志向重要度マップとして用いられる。
【００２６】
画像／映像のある領域に向ける視覚的注意が、必ずしも、その画像／映像の同じ領域における品質の高さに対応するとは限らないことに留意すべきである。言い換えれば、画像／映像のある領域において視覚的注意が高いことは、必ずしも、その画像／映像の領域が高品質で符号化されるべきであることを要件としておらず、またその逆も同様である。
【００２７】
認識品質情報を用いて重要度レベル値を決定するので、得られた重要度マップは、画像／映像の認識品質要件に精密に従っている。よって、視覚的注意のみに基づくマップを用いたいずれの従来技術と比べても、より正確な画像又は映像の品質を評価するための重要度マップが得られる。
【００２８】
本発明に従って生成される重要度マップを、第１クラスの手法と第２クラスの手法との両手法に対する既存の歪みメトリクスにおいて用いることができる。従って、画像／映像品質評価工程の正確性が改良される。
【００２９】
本発明によれば、前記画像又は映像における複数の特徴を、視覚特徴に基づく情報と知識に基づく情報とを用いて抽出する。言い換えれば、ボトムアップ工程（視覚特徴に基づく）及びトップダウン工程（知識に基づく）を使用する。これらの工程は、画像／映像におけるどの特徴が視覚的注意を引き起こすのかを決定し、またこのような結果的に特徴を引き起こす視覚的注意を抽出する。抽出されるべき複数の特徴は、動き、照度、色、コントラスト、方向、質感等を含んでよい。既存の画像／映像記述子として、例えば、MPEG-7記述子を用いてもよい。
【００３０】
本発明によれば、映像又は一連の画像における対象物の動きは、相対運動ベクトルと絶対運動ベクトルに分けられる。相対運動は、背景又はその他の対象物と比べた際における対象物の動きであり、絶対運動は、画像又は映像フレームにおけるその対象物の実際の動きである。この決定された相対運動ベクトル及び絶対運動ベクトルに基づいて、対象物（ピクセル又は領域）の品質レベル値を決定する。この決定された品質レベル値を、重要度レベル値の配列を形成するために、画像／映像からのその他の抽出された特徴と統合する。
【００３１】
対象物の動きの分析を、二つの工程に分けることができる。即ち、グローバルモーション評価とモーションマッピングである。グローバルモーション評価は、画像又は映像におけるカメラの動きを評価し、モーション分析は、対象物の相対運動ベクトル及び絶対運動ベクトルを抽出する。
【００３２】
画像／映像におけるその他の特徴を用いて、前記画像又は映像のピクセル又は領域の品質レベル値を決定してよいことに留意すべきである。その他の特徴は、顔検出、人物検出、質感分析を含む。これらのその他の特徴から決定された品質レベル値を、モーション分析から得られた品質レベル値と統合して、品質志向重要度レベルを生成してよい。
【００３３】
本発明の好適な実施形態によれば、非線形マッピング関数を用いて、前記抽出された複数の特徴と、前記少なくとも一つの抽出された特徴における認識品質要件とを全て統合し、重要度レベル値の配列を形成する。
【００３４】
非線形マッピング関数を使用すると、計算上の要件が少なく、実施が簡単であるという利点がある。更に、非線形マッピング関数に対するアルゴリズム又はシステムは、調整を要せず、文献［７］に開示したシステムで用いられるベイズネットワークと対照的である。
【００３５】
他の実施形態においては、ニューラルネットワーク又はファジールールのようなその他の技術を用いて、前記抽出された複数の特徴と、前記少なくとも一つの抽出された特徴とを統合してよいことに、留意すべきである。
【００３６】
本発明の更に好適な実施形態によれば、前記重要度レベル値の配列を形成する際に、前記抽出された複数の特徴の統合の結果としてのカップリング効果を考慮する。カップリング効果の使用は、顕著性効果(目立った効果：saliency effect)として取り扱い可能である抽出された複数の異なった特徴が、それらを線形的に加算させることでは統合されないことを考慮している。抽出された効果の異なる組み合わせは、異なるカップリング効果を生じさせる。
【００３７】
具体的には、本発明の更に好適な実施形態に係る前記品質志向重要度マップは、次の数式を用いて得られる。
【００３８】
【数３】
2006505853.tif 000005
【００３９】
但し、ms,i,j,tは、スケールs、位置(i, j)及び時間tにおける前記品質志向重要度マップの要素であり、
fns,i,j,tは、n番目に抽出された特徴であり、
ｃLkは、fLs,i,j,tとfks,i,j,tとを結合させるカップリング効果を意味するカップリング係数であり、
nは、前記抽出された特徴の指標であり、
kは、1<k<N且つk≠Lであるような、前記抽出された特徴の他の指標であり、
Nは、前記抽出された複数の特徴の総数であり、
g1は、g1(x, y) = min (x, y)として定義される非線形カップリングマッピング関数であり、
Lは、L=arg max(fns,i,j,t)とされるfns,i,j,tの最大値である。
【００４０】
本発明の他の好適な実施形態は、前記抽出された複数の特徴の統合は、ウェイトが加重された、抽出された複数の特徴の和に、非線形マッピング関数を適用することにより実行される。
【００４１】
具体的には、本発明の他の好適な実施形態に係る前記品質志向重要度マップは、次の数式
ms,i,j,t = g2(w1 f1s,i,j,t + w2 f2s,i,j,t + ... + wn fns,i,j,t )
を用いて得られる。
【００４２】
但し、g2は、前記非線形マッピング関数であり、
【００４３】
【数４】
2006505853.tif 000006
【００４４】
として定義される。
【００４５】
但し、αは非線形特性を与えるパラメータであり、Cは定数である。
【００４６】
本発明の好適な実施形態によれば、前記生成された品質志向重要度マップの生成方法は、前記生成された品質志向重要度マップを処理するポスト処理工程（後処理工程）を更に備える。該ポスト処理工程は、存在しうるノイズを除去することにより、該生成された品質志向重要度マップの品質を高める。また、該ポスト処理工程は、重要度マップの平滑化又は拡大化や、重要度マップ内に存在するアーチファクト（不自然な結果）の除去を含むその他の動作に使用されてもよい。
【００４７】
特に、本発明の好適な実施形態によれば、ガウスの平滑化技術を用いて、特徴を抽出する間に誤って生じるインパルスノイズを除去する。
【００４８】
本発明の詳細な実施形態は、前記生成方法のみでなく、生成装置、コンピュータ読取可能媒体、並びにコンピュータプログラムに適用される。
【発明を実施するための最良の形態】
【００４９】
図４は、放送システムに対して、映像の品質を監視する一般的なシステムを示している。
【００５０】
画像／映像ソース４０１はエンコーダ部４０２で符号化され、符号化された画像／映像４０３は広域ネットワーク（WAN）４０４へ送信される。WAN４０４から送信された画像／映像４０５は、デコーダ部４０６により受信されて復号される。
【００５１】
歪みメトリクス４１０は、参照画像／映像４０８の有無にかかわらず、デコーダ部４０６から復号された画像／映像４０７を受信する。参照画像／映像４０８は画像／映像ソース部４０９から生成される。但し、画像／映像ソース部４０９は、元来の画像／映像４０１の生成に用いられる画像／映像ソース部と同一であってよい。或いは、参照画像／映像４０８は、エンコーダ部４０２で符号化された元来の画像／映像４０１から単に抽出されてもよい。
【００５２】
一般に、歪みメトリクスは、フルリファレンス（FR）モデル、低減リファレンス（Reduced Reference：RR）モデル、ノーリファレンス（NR）モデルに分類できる。ＦＲメトリクスは、歪み画像シークエンスと、それに対応する非歪み画像シークエンスとの間で、ピクセルずつ及びフレームずつの比較を行う。低減リファレンスメトリクスは、歪み画像シークエンスから数個の統計を計算し、それらを、それらと対応される、記憶された非歪み画像シークエンスの統計と比較する。これらの統計は、従来の回帰分析により選択されて相関付けられる。ノーリファレンスメトリクスは、非歪み画像シークエンスからの情報を必要としないが、歪みシークエンス上で特徴抽出を行って、MPEGブロック境界、点状ノイズ、又は画像のぶれ等のアーチファクトを見つける。
【００５３】
歪みメトリクス部４１０は、参照画像／映像４０８と復号された画像／映像４０７との両方を比較し（FRとRRの場合）、又は、復号された画像／映像４０７のアーチファクトを分析し（NRの場合）、復号された画像／映像４０７の品質を評価する。歪みメトリクス部４１０により生成された出力信号４１１は、復号された画像／映像４０７の品質を表している。
【００５４】
歪みメトリクス部４１０は、前述した歪みメトリクスを用いて使用されてもよい（図１、図２及び図３参照）。
【００５５】
本発明によれば、品質志向重要度マップ、特に、階層品質志向重要度マップ（HQSM）が提案されている。HQSMは、画像／映像における認識品質要件と視覚的注意の両方に基づいて生成される。
【００５６】
ボトムアッププロセスに対しては、幾つかのルールに基づき、画像／映像におけるピクセル又は領域の重要度レベル値のマップを、視覚特徴から決定できる。そのルールは、以下の通りである。
１．観測者の固視点は、必ずしも視覚的注意の高い領域に固定されるわけではないが、目の運動は視覚的注意の高い領域の後を追う。
２．画像／映像の異なる特徴が直線的に上昇して累積効果を与えることはない。
３．観測者の目は、焦点又は注意を向けている領域の外の世界が見えないわけではない。
４．画像／映像特徴の選択は、空間に基づくもの又は対象物に基づくものであってよい。
５．視覚的注意をひき起す刺激の統合及び選択は、一のタイミングのWTA（winner-takes-all)プロセスの階層に基づいている。
【００５７】
最後のルール５は、同じ観測者である特定のタイミングにのみ成り立つことに留意すべきである。観測者のグループに対しては、注意領域を統計マップ内に表すことができる。また、単一の観測者に対しては、画像／映像が所定時間間隔において観測されるときに、複数の顕著な領域（目立った領域：salient region)が生じてもよい。複数の顕著な領域もまた、統計マップ内に表されてよい。
【００５８】
トップダウンプロセスに対しては、他のメディアからの専門又は予備知識を用いて、画像／映像におけるピクセル又は領域の重要度レベル値の他のマップを規定してよい。例えば、飛行機の音により、観測者の注意が画像／映像における飛行機の対象物に向けられるであろう。
【００５９】
前述のように生成された重要度マップは統合されて、HQSMを形成する。本発明によれば、HQSMは、図５に示すように、画像に対しては３次元配列を、或いは映像に対しては４次元配列を形成する。
【００６０】
HQSMは次式を用いて表されてよい
【００６１】
【数５】
2006505853.tif 000007
（１）
但し、
MはHQSMであり、
ms,i,j,tは、スケールs、位置(i, j)及び時間tにおけるHQSMのマップ要素であり、
Wsは、画像の幅又は映像のフレームであり、
Lsは、画像の高さ又は映像のフレームであり、
Ntは、映像の時間間隔（映像にのみ利用可能）である。
【００６２】
マップ要素ms,i,j,tの値が高いことは、画像／映像におけるピクセル又は領域の重要度レベルが高いことを示す。また、それに対応するピクセル又は領域の歪み測定に、多くのウェイトが割り当てられるべきである。逆も同様である。
【００６３】
HQSMの生成は、図６に示すような３つのステップを備える。画像／映像６０１の視覚特徴は、次の刺激に基づき、特徴抽出部６０２で抽出される。
１．視覚的注意刺激、例えば、動き、照度、色、コントラスト、方向、質感等。
２．刺激に基づく知識、例えば、顔、人間、形状等。
３．ユーザが規定する知識。
【００６４】
MPEG-7記述子等の既存の画像／映像記述子を、特徴抽出のために組み込んでもよいことに留意すべきである。
【００６５】
抽出された特徴６０３は、抽出された特徴６０３を統合する決定部６０４により受信され、総HQSM６０５を生成する。総HQSM６０５は、総HQSM６０５の品質を上げるためにポスト処理部６０６により更に処理され、本発明の好適な実施例に係る最終HQSM６０７を生成する。
【００６６】
図７は、本発明の好適な実施例に係るHQSMの生成を詳細に示す図である。本発明の好適な実施例に係る抽出されるべき異なる複数の特徴を、以下にまとめる。
（動き分析）
映像又は画像のシークエンスにおける対象物の動きを、二つのベクトル、即ち、相対運動ベクトル及び絶対運動ベクトルに分けることができる。相対運動は、背景又は他の対象物に対する対象物の動きである。絶対運動は、画像又は映像フレーム内で動いた正確な位置である。
【００６７】
動き分析は、画像又は映像に用いたカメラの動きを決定するグローバルモーション評価と、相対運動ベクトル及び絶対運動ベクトルを抽出するモーション分析とに分けられる。
【００６８】
グローバルモーション評価は、３パラメータ法を用いて評価でき、次のようにモデル化される。
【００６９】
【数６】
2006505853.tif 000008
（２）
但し、(ΔX,ΔY)は、映像におけるピクセル又は領域（X,Y)の推定された運動ベクトルであり、
Cfは、ズーム係数であり、
(tx,ty)は、並進ベクトルである。
【００７０】
指定された運動ベクトル(ΔX,ΔY)はまた、絶対運動ベクトルであることに留意すべきである。
【００７１】
３パラメータ法は、６パラメータ法や４パラメータ法等の他のモデリング方法に比べるとノイズにあまり敏感ではないので、好ましい。
【００７２】
グローバルモーション評価（グローバルモーション推定）における誤差は、以下のように定義できる。
【００７３】
【数７】
2006505853.tif 000009
（３）
但し、Cf、tx、tyは、以下のように与えられる３つの式を最小化することにより得ることができる。
【００７４】
【数８】
2006505853.tif 000010
（４）
緩和アルゴリズムを用いて、以下のステップにまとめたCf、tx、tyの最小値を決定できる。
１．画像／映像上のピクセル又は領域を、大きなばらつきをもって選択する。
２．式４を満たす選択されたピクセル内で(Cf,tx,ty)を決定する。
３．式３を用いてピクセル毎に誤差εを評価する。
４．誤差範囲[ε−Δ, ε+Δ]内で、画像／映像におけるピクセルを選択する。
５．(Cf,tx,ty)が所定の値よりも小さくなるまで、ステップ２及び３を繰り返す。
【００７５】
(Cf,tx,ty)を得た後は、次式を用いて相対運動を決定できる。
【００７６】
【数９】
2006505853.tif 000011
（５）
注意レベルと相対運動ベクトルとの関係は、非線形単調上昇関数である。注意レベルは、相対運動が増加するとともに増加する。相対運動がある一定の値に到達した場合は、注意レベルが相対運動の更なる増加を伴って増加することはない。従って、相対運動ベクトルと注意レベルとの関係は、次式により表される。
【００７７】
【数１０】
2006505853.tif 000012
（６）
但し、XrはXr＝(ΔXR2+ΔYR2)1/2と規定される相対運動ベクトルであり、
a及びbは、a>0、b<1、a・10b=1であるパラメータである。
【００７８】
同様に、注意レベルと絶対運動の関係は、非線形関数である。絶対運動が増加すると、注意レベルはそれに対応して上昇し、続いて低下する。注意レベルと絶対運動ベクトルの関係は、次式として定義される。
【００７９】
【数１１】
2006505853.tif 000013
（７）
但し、XaはXa＝(ΔX2+ΔY2)1/2と規定される絶対運動ベクトルであり、
c及びdは、max[fa (xa)]=1であるように割り当てられたパラメータである。
【００８０】
式７からわかるように、x＝1/dのとき、fa(x)は最大である。ゆえに、c=deである。
【００８１】
よって、全体の運動注意レベルは次式のように決定できる。
【００８２】
ftotal(x)= fa(x)・fr(x)
（８）
相対運動、絶対運動、注意レベル及び認識品質レベルの関係を、表１にまとめることができる。
【００８３】
【表１】
2006505853.tif 000014
表１からわかるように、絶対運動の大きい(高い）対象物は観測者の視覚的注意をひきつける。しかしながら、観測者は対象物の品質については考えない。例えば、観測者は、画像シークエンス又は映像において飛んでいるボールの動きの後を目で追うであろうが、その飛んでいるボールの形状（品質）にあまり注意を払わない。飛んでいるボールの相対運動が大きく、絶対運動が小さい場合には、観測者は飛んでいるボールの形状（品質）により大きな注意を払う。
【００８４】
明記すべき重要な点は、注意レベルが、認識品質レベルと必ずしも同じであるとは限らないことである。視覚的注意レベルに加えて、認識品質要件もまた、本発明に係る重要度マップの配列を形成するために用いられる。その結果、いずれの従来技術と比べても、画像／映像の品質を評価する際に、より正確で効果的なHQSMを作ることができる。
（照度マッピング）
画像／映像における領域の、高い照度又はコントラストは、通常、視覚的注意を高くする。例えば、ステージ上のスポットライト照明は、オーディエンスたちの視覚的注意をひきつける。照度は、画像／映像にガウスの平滑化フィルタを適用することによる評価であってよい。照度評価の他の手段が用いられてもよい。
（カラーマッピング／スキンカラーマッピング）
カラーマッピングは、照度マッピングと類似である。但し、画像／映像における他の領域間での値の違いも、現在のピクセル又は領域の値を決定するために用いられてよいことを除く。
【００８５】
スキンカラーは、多くの状況において視覚的注意をひきつける。また、スキンカラーの検出を、Cb-Crドメインで行うことができる。特に、ルックアップテーブルを用いて、画像／映像におけるピクセル又は領域毎に、可能なカラー値を評価してもよい。スキンカラーは、ピクセル値が77<Cb<127及び133<Cr<173の範囲に低下した場合に検出される。
（顔検出）
顔検出は、画像／映像から顔状領域を検出するものであり、画像／映像における人の顔は、観測者の視覚的注意を高くし得るものである。スキンカラー及び形状情報は、顔検出に有用である。
（目／口検出）
顔領域において、顔の目と口は、顔の他の部分よりも視覚的注意を多くひきつける。顔検出及び形状情報は、目／口検出に有用である。
（形状分析／マッピング）
形状分析は、視覚的注意を引き起こす画像／映像における対象物の形状を決定する際に有用である。形状分析に関する情報もまた、顔、目／口、キャプション等のようなその他の情報の検出に有用である。形状分析は、ウォーターシェド（watershed）アルゴリズムを画像／映像フレームに適用して行うことができ、画像をより小さな領域に分割する。文献［９］に記述されるマージ−スプリット法及び記述／クラスタリング法を行って、画像／映像における対象物の形状を決定できる。
（人体検出）
人体の検出は、形状分析、顔検出、及び目／口検出から得られる情報を用いて可能である。
（キャプション検出）
画像／映像におけるキャプションは、重要な情報を持っている。従って、視覚的注意が高くなる。文献［８］に記述される方法を用いて、キャプションを決定できる。
（質感検出）
質感は、重要度レベル値における全体の値、しいては生成されたHQSMに悪影響を及ぼす。言い換えれば、質感はHQSMにおけるマップ要素の全体の値を減少させる。特に、
ftextures,i,j,t<0
（９）
但し、ftextures,i,j,tは、画像／映像の質感特徴を表す。
【００８６】
重要度レベル値の配列を形成する際に、質感特徴を考慮にいれることで、重要度マップの全体の正確性が向上する。これは、画像／映像における質感の悪影響を考慮しているからである。よって、本発明に従って生成されるHQSMは、いずれの従来技術に従って生成された重要度マップと比較しても、より高精度である。
（ユーザ規定の注意）
この特徴では、画像／映像における幾つかの又は全てのピクセル又は領域の重要度レベルが、音声、特定対象物へ注意を意図的に合わせること等の、他の情報に基づき、手動で規定される。
【００８７】
ある特徴の抽出のみが記述されているが、本発明は、特定の特徴抽出方法に限定されず、画像／映像におけるその他の特徴も、本発明に係るHQSMの生成方法に更に組み込まれて良いことに留意すべきである。
【００８８】
画像／映像における全ての特徴が抽出された後に、それらは決定部６０４で統合される。本発明の好適な実施例によれば、非線形マッピング関数を用いて、抽出された特徴を統合する。
【００８９】
任意の対の抽出特徴を結合する結果としてのカップリング効果は異なっており、カップリング効果を考慮にいれた、一対の抽出された特徴を統合するモデルは、次式で与えられる。
【００９０】
ms,i,j,t=f1s,i,j,t+ f2s,i,j,t−c12g1(f1s,i,j,t, f2s,i,j,t)
（１０）
但し、ms,i,j,tは、品質志向重要度マップの要素であり、
c12は、カップリング効果を表すカップリング係数であり、
f1s,i,j,t及びf2s,i,j,tは、一対の抽出された特徴であり、
ｎは、n番目に抽出された特徴であり、
g1は、非線形関数を意味する。
【００９１】
非線形マッピング関数は好ましくは次式で規定されるべきである。
【００９２】
g1(x, y) = min (x, y)
（１１）
本発明の更に好ましい実施例では、次式を用いて、３以上の抽出された特徴が統合される。
【００９３】
【数１２】
2006505853.tif 000015
（１２）
但し、fns,i,j,tは、n番目に抽出された特徴であり、
ｃLkは、fLs,i,j,tとfks,i,j,tとを結合させるカップリング効果を意味するカップリング係数であり、
nは、前記抽出された特徴の指標であり、
kは、1<k<N且つk≠Lであるような、前記抽出された特徴の他の指標であり、
Nは、前記抽出された複数の特徴の総数であり、
Lは、fns,i,j,tの最大値であり、L=arg max(fns,i,j,t)（式１３）とされる。
【００９４】
式１２から、最大値を持つ抽出された特徴と、その他の抽出された特徴との間のカップリング効果のみが、考慮されることに留意すべきである。その他の抽出された特徴間のカップリング効果は無視される。
【００９５】
本発明の他の好適な実施例では、抽出された特徴の統合は次式を用いて行われる。
【００９６】
ms,i,j,t = g2(w1 f1s,i,j,t + w2 f2s,i,j,t + ... + wn fns,i,j,t )
（１４）
但し、w1、w2、...、wnは、抽出された特徴のウェイトであり、g2は、非線形マッピング関数である。
【００９７】
非線形マッピング関数は、好ましくは、次式である。
【００９８】
【数１３】
2006505853.tif 000016
（１５）
但し、αは非線形特性を満たすために、値α＝２を持つパラメータであり、
Cは、観測者の目は、焦点又は注意を向けている領域の外の世界が見えないわけではないことを考慮にいれて、値c=1を持たせたパラメータである。
【００９９】
他の実施例では、ニューラルネットワークやファジールールのような、その他の技術を用いて抽出された特徴を統合し、重要度マップ６０５を形成してもよい。
【０１００】
抽出された特徴を統合して生成された重要度マップ６０５は、生成された重要度マップ６０５の品質を更に向上させるためにポスト処理部６０６により受信され、最終HQSM６０７を形成する。
【０１０１】
ポスト処理部６０６では、ガウスの平滑化フィルタを、生成された重要度マップ６０５に適用し、特徴抽出プロセス６０２における誤差により生じたインパルスノイズを除去することができる。
【０１０２】
本発明に従って生成されたHQSMは、第１のクラス及び第２のクラスの両方に適用されてよい。具体的には、HQSMは、次式で与えられるMSEに組み込まれてよい。
【０１０３】
【数１４】
2006505853.tif 000017
（１６）
但し、MSEmodifiedは、HQSMを組み込む変形MSEである。
【０１０４】
よって、変形MSEの結果としてのPSNRは、次式で与えられる。
【０１０５】
PSNRmodified＝10 log10(2552 / MSEmodified) 
（１７）
PSNRmodifiedは、HQSMを組み込む変形PSNRの値である。
【０１０６】
本発明に従ってHQSMが生成された後、それを、歪み測定又は品質評価の正確性を向上させるために任意の歪みメトリクスに適用することができる。
【０１０７】
図８は、生成されたHQSM８０１がどのように既存の歪みメトリクス８０２に組み込まれるかを示している。HQSM８０１は、歪みメトリクス８０２により、画像／映像の処理から分離されており、HQSM８０１及び歪みメトリクス８０２からの出力はインテグレータ部８０３で統合されることに留意すべきである。
【０１０８】
図９、図１０及び図１１は、HQSMがどのように図１、図２及び図３に示すような歪みメトリクスに適用できるかを示している。歪みメトリクスへのHQSMの適用は、歪みメトリクスによる画像／映像の処理から独立しているので、（点線で示すような）品質評価／歪み測定プロセスにおけるいずれの段階においても、HQSMを歪みメトリクスに適用してよい。
【０１０９】
本発明に係るHQSMの性能及び既存の歪みメトリクスを決定するために、実験が行われる。
【０１１０】
実験では、照度マッピング、動き分析、スキンカラーマッピング及び顔検出に基づいて抽出された特徴を用いてHQSMを生成する。生成されたHQSMをPSNR法、文献［１］に開示された歪みメトリクス（ワング(wang)のメトリクス）及び文献［２］に開示された歪みメトリクス（ウィンクラ(winkler)のメトリクス）に適用する。ビデオシークエンスの品質を評価するために、「ハープ」及び「紅葉」と表示された二つのビデオシークエンスを、テストビデオシークエンスとして用いる。
【０１１１】
実験結果を表２にまとめる。
【０１１２】
【表２】
2006505853.tif 000018
【０１１３】
表２の結果からわかるように、HQSMを組み込んだ歪みメトリクスは、映像品質評価において、より良い性能を与える。ただひとつの例外は、ビデオシークエンス「紅葉」におけるワングのメトリクスである。
【０１１４】
この理由は、ビデオシークエンス「紅葉」に対するスピアマンの高い相関値によるものである。更に、ワングのメトリクスを用いた「紅葉」に対する品質レベルの値は、すでに非常に高い（最大値は「１．０」）。従って、観測者のグループによるビデオシークエンスの主観的な格付けは、この場合、多いに変動する。
【０１１５】
従って、本発明に基づき生成されたHQSMは、既存のビデオ品質評価方法の性能を向上させることができる。
【０１１６】
記載した本発明の実施例は、方法に限らず、装置、コンピュータ読取可能媒体、及びコンピュータプログラムにも適用される。
【０１１７】
本発明の実施例を記載したが、これらは単に本発明の概念を例示するものにすぎない。その他の実施例及び構成を本発明の精神及び添付する請求の範囲に反しない範囲で講じることができる。
【図面の簡単な説明】
【０１１８】
【図１】認識される映像／画像歪みを測定するための一般的なノンリファレンスメトリクスのブロック図である。
【図２】認識される映像／画像歪みを測定するためのウィンクラのフルリファレンスメトリクスを示すブロック図である。
【図３】認識される映像／画像歪みを測定するためのヤオのフルリファレンスメトリクスを示すブロック図である。
【図４】放送システムに対して映像の品質を監視する一般的なシステムを示す図である。
【図５】本発明に係る品質志向重要度マップを示す図である。
【図６】本発明の好適な実施形態に係る品質志向重要度マップを生成するための一般的なブロック図である。
【図７】本発明の好適な実施形態に係る品質志向重要度マップの実施例を詳細に示す図である。
【図８】本発明に係る品質志向重要度マップを組み入れた、歪みメトリクスを示すブロック図である。
【図９】本発明に係る品質志向重要度マップを組み入れた歪みメトリクスにおける認識された画像／映像歪みを測定するための一般的なノンリファレンスメトリクスを示すブロック図である。
【図１０】本発明に係る品質志向重要度マップを組み入れた歪みメトリクスにおける認識された画像／映像歪みを測定するためのウィンクラのフルリファレンスメトリクスを示すブロック図である。
【図１１】本発明に係る品質志向重要度マップを組み入れた歪みメトリクスにおける認識された画像／映像歪みを測定するためのヤオのフルリファレンスメトリクスを示すブロック図である。
【図１】
2006505853.tif 000021
【図２】
2006505853.tif 000022
【図３】
2006505853.tif 000023
【図４】
2006505853.tif 000024
【図５】
2006505853.tif 000025
【図６】
2006505853.tif 000026
【図７】
2006505853.tif 000027
【図８】
2006505853.tif 000028
【図９】
2006505853.tif 000029
【図１０】
2006505853.tif 000030
【図１１】
2006505853.tif 000031
【国際調査報告】
2006505853.tif 000032
2006505853.tif 000033
2006505853.tif 000034