(57)【要約】【課題】ヒューリスティック探索手法を用いてビデオシーケンスの知覚品質を最も良く記述するために、非線形結合で、ビデオフィーチャの任意セットを結合する装置および方法を提供する。【解決手段】ビデオシーケンスの知覚品質を評価するために、ビデオフィーチャの任意セットを非線形に結合する方法が、（ａ）画像品質評価のためのビデオシーケンスを受信するステップと、（ｂ）各１個のメトリックに対する依存性情報を持たずに、Ｍ１からＭｎに及ぶメトリックの任意セットを有する客観的メトリック画像品質コントローラを設けるステップと、（ｃ）ｘ１〜ｘｎに及ぶ前記ビデオシーケンスの個々の客観的スコア値を規定するために、各１個のメトリックを、前記ビデオシーケンスに個々に適用するステップと、（ｄ）あらかじめ定められた複数のビデオシーケンス（ｎ）に対する画像品質のあらかじめ定められた主観的評価に相関させる複数の重みセット（ｗ１〜ｗ２）を決定するステップであって、各１つの重みセットが、１つの範囲を、各１つの重みセットの結合の数で割られた前記範囲に等しいインクリメント値を持って割り当てられるステップと、（ｅ）ステップ（ｃ）において前記メトリックの任意セットの各１個のメトリックによって規定される各個々の客観的スコア値ｘ１〜ｘｎを重み付けするステップと、（ｆ）前記メトリックの任意セットの前記重み付けされた個々の客観的スコア値のメトリックを、単一の客観的評価Ｆに結合するステップであって、ステップ（ｅ）からの各重み付けされた個々のスコア値が、ステップ（ｃ）からの各個々の客観的スコア値ｘ１〜ｘｎによって乗算されるステップと、（ｇ）前記客観的評価Ｆと前記複数のビデオシーケンス（ｎ）とに対する相関値を規定するために、相関係数Ｒを計算するステップと、を含有している。ステップ（ｅ）〜（ｇ）は、順位付けされた複数の相関係数を規定するために繰り返される。ヒューリスティック探索が、遺伝子アルゴリズムを用いて、最適重みセットを見出し、あらかじめ定められた主観的評価に最も近い客観的スコアを規定する。１つのシステムが、エンハンスされた知覚画像情報を提供するためにメトリックの非線形結合を実行するハードウェアおよびモジュールを備えている。【選択図】図３
2004520752.tif 000002
【特許請求の範囲】
【請求項１】
複数の任意のビデオフィーチャのセットの混合客観的画像品質メトリックを規定する方法であって、
（ａ）画像品質評価のためのビデオシーケンスを受信するステップと、
（ｂ）交差相関情報を持たないＭ１からＭｎに及ぶメトリックの任意セットを有する客観的メトリック画像品質コントローラを設けるステップと、
（ｃ）当該メトリックの任意セットの当該各１個のメトリックが、ｘ１〜ｘｎに及ぶ当該ビデオシーケンスの個々の客観的スコア値を規定するように、当該メトリックセットの当該各１個のメトリックを、当該ビデオシーケンスに個々に適用するステップと、
（ｄ）あらかじめ定められた複数のビデオシーケンス（ｎ）に対する画像品質のあらかじめ定められた主観的評価に相関させる複数の重みセット（ｗ１〜ｗ２）を決定するステップであって、当該複数の重みセットのうちの各１つの重みセットが、１つの範囲を、当該各１つの重みセットの結合の数で割られた当該範囲に等しいインクリメント値を持って割り当てられるステップと、
（ｅ）当該各１つの重みセットによって、ステップ（ｃ）において当該メトリックの任意セットの当該各１個のメトリックによって規定される各個々の客観的スコア値ｘ１〜ｘｎを重み付けするステップと、
（ｆ）当該メトリックの任意セットの前記重み付けされた個々の客観的スコア値を、単一の客観的評価Ｆに合計するステップであって、ステップ（ｅ）からの各重み付けされた個々のスコア値が、ステップ（ｃ）からの各個々の客観的スコア値ｘ１〜ｘｎによって乗算されるステップと、
（ｇ）前記客観的評価Ｆと前記複数のビデオシーケンス（ｎ）とに対する相関値を規定するために、相関係数Ｒを計算するステップと、
（ｈ）ステップ（ｄ）において規定される各重みセットに対してステップ（ｅ）〜（ｇ）を繰り返して、複数の相関係数Ｒを決定するステップと、
（ｉ）当該複数の相関係数Ｒに順位付けするステップであって、当該複数の相関係数のうちの１に最も近い特定の相関値を持つ特定の相関係数が、各重みセットに対してステップ（ｅ）において前記それぞれ結合されたメトリックの最適ランキングを表わすステップと、
（ｊ）ステップ（ｉ）において得られた前記それぞれの結合されたメトリックの最適ランキングに関して、システムオプテマイザと前記ビデオ処理モジュールとのうちの少なくとも１つに画像品質情報を提供して、最適知覚画像品質を規定するステップと、を有する方法。
【請求項２】
ステップ（ｆ）に述べられている結合ステップが、前記客観的評価Ｆを得るために、二次方程式モデルによって非線形的に実行されることを特徴とする請求項１に記載の方法。
【請求項３】
前記メトリックセットの数 ＝ ４のとき、前記客観的評価Ｆを得るための前記二次方程式モデルが、
2004520752.tif 000011
となることを特徴とする請求項２に記載の方法。
【請求項４】
前記メトリックセットの数 ＝ ｎのとき、前記客観的評価Ｆを得るための前記二次方程式モデルが、
2004520752.tif 000012
， （ここで、 “ｎ “ は、零でない値である）
となることを特徴とする請求項２に記載の方法。
【請求項５】
メトリックセットの数 ＝ ｎであり、ステップ（ｆ）が、Ｌ次に対する非線形結合として多項方程式次数を用いるステップを含有し、当該客観的評価Ｆが、
2004520752.tif 000013
（ここで、 “ｎ“ は、零でない値）
にしたがって得られることを特徴とする請求項１に記載の方法。
【請求項６】
ステップ（ｇ）における前記相関係数Ｒを計算するステップが、次式
2004520752.tif 000014
（ここで、Ｘは、ｋ個のシーケンスに対する順位付けされたｋ個の客観的値のベクトルに等しく（ｋ ＊ ｌ）、Ｙは、ｋ個のシーケンスに対する順位付けされたｋ個の主観的評価のベクトルに等しい（ｋ
＊ ｌ））を有するスピアマン順位を用いて実行されることを特徴とする請求項１に記載の方法。
【請求項７】
ステップ（ｇ）における前記相関係数Ｒを計算するステップが、次式
2004520752.tif 000015
（ここで、Ｘは、ｋ個のシーケンスに対する順位付けされたｋ個の客観的値のベクトルに等しく（ｋ ＊ ｌ）、Ｙは、ｋ個のシーケンスに対する順位付けされたｋ個の主観的評価のベクトルに等しい（ｋ
＊ ｌ））を有するスピアマン順位を用いて実行されることを特徴とする請求項２に記載の方法。
【請求項８】
ステップ（ｇ）における前記相関係数Ｒを計算するステップが、次式
2004520752.tif 000016
（ここで、Ｘは、ｋ個のシーケンスに対する順位付けされたｋ個の客観的値のベクトルに等しく（ｋ ＊ ｌ）、Ｙは、ｋ個のシーケンスに対する順位付けされたｋ個の主観的評価のベクトルに等しい（ｋ
＊ ｌ））を有するスピアマン順位を用いて実行されることを特徴とする請求項４に記載の方法。
【請求項９】
（ｋ）ステップ（ｄ）において規定される前記複数の重みセットから最適重みセットを選択するステップであって、当該最適重みセットが、ステップ（ｄ）において規定される当該各１つの重みセットの前記割り当てられた範囲のサイズを動的に増加させる遺伝子アルゴリズムによってヒューリスティックに決定されるステップを、さらに、有することを特徴とする請求項１に記載の方法。
【請求項１０】
（ｋ）ステップ（ｄ）において規定される前記複数の重みセットから最適重みセットを選択するステップであって、当該最適重みセットが、前記最適重みセットを見出すために網羅的な探索を実行することなく、前記主観的評価を用いて前記総合客観的画像品質Ｆの前記相関係数Ｒを最大にする前記最適解を見出すことを可能にする遺伝子アルゴリズムによってヒューリスティックに決定されるステップを、さらに、有することを特徴とする請求項１に記載の方法。
【請求項１１】
（ｋ）ステップ（ｄ）において規定される前記複数の重みセットから最適重みセットを選択するステップであって、当該最適重みセットが、ステップ（ｄ）において規定される当該各１つの重みセットの前記割り当てられた範囲のサイズを動的に増加させる遺伝子アルゴリズムによってヒューリスティックに決定されるステップを、さらに、有することを特徴とする請求項２に記載の方法。
【請求項１２】
（ｋ）ステップ（ｄ）において規定される前記複数の重みセットから最適重みセットを選択するステップであって、当該最適重みセットが、前記最適重みセットを見出すために網羅的な探索を実行することなく、前記主観的評価を用いて前記総合客観的画像品質Ｆの前記相関係数Ｒを最大にする前記最適解を見出すことを可能にする遺伝子アルゴリズムによってヒューリスティックに決定されるステップを、さらに、有することを特徴とする請求項２に記載の方法。
【請求項１３】
（ｋ）ステップ（ｄ）において規定される前記複数の重みセットから最適重みセットを選択するステップであって、当該最適重みセットが、ステップ（ｄ）において規定される当該各１つの重みセットの前記割り当てられた範囲のサイズを動的に増加させる遺伝子アルゴリズムによってヒューリスティックに決定されるステップを、さらに、有することを特徴とする請求項７に記載の方法。
【請求項１４】
（ｋ）ステップ（ｄ）において規定される前記複数の重みセットから最適重みセットを選択するステップであって、当該最適重みセットが、前記最適重みセットを見出すために網羅的な探索を実行することなく、前記主観的評価を用いて前記総合客観的画像品質Ｆの前記相関係数Ｒを最大にする前記最適解を見出すことを可能にする遺伝子アルゴリズムによってヒューリスティックに決定されるステップを、さらに、有することを特徴とする請求項７に記載の方法。
【請求項１５】
当該遺伝子アルゴリズムが、ステップ（ｄ）における当該複数の重みセットの量に該当する遺伝子数を持つ染色体を有し、当該遺伝子数の各遺伝子が、バイナリにおいて、当該各１つの重みに対する全可能テスト値を表わすに十分なビット量によって表わされており、全可能テスト値が、当該各１つの重みセットに対するインクリメント値で割られた、ステップ（ｄ）において規定された当該各１つの重みセットに対して割り当てられた範囲の絶対値に等しいことを特徴とする請求項９に記載の方法。
【請求項１６】
最適解が零に最も近い偏差を有するように、当該遺伝子アルゴリズムが、前記相関係数Ｒの偏差を最小にするまで、突然変異と乗換えとのうちの少なくとも１つによって、当該染色体のビットパターンを変えることを特徴とする請求項１５に記載の方法。
【請求項１７】
当該遺伝子アルゴリズムが、ステップ（ｄ）における当該複数の重みセットの量に該当する遺伝子数を持つ染色体を有し、当該遺伝子数の各遺伝子が、バイナリにおいて、当該各１つの重みに対する全可能テスト値を表わすに十分なビット量によって表わされており、全可能テスト値が、当該各１つの重みセットに対するインクリメント値で割られた、ステップ（ｄ）において規定された当該各１つの重みセットに対して割り当てられた範囲の値に等しいことを特徴とする請求項１０に記載の方法。
【請求項１８】
最適解が零に最も近い偏差を有するように、当該遺伝子アルゴリズムが、前記相関係数Ｒの偏差を最小にするまで、突然変異と乗換えとのうちの少なくとも１つによって、当該染色体のビットパターンを変えることを特徴とする請求項１７に記載の方法。
【請求項１９】
最適解が、１）あらかじめ定められた値のあらかじめ定められたパーセンテージ以内の偏差、２）一定のあらかじめ定められた試み数の後にそれ以上減少できない偏差、のうちの１つを有するように、当該遺伝子アルゴリズムが、前記相関係数Ｒの偏差を最小にするまで、突然変異と乗換えとのうちの少なくとも１つによって、当該染色体のビットパターンを変えることを特徴とする請求項１７に記載の方法。
【請求項２０】
当該遺伝子アルゴリズムが、ステップ（ｄ）における当該複数の重みセットの量に該当する遺伝子数を持つ染色体を有し、当該遺伝子数の各遺伝子が、バイナリにおいて、当該各１つの重みに対する全可能テスト値を表わすに十分なビット量によって表わされており、全可能テスト値が、当該各１つの重みセットに対するインクリメント値で割られた、ステップ（ｄ）において規定された当該各１つの重みセットに対して割り当てられた範囲の値に等しいことを特徴とする請求項１１に記載の方法。
【請求項２１】
最適解が、零に最も近い偏差を有するように、当該遺伝子アルゴリズムが、前記相関係数Ｒの偏差を最小にするまで、突然変異と乗換えとのうちの少なくとも１つによって、当該染色体のビットパターンを変えることを特徴とする請求項２０に記載の方法。
【請求項２２】
当該遺伝子アルゴリズムが、ステップ（ｄ）における当該複数の重みセットの量に該当する遺伝子数を持つ染色体を有し、当該遺伝子数の各遺伝子が、バイナリにおいて、当該各１つの重みに対する全可能テスト値を表わすに十分なビット量によって表わされており、全可能テスト値が、当該各１つの重みセットに対するインクリメント値で割られた、ステップ（ｄ）において規定された当該各１つの重みセットに対して割り当てられた範囲の値に等しいことを特徴とする請求項１２に記載の方法。
【請求項２３】
最適解が、零に最も近い偏差を有するように、当該遺伝子アルゴリズムが、前記相関係数Ｒの偏差を最小にするまで、突然変異と乗換えとのうちの少なくとも１つによって、当該染色体のビットパターンを変えることを特徴とする請求項２２に記載の方法。
【請求項２４】
当該遺伝子アルゴリズムが、ステップ（ｄ）における当該複数の重みセットの量に該当する遺伝子数を持つ染色体を有し、当該遺伝子数の各遺伝子が、バイナリにおいて、当該各１つの重みに対する全可能テスト値を表わすに十分なビット量によって表わされており、全可能テスト値が、当該各１つの重みセットに対するインクリメント値で割られた、ステップ（ｄ）において規定された当該各１つの重みセットに対して割り当てられた範囲の値に等しいことを特徴とする請求項１３に記載の方法。
【請求項２５】
当該遺伝子アルゴリズムが、前記相関係数Ｒの偏差を最小にするまで、突然変異と乗換えとのうちの少なくとも１つによって、当該染色体のビットパターンを変え、前記偏差＝ １−Ｒであり、当該アルゴリズムによって決定される最適解が、零に最も近い偏差を有することを特徴とする請求項２４に記載の方法。
【請求項２６】
当該遺伝子アルゴリズムが、ステップ（ｄ）における当該複数の重みセットの量に該当する遺伝子数を持つ染色体を有し、当該遺伝子数の各遺伝子が、バイナリにおいて、当該各１つの重みに対する全可能テスト値を表わすに十分なビット量によって表わされており、全可能テスト値が、当該各１つの重みセットに対するインクリメント値で割られた、ステップ（ｄ）において規定された当該各１つの重みセットに対して割り当てられた範囲の値に等しく、そして、
当該遺伝子アルゴリズムが、前記相関係数Ｒの偏差を最小にするまで、突然変異と乗換えとのうちの少なくとも１つによって、当該染色体のビットパターンを変え、前期偏差＝ １−Ｒであり、当該アルゴリズムによって決定される最適解が、あらかじめ定められた値に最も近い偏差を有することを特徴とする請求項１３に記載の方法。
【請求項２７】
当該あらかじめ定められた値が、さらなる探索によって減少できない１つの値を有することを特徴とする請求項１３に記載の方法。
【請求項２８】
当該遺伝子アルゴリズムが、前記相関係数Ｒの偏差を最小にするまで、突然変異と乗換えとのうちの少なくとも１つによって、当該染色体のビットパターンを変え、前期偏差＝ １−Ｒであり、当該アルゴリズムによって決定される最適解が、あらかじめ定められた値に最も近い偏差を有することを特徴とする請求項２４に記載の方法。
【請求項２９】
ビデオシーケンスを受信する手段と、
事前依存性情報を備えていない複数の客観的メトリックと、前記ビデオシーケンスの画像品質を評価するために当該複数の客観的メトリックから１つのメトリックを選択する手段とを有する客観的メトリック画像品質コントローラ、および、当該客観的メトリック画像品質コントローラによって当該ビデオシーケンスに当該複数の客観的メトリックの各々を適用して当該ビデオシーケンスにｘ１〜ｘｎのスコアを個々につける手段と、
当該客観的メトリック画像品質コントローラによって複数の重みセット（ｗ１〜ｗ２）を決定する決定手段であって、当該複数の重みセットが、あらかじめ定められた複数のビデオシーケンス（ｎ）に対する画像品質のあらかじめ定められた主観的評価に相関させ、各１つの重みセットが、１つの範囲を、当該各１つの重みセットの結合の数で割られた当該範囲の値に等しいインクリメント値を持って割り当てられている決定手段において、当該各１つの重みセットによって、当該メトリックの任意セットの当該各１個のメトリックによって規定される各個々の客観的スコア値ｘ１〜ｘｎを重み付けする手段を含有する決定手段と、
当該メトリックの任意セットの前記重み付けされた個々の客観的スコア値のメトリックを、単一の客観的評価Ｆに結合する手段であって、各重み付けされた個々のスコア値が、各個々の客観的スコア値ｘ１〜ｘｎによって乗算される手段と、
前記客観的評価Ｆと前記複数のビデオシーケンス（ｎ）とに対する相関値を規定するために、複数の相関係数Ｒを計算する計算手段であって、当該複数の相関係数Ｒに順位付けする手段を含有する計算手段において、当該複数の相関係数のうちの１に最も近い特定の相関値を持つ特定の相関係数が、各重みセットに対して最適順位付けされたそれぞれの結合されたメトリックを表わす計算手段と、を有するビデオヒューチャの任意セットの混合画像を規定するシステムであって、
当該客観的メトリック画像品質コントローラによって決定された、前記最適順位付けされたそれぞれの結合されたメトリックが、当該ビデオシーケンスの最適客観的知覚品質を規定するために用いられるシステム。
【発明の詳細な説明】
【０００１】
本出願明細書においては、ベクトル表示されるべき文字には、ｎ、ｋのように下線が付されていることに留意されたい。
【０００２】
【発明の属する技術分野】
本発明は、知覚ビデオ品質の自動評価のための装置および方法に関するものである。
【０００３】
【従来の技術】
ビデオシーケンスの知覚画像品質を自動的に決定することは、ＱｏＳ （ｑｕａｌｉｔｙ−ｏｆ−ｓｅｒｖｉｃｅ）配給、放送業、コンシューマエレクトロニクス製造業者にとって非常に重要である。
【０００４】
従来、知覚ビデオ品質は、主観的に考査されている。熟練した観察者は、アーティファクトのような品質における欠陥に注意を払うかもしれないが、一般大衆は、そうでないことがしばしばである。したがって、一般大衆が、コンシューマエレクトロニクスの購買者の大多数なので、製造業者、放送業者、配給業者は、品質に関して、このグループにアピールするように継続的に努力する。
【０００５】
ビデオ品質の主観考査は、せいぜい首尾一貫しない結果を伴う時間を消費する過程である。観賞審査員達は、同一のビデオシーケンスに、相異なる価値付けを与える。実際、同一の観賞審査員達が、同一のビデオシーケンスに、回毎に異なる価値付けを与えることもある。したがって、ビデオ品質の純粋な主観考査は、主観考査のあいまいさを取り除こうとすれば、統計的な分析を必要とする。
【０００６】
したがって、客観評価法が、その首尾一貫した結果の故に好まれる。そのような評価法は、ビデオ品質を即座に評価し、そのビデオ品質の価値を定量化するように自動化される。もちろん、鑑賞者が、主観に基づいて品質を最終的に判断するのであるから、客観法と、前もって定められている品質主観標準とには、相関が存在しなければならない。
【０００７】
客観評価法は、ビデオ品質を定量化するためにメトリックを利用する。メトリックは、測定法のセットであり、ビデオ的な意味では、ある客体あるいは客体群の測定のための一連の自動化されたパラメータを有している。例えば、ほんの２、３例をあげると、歪み、画像のアーティファクト、画像の縁近傍のアーティファクト、色彩知覚、コントラスト感度、時空間チャネルを、測定するためのメトリックとすることが出来る。
【０００８】
これらの自動的なビデオ品質測定用メトリックの品質の最終的な決定要素は、主観的評価との相関の程度であり、相関が高ければ高いほど、そのメトリックは、ますます適している。
【０００９】
種々の客観的ビデオ品質メトリックが、提案されており、それらは、以下に従って広範に渡る。
−  どの程度、主観的品質考査結果と相関するかに関する性能。
−  安定性：あるモデルは、ある種のアーティファクトに直面したとき（例えば、ＭＰＥＧデコーディングにおけるブロッキング、コーナーアーティファクト）には優れているが、他の種類のアーティファクトに適用されたときには相当に低下してしまう。
−  複雑性：いくつかのモデルは、多量の計算能力を必要とする複雑なＨＶＳ（ｈｕｍａｎ ｖｉｓｉｏｎ ｓｙｓｔｅｍ：人間の視覚システム）シミュレーションに頼るが、一方、他のモデルは、非常に単純な計算（例えば、信号対雑音比）に頼る。
【００１０】
明らかに、単一のメトリックに頼ることは、評価を、その特定の単一のメトリックの利点・欠点に限定してしまう。
【００１１】
したがって、単一のメトリックではなくて、相異なる種々の客観的なビデオ品質メトリックを用いる必要がある。以前には、客観的なビデオ品質メトリックの線形結合が、ビデオ品質の主観的な評価に似せるために用いられてきた。そのような線形結合は、相異なるメトリックが、互いに独立であり、したがって、線形モデルによって統合できるということを仮定している。
【００１２】
【課題を解決するための手段】
本発明は、ヒューリスティック探索手法を用いてビデオシーケンスの知覚品質を最も良く記述するために、非線形結合で、ビデオフィーチャの任意セットを結合する装置および方法を提供する。
【００１３】
本発明の方法によれば、複数の相異なるメトリックが、それらの独立性に関する何らの事前知識なしに結合される。
【００１４】
複数の任意のビデオフィーチャのセットの混合客観的画像品質メトリックを規定する方法が、
（ａ）画像品質評価のためのビデオシーケンスを受信するステップと、
（ｂ）交差相関情報を持たないＭ１からＭｎに及ぶメトリックの任意セットを有する客観的メトリック画像品質コントローラを設けるステップと、
（ｃ）当該メトリックの任意セットの当該各１個のメトリックが、ｘ１〜ｘｎに及ぶ当該ビデオシーケンスの個々の客観的スコア値を規定するように、当該メトリックセットの当該各１個のメトリックを、当該ビデオシーケンスに個々に適用するステップと、
（ｄ）あらかじめ定められた複数のビデオシーケンス（ｎ）に対する画像品質のあらかじめ定められた主観的評価に相関させる複数の重みセット（ｗ１〜ｗ２）を決定するステップであって、当該複数の重みセットのうちの各１つの重みセットが、１つの範囲を、当該各１つの重みセットの結合の数で割られた当該範囲に等しいインクリメント値を持って割り当てられるステップと、
（ｅ）当該各１つの重みセットによって、ステップ（ｃ）において当該メトリックの任意セットの当該各１個のメトリックによって規定される各個々の客観的スコア値ｘ１〜ｘｎを重み付けするステップと、
（ｆ）当該メトリックの任意セットの前記重み付けされた個々の客観的スコア値を、単一の客観的評価Ｆに合計するステップであって、ステップ（ｅ）からの各重み付けされた個々のスコア値が、ステップ（ｃ）からの各個々の客観的スコア値ｘ１〜ｘｎによって乗算されるステップと、
（ｇ）前記客観的評価Ｆと前記複数のビデオシーケンス（ｎ）とに対する相関値を規定するために、相関係数Ｒを計算するステップと、
（ｈ）ステップ（ｄ）において規定される各重みセットに対してステップ（ｅ）〜（ｇ）を繰り返して、複数の相関係数Ｒを決定するステップと、
（ｉ）当該複数の相関係数Ｒに順位付けするステップであって、当該複数の相関係数のうちの１に最も近い特定の相関値を持つ特定の相関係数が、各重みセットに対してステップ（ｅ）において前記それぞれ結合されたメトリックの最適ランキングを表わすステップと、
（ｊ）ステップ（ｉ）において得られた前記それぞれの結合されたメトリックの最適ランキングに関して、システムオプテマイザと前記ビデオ処理モジュールとのうちの少なくとも１つに画像品質情報を提供して、最適知覚画像品質を規定するステップと、を有していてもよい。
【００１５】
本方法は、前記客観的評価Ｆを得るために、ステップ（ｆ）に述べられている結合ステップを、例えば二次方程式モデルによって非線形的に実行してもよい。
【００１６】
例えば、本方法が、合計４個である一定数のメトリックを含有していると、前記客観的評価Ｆを得るための前記二次方程式モデルが、次式となる。
2004520752.tif 000003
【００１７】
本方法は、メトリックセットの任意のあらかじめ定められた数 ＝ ｎを持ってもよく、前記客観的評価Ｆを得るための前記二次方程式モデルが、次式となる。
2004520752.tif 000004
ここで、 ” ｎ ” は、零でない値である
【００１８】
本方法は、メトリックセットの任意のあらかじめ定められた数 ＝ ｎを持ってもよく、また、任意の多項方程式次数を、非線形結合（二次方程式ではない）に対して、例えばＬ次で用いることができ、前記客観的評価Ｆが、次式で得られる。
2004520752.tif 000005
ここで、 ” ｎ ” は、零でない値である
【００１９】
本方法は、ステップ（ｇ）における相関係数Ｒを、次式を有するスピアマン順位を用いて計算してもよい。
2004520752.tif 000006
ここで、Ｘは、ｋ個のシーケンスに対する順位付けされたｋ個の客観的値のベクトルに等しく（ｋ ＊ ｌ）、Ｙは、ｋ個のシーケンスに対する順位付けされたｋ個の主観的評価のベクトルに等しい（ｋ
＊ ｌ）。
【００２０】
本方法は、さらに、
（ｋ）ステップ（ｄ）において規定される前記複数の重みセットから最適重みセットを選択するステップであって、当該最適重みセットが、ステップ（ｄ）において規定される当該各１つの重みセットの前記割り当てられた範囲のサイズを動的に増加させる遺伝子アルゴリズムによってヒューリスティックに決定されるステップを有していてもよい。
【００２１】
本方法は、さらにまた、
（ｋ）ステップ（ｄ）において規定される前記複数の重みセットから最適重みセットを選択するステップであって、当該最適重みセットが、前記最適重みセットを見出すために網羅的な探索を実行する必要なく、前記最適解（前記主観的評価を用いて前記総合客観的画像品質Ｆの前記相関係数Ｒを最大にするそれ）を見出すことを可能にする遺伝子アルゴリズムによってヒューリスティックに決定されるステップを有していてもよい。
【００２２】
ビデオヒューチャの任意セットの混合画像を規定するシステムが、
ビデオシーケンスを受信する手段と、
事前依存性情報を備えていない複数の客観的メトリックと、前記ビデオシーケンスの画像品質を評価するために当該複数の客観的メトリックから１つのメトリックを選択する手段とを有する客観的メトリック画像品質コントローラ、および、当該客観的メトリック画像品質コントローラによって当該ビデオシーケンスに当該複数の客観的メトリックの各々を適用して当該ビデオシーケンスにｘ１〜ｘｎのスコアを個々につける手段と、
当該客観的メトリック画像品質コントローラによって複数の重みセット（ｗ１〜ｗ２）を決定する決定手段であって、当該複数の重みセットが、あらかじめ定められた複数のビデオシーケンス（ｎ）に対する画像品質のあらかじめ定められた主観的評価に相関させ、各１つの重みセットが、１つの範囲を、当該各１つの重みセットの結合の数で割られた当該範囲の値に等しいインクリメント値を持って割り当てられている決定手段において、当該各１つの重みセットによって、当該メトリックの任意セットの当該各１個のメトリックによって規定される各個々の客観的スコア値ｘ１〜ｘｎを重み付けする手段を含有する決定手段と、
当該メトリックの任意セットの前記重み付けされた個々の客観的スコア値のメトリックを、単一の客観的評価Ｆに結合する手段であって、各重み付けされた個々のスコア値が、各個々の客観的スコア値ｘ１〜ｘｎによって乗算される手段と、
前記客観的評価Ｆと前記複数のビデオシーケンス（ｎ）とに対する相関値を規定するために、複数の相関係数Ｒを計算する計算手段であって、当該複数の相関係数Ｒに順位付けする手段を含有する計算手段において、当該複数の相関係数のうちの１に最も近い特定の相関値を持つ特定の相関係数が、各重みセットに対して最適順位付けされたそれぞれの結合されたメトリックを表わす計算手段と、を有していてもよく、
当該客観的メトリック画像品質コントローラによって決定された、前記最適順位付けされたそれぞれの結合されたメトリックが、当該ビデオシーケンスの最適客観的知覚品質を規定するために用いられる。
【００２３】
メトリックを結合する手段は、前記客観的評価Ｆを得るために、二次方程式モデルによって非線形結合する手段を含有することができる。
【００２４】
前記複数の相関係数Ｒを計算する手段は、次式を有するスピアマン順位を用いる手段を含有する。
2004520752.tif 000007
ここで、Ｘは、ｋ個のシーケンスに対する順位付けされたｋ個の客観的値のベクトルに等しく（ｋ ＊ ｌ）、Ｙは、ｋ個のシーケンスに対する順位付けされたｋ個の主観的評価のベクトルに等しい（ｋ
＊ ｌ）。
【００２５】
前記決定手段は、前記複数の重みセットから最適重みセットを選択する手段であって、当該最適重みセットが、当該各１つの重みセットの前記割り当てられた範囲のサイズを動的に増加させる遺伝子アルゴリズムによってヒューリスティックに決定される手段を含有していてもよい。
【００２６】
前記決定手段は、前記複数の重みセットから最適重みセットを選択する手段であって、当該最適重みセットが、当該各１つの重みセットに対するインクリメントの量を増加させることによって精度を増加させるために、当該各１つのセットに付加的な重みを供給する遺伝子アルゴリズムによってヒューリスティックに決定される手段を含有していてもよい。
【００２７】
【発明の実施の形態】
以下の記述は、本発明の方法および装置を説明するものであるが、実例としてのものであって、限定するものではない。当業者には理解されるように、本発明の精神ならびに付随の請求項の範囲内にあり、以下の記述に対してなすことのできる変形例が存在する。
【００２８】
図１Ａは、本発明を実施する方法の大要を規定するフローチャートである。
【００２９】
ステップ１００において、ビデオシーケンスが、画像品質評価のために受信される。最初に、ビデオシーケンス（即ち、ビデオストリーム）が、それらに限定はされないが、放送、衛星伝送、ＶＨＳ、ＤＶＤからの再生、インターネットからダウンロードされたビデオ、ＴＩＶＯ再生等を含む複数の源からやってくることができる。そのビデオシーケンスは、任意のＭＰＥＧプロトコルあるいは他の既知のプロトコルであってもよく、あるいは、将来出現するプロトコルであってもよい。強調すべきは、必ずしも特定のタイプのビデオシーケンスを必要とすることなく、受信されたビデオシーケンスに対してエンハンスされた画像品質を規定するということである。
【００３０】
ステップ１１０において、客観的画像品質コントローラが備えられる。客観的画像品質コントローラは、例えば、Ｍ１からＭｎに及ぶ、メトリックの任意セットを含有している。そのメトリックの任意セットに対して、依存性に関する情報は、備えられていなくてもよい。メトリックを用いてビデオ品質をエンハンスしようとするこれまでの試みは全て、メトリックが、互いに独立であり、したがって、線形モデルで統合されると仮定した。相互依存性、依存性を持つメトリックは、それらの可能な結合を複雑にし、そして、線形モデルは、首尾良い結果を与えない。
【００３１】
ステップ１２０において、メトリックの各１つが、個別に、ビデオシーケンスに適用され、それによって、個々の客観的スコア値が得られる。例えば、この客観的スコア値は、ｘ１〜ｘｎまで及んでもよい。セット中のメトリックの数が、”ｎ”の値を限定する。説明の目的のために、メトリックの数が４個である１例が用いられるが、本発明は、４個のメトリックにも、あるいは、もっと詳しく言えば、４００個、４０００個のメトリックにさえも、限定されない。計算リソースが、将来において改良されるにつれて、用いられるメトリックの数が、検討している数よりも大きくなるかもしれないが、それらの結合の陰にある基本原理は、本発明の方法と変ることはない。
【００３２】
ステップ１３０において、あらかじめ定められた複数のビデオシーケンス（ｎ）に対する画像品質のあらかじめ定められた主観的評価に相関させる複数の重みセットｗ１〜ｗ２が決定される。
【００３３】
潜在的なエンドユーザおよび製品の購買者は、購入する、あるいは、他の購入を行う、あるいは、他の製品と比較する基礎として、画像品質の主観評価を用いるであろうから、客観的評価が、実用的な品質評価を備えるためには、主観的評価との相関が必要である。もちろん、主観的評価は、観察者が素人であったり熟練者であったりする、また、両グループが同一のシーケンスに異なる価値付けを与えることがある、というような公知の首尾一貫しない問題を持っている。
【００３４】
したがって、主観的評価モデルは、的確性を確かにするために統計的な解析を必要とし、客観的評価システムは、自動的に価値付けを与え、そして、リアルタイムシステムの調整のためのフィードバックを備えており、主観的評価の既知の値と可能な限り密接な相関を持つ。それ故、あらかじめ定められた主観的評価のシーケンスに対するステップ１３０における相関は、必要に応じて、望ましいと思われるどんな値でもあり得る。
【００３５】
ステップ１４０において、メトリックの任意セット中の各メトリックによって規定される、客観的スコア値ｘ１〜ｘｎの重み付けがある。例えば、（ｎ）シーケンスと４個のメトリックを仮定すると、各メトリックは、（ｎ）シーケンスにそれぞれ異なってスコアを与える（カドラプレットｘ１，ｘ２， ｘ３， ｘ４のｎセットが存在する）。最適重みセットを見出すことができるが、図１Ｅ，１Ｆに示されるように、ステップ２００， ２１０において、後に検討される。
【００３６】
ステップ１５０において、重み付けされた個々のスコア値のメトリックが、単一の客観的評価Ｆに結合される。ここで、ステップ１４０からの各重み付けされた個々のスコア値に、ステップ１２０からの客観的スコア値ｘ１〜ｘｎが乗ぜられる。
【００３７】
説明の目的だけのために、メトリックの数が、例えば４であるとして、図１Ｃは、全ての値が、まさにこの４個のメトリックに対して結合される非線形二次方程式モデルの１例を示している。しかしながら、当業者には理解されるように、本発明は、メトリックの特定の型に限定されないし、非線形二次方程式モデルの使用にも限定されない。例えば、Ｌ次に対する非線形結合としての多項式次数、および、評価Ｆは、次式にしたがって得られる。
2004520752.tif 000008
ここで、 “ｎ“ は、零でない値である。
【００３８】
図１Ｄは、ｎ個のメトリックがあり、したがって、二次方程式モデルが、ｎ個のメトリックに対してなされている、より一般的な方程式を示している。
【００３９】
ステップ１６０において、相関係数Ｒが、ステップ１５０において結合されたメトリックと、複数のビデオシーケンス（ｎ）のあらかじめ定められた主観的評価とから、客観的評価Ｆに対する相関値を規定するために計算される。
【００４０】
ステップ１７０（図１Ｂに示されている）において、遺伝子アルゴリズムが、複数の相関係数Ｒを決定するために、ステップ１３０において規定された重みの各セットに対して、ステップ１４０〜１６０のサイクルを反復することによって得ることのできる可能な結合の全てではないがいくつかを反復して選出することによって、最適重みセットを見出すために用いられる。
【００４１】
前記遺伝子アルゴリズムは、ステップ１３０における当該複数の重みセットの量に該当する遺伝子数を持つ染色体を有していてもよく、当該遺伝子数の各遺伝子が、バイナリにおいて、当該各１つの重みに対する全可能テスト値を表わすに十分なビット量によって表わされており、全可能テスト値が、当該各１つの重みセットに対するインクリメント値で割られた、ステップ１３０において規定された当該各１つの重みセットに対して割り当てられた範囲の絶対値に等しい。
【００４２】
最適解が零に最も近い偏差を有するように、前記遺伝子アルゴリズムは、前記相関係数Ｒの偏差を最小にするまで、突然変異と乗換えとのうちの少なくとも１つによって、前記染色体のビットパターンを変えてもよい。
【００４３】
ステップ１８０において、ステップ１７０において決定された前記複数の相関係数Ｒの順位付けがあり、１に最も近い値を持つ特定の相関係数が、各重みセットに対してステップ１４０において前記それぞれ結合されたメトリックの最適ランキングを表わす。
【００４４】
ステップ１９０において、ステップ１８０において得られた前記それぞれの結合されたメトリックの最適ランキングに関して、システムオプテマイザと前記ビデオ処理モジュールとのうちの少なくとも１つに画像品質情報を提供して、最適知覚画像品質を規定する。その情報は、システムオプテマイザおよび／またはビデオ処理モジュールによって、ある一定のスコア範囲内に評価をもたらすように処理を調節するために用いてもよい。
【００４５】
前述したように、図１Ｅ， １Ｆは、ステップ１３０において規定された複数の重みセットのうちの最適重みセットを選択するためのさらなるステップを規定している。
【００４６】
最適重みセットを見出すために（例えば、４個のメトリックを用いれば、セット当り１０個の重みｗ１〜ｗ１０が存在する）、各重みに対して仮の範囲が割り当てられる（例えば、０．１２５の増分で、−１０００〜＋１０００）。したがって、シーケンス当り、（２０００／０．１２５）＊ １０重み ＝ １６０，０００個の可能な結合がある。
【００４７】
これらの可能な結合の１つをｋ個のシーケンスに適用すると、それらのｋ個のシーケンスに対して、順位付けされたｋ個の主観的評価のベクトルＹが存在している（そのデメンジョン＝ｋ＊１）が、順位付けされたｋ個の客観的値のベクトルＸができる（そのデメンジョン＝ ｋ＊１）。主観的ベクトルＹと客観的ベクトルＸとの相関係数Ｒが、モデル化に何らかの線形性を帯びることを避けるために、例えば、スピアマンの順位を用いて計算される。スピアマンの順位は、どのくらい良く客観的ベクトルが主観的ベクトルと一致するかの相関を規定し、次式で計算される。
2004520752.tif 000009
ここで、Ｘは、ｋ個のシーケンスに対するｋ個の客観的値のベクトルに等しく（ｋ ＊ ｌ）、Ｙは、ｋ個のシーケンスに対するｋ個の主観的評価のベクトルに等しい（ｋ
＊ ｌ）。
【００４８】
網羅的な探索を通して最適重み結合を見出すためには、最適重みセットを見出すために、１６，０００ ＊ ｎ個の重みが、存在しなければならない。さらに、可能な結合の数は、次のことによって非常に増加し得る。
−  重み探索のダイナミックレンジを増加させること（例えば、−１０００〜１０００であったが、この数値は、どちらも、大きく増加させることができる）；
−  探索の精度を増加させること（例えば、０．１２５に替えて、０．０１２５、あるいは、０．０００１２５、あるいは、さらに小さくもできる）；
−  任意セット内のメトリックの数を増加させること（本例は、４個のメトリックに基づいたが、百個のメトリック、あるいは、千個のメトリック、あるいは、さらに多くもできる）。
【００４９】
上に開示したように、可能な結合の数は、ヒューリスティックに最適に決定できるかもしれないというやりがいのある課題を提出する。例えば、遺伝子アルゴリズムは、主観的評価と最適に相関する重みセットを見出すために、結合を効率的に探索することができる。遺伝子アルゴリズムは、グローバルな最適状態を探しているときに局所的な最適状態から飛び出すことのできる能力を有することによって、この探索問題に適している。
【００５０】
遺伝子アルゴリズムでは、染色体の形でエンコードされる候補解の個体数を維持する再帰的手続きがある。候補解の初期個体数は、ヒューリスティックないし任意に選択することができる。１個の染色体が、１つの世代内の各候補解を決定する。各世代において、各候補解が、評価され、そして、適合値を割り当てられる。適合値は、一般に、各候補解の染色体に含有されているデコードされたビットの関数である。それらの候補解は、それらの適合値に基づいて、次の世代での再生のための選択をされる。本発明における適合値は、客観的メトリック画像品質コントローラによって規定される。
【００５１】
選択された候補解は、「乗換え」として知られている遺伝子再結合演算を用いて結合される。乗換え演算子は、次の世代に、より高い適合度を持つ、より優れた候補解を生み出すという期待を持って、染色体のビットの一部を交換する。
【００５２】
そして、「突然変異」は、問題空間の特定の部分空間を探索する確率が決して零にならないことを保証するよう、染色体のビットに摂動を与えるために適用される。突然変異は、また、遺伝子アルゴリズムが局所的な最適状態にトラップされるのも防ぎ、それは、本発明に用いるときに特に有用である。Ａ．Ｙ．Ｈ．ＺｏｍａｙａによるＰａｒａｌｌｅｌ ａｎｄ Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｍｐｕｔｉｎｇ Ｈａｎｄｂｏｏｋ， ＭｃＧｒａｗ Ｈｉｌｌ， Ｎｅｗ Ｙｏｒｋ，１１１８−１１４３頁 （１９９６）の、Ａ． ＣｈｉｐｐｅｒｆｉｅｌｄおよびＰ． Ｆｌｅｍｉｎｇによる”Ｐａｒａｌｌｅｌ ＧｅｎｅｔｉｃＡｌｇｏｒｉｔｈｍｓ”と題する論文が、遺伝子アルゴリズムに関する背景資料としてここで参照されている。さらに、Ｌ． Ｋｒｏｎｓｊｏおよび Ｄ． Ｓｈｕｍｓｈｅｒｕｄｄｉｎ（編集者）による書籍Ａｄｖａｎｃｅｓｉｎ Ｐａｒａｌｌｅｌ Ａｌｇｏｒｉｔｈｍｓ， Ｂｌａｃｋｗｅｌｌ Ｓｃｉｅｎｔｉｆｉｃ， Ｂｏｓｔｏｎ Ｍａｓｓａｃｈｕｓｅｔｔｓ， （１９９０）の２２７−２７６頁の、Ｐ．Ｈｕｓｂａｎｄｓによる”Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ ｉｎ Ｏｐｔｉｍｉｚａｔｉｏｎ ａｎｄ Ａｄａｐｔａｔｉｏｎ”と題する論文も、遺伝子アルゴリズムに関する背景資料としてここで参照されている。
【００５３】
探索プロセスは、相関係数Ｒの偏差を最小化するまで、突然変異と乗換えによって染色体のビットパターンを変えて続けられる。最適解は、偏差を零とする解であろう、即ち、Ｒが１となるであろう。ここで、偏差＝１−Ｒである。しかしながら、実際的理由によって、探索問題は、偏差が、ある一定の容認値（例えば、１０％）に達したとき、あるいは、偏差を、それ以上に減少できないときに、終了できる。図３は、本発明による客観的メトリック画像品質コントローラを有するシステムの概観である。当業者には理解されるように、図３に図示されているシステムは、説明の目的だけのためのものであって、メトリックの数、モデルのタイプ（例えば、二次、Ｌ次に対する非線型結合としての多項式次数）、順位付けおよび遺伝子アルゴリズムのタイプは、図示のものに限定されない。
【００５４】
本発明の方法に関して既に検討したように、ビデオシーケンスが、重み付けされて、各メトリックによってスコアを付けられ、そして、遺伝子アルゴリズムモジュールが、あらかじめ定められている主観的値と最も高い相関を持つ品質に達するように最適な重みセットをヒューリスティックに決定する。
【００５５】
図３に示されるように、受信手段３０５が、１つのビデオシーケンスを受信する。客観的メトリック画像品質コントローラ３００は、１からｎの範囲のメトリック３１５の任意セットを有している。本明細書に請求されている発明の１観点によれば、メトリックの交差相関情報は必要ない。各メトリックは、客観的スコア値を持っており、図３は、最初のメトリックが値ｘ１， ｘ２ ， ．．．．．．． ｘｎを持っていることを示している。ｘ１〜ｘｎの各個々の客観的スコア値を重み付けるために用いられる複数の重み（ｗ１〜ｗ２）が、重み決定手段３２０によって供給される。メトリック結合手段３２５が、重み付けされたスコア値を単一の評価Ｆに結合する。ここでも、この図示において、メトリックの数は、説明の目的のためだけで、４個に制限されている。混合客観的スコアセットが、格納エリアである３３５におけるベクトルＸ内のあらかじめ定められたシーケンスセットに対して集められる。順位付け手段３４５が、あらかじめ定められた複数のビデオシーケンスから、客観的評価Ｆと主観的因子Ｙとの間の相関の相関係数Ｒを見出す。スピアマン順位が、最適モードとして開示されたが、本発明による順位付けは、スピアマン順位付けに限定されない。スピアマン順位による計算は、モデル化に何らかの線形性を帯びることを避け、そのような順位付けの１例が、次式のようになる。
2004520752.tif 000010
ここで、Ｘは、ｋ個のシーケンスに対する順位付けされたｋ個の客観的値のベクトルに等しく（ｋ ＊ ｌ）、Ｙは、ｋ個のシーケンスに対する順位付けされたｋ個の主観的評価のベクトルに等しい（ｋ
＊ ｌ）。
【００５６】
複数の重みを決定する手段３２０は、重み因子の値を変化させて、主観的値との相関を最大にすることによって、最適重みセットをヒューリスティックに探索するための遺伝子アルゴリズムを含有している。相関を最大にするということは、可能な限り１に近い相関を規定するということを意味する。すでに検討したように、探索は、偏差が、ある一定の容認値（例えば、１０％）内になったとき、あるいは、偏差をそれ以上に減少できないときに、終了させてもよい。
【図面の簡単な説明】
【図１Ａ】本発明による方法の大要を規定するフローチャートである。
【図１Ｂ】本発明による方法の大要を規定するフローチャートである。
【図１Ｃ】本発明による方法の大要を規定するフローチャートである。
【図１Ｄ】本発明による方法の大要を規定するフローチャートである。
【図１Ｅ】本発明による方法の大要を規定するフローチャートである。
【図１Ｆ】本発明による方法の大要を規定するフローチャートである。
【図２】相関係数Ｒの計算が、本発明によって実行できることを図示している。
【図３】本発明のシステム図を図示している。
【符号の説明】
３００  客観的メトリック画像品質コントローラ
３０５  ビデオシーケンスを受信する手段
３１５  客観的メトリック
３２０  重み決定手段
３２５  メトリック結合手段
【図１Ａ】
2004520752.tif 000017
【図１Ｂ】
2004520752.tif 000018
【図１Ｃ】
2004520752.tif 000019
【図１Ｄ】
2004520752.tif 000020
【図１Ｅ】
2004520752.tif 000021
【図１Ｆ】
2004520752.tif 000022
【図２】
2004520752.tif 000023
【図３】
2004520752.tif 000024
【国際公開パンフレット】
2004520752.tif 000025
2004520752.tif 000026
2004520752.tif 000027
2004520752.tif 000028
2004520752.tif 000029
2004520752.tif 000030
2004520752.tif 000031
2004520752.tif 000032
2004520752.tif 000033
2004520752.tif 000034
2004520752.tif 000035
2004520752.tif 000036
2004520752.tif 000037
2004520752.tif 000038
2004520752.tif 000039
2004520752.tif 000040
2004520752.tif 000041
2004520752.tif 000042
2004520752.tif 000043
2004520752.tif 000044
2004520752.tif 000045
2004520752.tif 000046
2004520752.tif 000047
2004520752.tif 000048
【国際調査報告】
2004520752.tif 000049
2004520752.tif 000050