(57)【要約】  ＤＣＴコード化されたビデオシーケンスの品質を、基準を用いて、または用いずに客観評価するための新しいアプローチが提供される。本システムは、所有権を主張できる分割アルゴリズム、特徴（フィーチャ）抽出プロセス、及び特徴解析のための非線形フィードフォワード型ニューラルネットワークを含む。本方法は人視覚システム（ＨＶＳ）の機能を模倣する。ニューラルネットワーク訓練アルゴリズムを使用して、両システム動作モードのための最適ネットワーク重み及びバイアスを決定する。提唱する方法によれば、オリジナルな源が利用できなくても（擬似基準モード）ＤＣＴコード化されたビデオシーケンスの評価が可能である。擬似基準モードは、所有権を主張できるＤＣＴコード化されたビデオ（ＭＰＥＧ）雑音レデューサ（ＭＮＲ）をも含む。
2008533937.tif 000002
【特許請求の範囲】
【請求項１】
オリジナルビデオシーケンスから生成されたビデオシーケンスの品質を評価する方法であって、
上記生成されたビデオシーケンスを受信するステップと、
上記生成され、受信されたビデオシーケンスを使用して基準シーケンスを生成するステップと、
上記生成され、受信されたビデオシーケンス及び上記生成された基準シーケンスから特徴を抽出するステップと、
上記抽出された特徴を解析して、上記生成されたビデオシーケンスの品質を表す客観品質スコアを生成するステップと、
を含むことを特徴とする方法。
【請求項２】
上記解析するステップは、人口知能技術を使用することを特徴とする請求項１に記載の方法。
【請求項３】
上記人工知能技術は、ニューラルネットワークの使用を含むことを特徴とする請求項２に記載の方法。
【請求項４】
上記オリジナルビデオシーケンスを受信するステップを更に含み、上記基準シーケンスを生成するステップは、上記生成された基準ビデオシーケンスと上記オリジナルビデオシーケンスとの間の選択からなることを特徴とする請求項１乃至３の何れか１つに記載の方法。
【請求項５】
上記ニューラルネットワークは、上記生成された基準信号に依存してユーザが１つのモードから別のモードへ切り替える重み及びバイアスを含むことを特徴とする請求項４に記載の方法。
【請求項６】
上記基準シーケンスを生成するステップは、雑音低減技術及びイメージ復元技術の一方を使用するステップを含むことを特徴とする請求項１乃至５の何れか１つに記載の方法。
【請求項７】
分割マップを生成するステップを更に含み、上記特徴を抽出するステップは上記生成された分割マップを使用することを特徴とする請求項６に記載の方法。
【請求項８】
上記特徴を抽出するステップは、上記生成され、受信されたビデオシーケンスのイメージ成分を分離するステップと、上記生成された基準シーケンスのイメージ成分を分離するステップと、上記生成された基準シーケンスの上記分離されたイメージ成分と上記生成されたビデオシーケンスの上記分離されたイメージ成分との間の差を計算し、上記差を使用して上記特徴を生成するステップとを含むことを特徴とする請求項１乃至７の何れか１つに記載の方法。
【請求項９】
上記特徴を生成するステップは、時間的特徴、空間的特徴、及びＣb／Ｃr特徴を計算するステップを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
オリジナルビデオシーケンスから生成されたビデオシーケンスの品質を評価する装置であって、
上記生成されたビデオシーケンスを受信し、上記生成され、受信されたビデオシーケンスを使用して基準シーケンスを生成する入力手段と、
上記基準シーケンス及び上記生成されたビデオシーケンスを受信し、上記基準シーケンス及び上記生成されたビデオシーケンスを使用して、抽出された特徴信号を生成する特徴抽出ユニットと、
上記抽出された特徴信号を受信し、上記抽出された特徴を解析して、上記生成されたビデオシーケンスの品質を表す客観品質スコアを生成する客観品質スコア生成ユニットと、
を含むことを特徴とする装置。
【請求項１１】
上記入力手段は、システムモード選択ユニットを更に含むことを特徴とする請求項１０に記載の装置。
【請求項１２】
上記システムモード選択ユニットは上記オリジナルビデオシーケンスを受信し、上記基準シーケンスは、ユーザの選択に従って、上記オリジナルビデオシーケンス及び上記生成されたビデオシーケンスの一方を使用して生成されることを特徴とする請求項１１に記載の装置。
【請求項１３】
上記システムモード選択ユニットは更に、イメージ分割アルゴリズム及び圧縮雑音レデューサ（ＭＮＲ）の少なくとも一方を使用して分割マップを生成し、上記特徴抽出ユニットは更に、上記基準シーケンス、上記生成されたビデオシーケンス、及び上記分割マップを受信し、上記基準シーケンス、上記生成されたビデオシーケンス、及び上記分割マップを使用して上記抽出された特徴信号を生成することを特徴とする請求項２に記載の装置。
【請求項１４】
上記特徴抽出ユニットは、上記生成されたビデオシーケンスを受信して第１の成分分離された信号を生成する第１の成分分離ユニットを含み、上記特徴抽出ユニットは更に、上記基準シーケンスを受信して第２の成分分離された信号を生成する第２の成分分離ユニットを含み、上記特徴抽出ユニットは更に、上記第１の成分分離された信号及び上記第２の成分分離された信号を受信して上記イメージ差を表す信号を生成する特徴抽出ユニットを含み、上記特徴抽出ユニットは更に、上記イメージ差を表す信号を受信して上記抽出された特徴信号を生成する特徴生成ユニットを含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
上記第１の成分分離された信号は、劣化したＹ信号、劣化したＣb信号、及び劣化したＣr信号からなり、上記第２の成分分離された信号は、基準Ｙ信号、基準Ｃb信号、及び基準Ｃr信号からなることを特徴とする請求項１４に記載の装置。
【請求項１６】
上記客観品質スコア生成ユニットは、上記客観品質スコアを生成するニューラルネットワークを含むことを特徴とする請求項１０乃至１５の何れか１つに記載の装置。
【請求項１７】
上記ニューラルネットワークは、上記客観品質スコアを生成するフィードフォワードニューラルネットワークからなることを特徴とする請求項１５に記載の装置。
【請求項１８】
オリジナルビデオシーケンスから生成されたビデオシーケンスの品質を評価する方法であって、
上記オリジナルビデオシーケンスを入手するステップと、
上記生成されたビデオシーケンス及び上記オリジナルビデオシーケンスから特徴を抽出するステップと、
上記抽出された特徴を解析して、上記生成されたビデオシーケンスの品質を表す客観品質スコアを生成するステップと、
を含むことを特徴とする方法。
【請求項１９】
オリジナルビデオシーケンスから生成されたビデオシーケンスの品質を評価する装置であって、
上記オリジナルビデオシーケンスを格納する格納手段と、
上記生成されたビデオシーケンス及び上記オリジナルビデオシーケンスを受信し、上記生成されたビデオシーケンス及び上記オリジナルビデオシーケンスを使用して、抽出された特徴信号を生成する特徴抽出ユニットと、
上記抽出された特徴信号を受信し、上記抽出された特徴信号を解析して、上記生成されたビデオシーケンスの品質を表す客観品質スコアを生成する客観品質スコア生成ユニットと、
を含むことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル的にＤＣＴに基づいてエンコードされたビデオの品質の客観評価に関する。本発明は、ビデオシーケンスに対するリアルタイム操作に関する。詳述すれば、本発明は、ＭＰＥＧ−２、ＭＰＥＧ−４、及びＨ．２６４標準のようなＤＣＴに基づくコーデックのエンコーディング効率（品質対出力ビットレート）を評価するために使用される測定方法に関する。
【背景技術】
【０００２】
デジタルビデオ品質評価に関する既存の文献及び／または特許はかなり新しい。
【０００３】
デジタルビデオ特徴（フィーチャ）抽出技術も、徹底的に研究されている。米国特許第5,446,492号は、特徴を抽出する効率的な方法を開示している。
【０００４】
米国特許第5,329,379号は、圧縮解除されたビデオ信号及びイメージの忠実度を測定するシステム及び方法を記述している。このシステムは、デコードされたイメージと、オリジナルとの間の色、輝度、形状、変位、及びテクスチャのセグメントを比較する。ユーザは、グローバル比較モードと、ローカル比較モードを選択することができる。
【０００５】
米国特許第6,252,905号は、ビデオエンコーダ内で圧縮されたピクチャの品質を評価するためのリアルタイムシステムを記述している。このシステムは、周波数成分を量子化した直後の圧縮アルゴリズムの品質を評価する。このシステムは、量子化された信号内の損失を異なる量子化ファクタ毎に評価し、最良品質が得られる最適量子化ファクタを選択する。この特許では、量子化損失を評価するためにオリジナルシーケンスが必要であり、それはむしろエンコーダの特徴である。またこのシステムは、視覚空間ドメインではなく、周波数ドメインにおける劣化レベルをも評価する。
【０００６】
米国特許第6,285,797号は、仮想ビデオ信号を用いてデジタルビデオの品質を推定する方法及び装置を開示している。この装置は、ビジョン・プリプロセッサ、仮想基準発生器、仮想ひずみ発生器、及びイメージ品質規準発生器を含む。基本的には、デコードされ／劣化したシーケンスを処理して仮想基準イメージを生成する。仮想基準は、仮想ひずみ推定と共に、イメージ品質規準を評価するために使用される。
【０００７】
米国特許第6,823,009号は、デジタル伝送及び／または記憶及び／またはコーディングシステムによって導入されるビデオイメージの劣化を評価するためのより一般的な装置を開示している。この装置においても、ＤＣＴ係数について周波数ドメインにおける解析が遂行される。この方法は、イメージ内の選択された領域内の入力（未処理）シーケンスとその処理済みの出力シーケンスとの間の空間アクティビティレベルを比較する。この場合も、オリジナルシーケンスが必要である。
【０００８】
米国特許第6,493,023号は、処理されたデジタルビデオシーケンスの視覚品質を評価する方法及び装置（ＤＶＱ）を記述している。この場合も、解析のためにＤＣＴ係数を使用する。このシステムは、最適視覚品質を得るために、コーデック内のエンコーディングビットレートを適応制御するのにも使用される。オリジナルシーケンスが必要である。
【発明の開示】
【課題を解決するための手段】
【０００９】
デジタルビデオ特徴抽出技術も、徹底的に研究されている。本発明は、抽出された特徴を解析するためにニューラルネットワークを使用し、次いで品質の格付けを客観的に決定する。前記米国特許第5,446,492号は、特徴を抽出する効率的な方法を開示している。しかしながら、以下に開示するシステムは、特徴抽出プロセスを簡易化するために、異なる分割（セグメンテーション）アルゴリズムを使用する。
【００１０】
本システムの別の独創性は、２つの動作モードが存在することである。即ち、オリジナルシーケンスを用いるモードと、用いないモードである。殆どの出版物及び特許に記載されているシステムは、オリジナル基準シーケンスを必要とする。本システム設計は、全く同じシステムによって、オリジナルシーケンスを用いて、または用いることなく品質を客観評価する。
【００１１】
ビデオ圧縮アルゴリズムの性能を評価するためには、デジタルビデオの品質評価が必要である。ビデオ圧縮アルゴリズムは、デジタルビデオ信号を伝送するのに必要な帯域幅を狭める。あるグループのピクチャ内の空間（スペイシャル）及び時間（テンポラル）冗長性を活用することによって、所望の品質に依存して、生ビデオ信号を10乃至100倍まで圧縮する。品質及び圧縮比は、損失をもたらす量子化レベルに依存する。量子化はある値の丸めに似ており、それは近似法であるので、真の値と量子化値との間の差が失われて誤差を生ずることになる。ＭＰＥＧ−２標準のようなＤＣＴに基づくコーデックでは、イメージはブロックに細分され、各ブロックにＤＣＴ変換が適用されて空間冗長性が活用される。ＤＣＴ変換は、極く少数の非０係数を用いて低周波数ブロックを表す特性を有している。ランレングスエンコーディングは一続きの０を抑圧し、信号をより一層圧縮する。あるグループの第１のフレームがそのフレーム内の情報だけでコード化され（intra-coded）、次いである基準として再構築（デコード）された基準フレームから後続フレームが予測される。この予測は、フレーム間の時間冗長性を活用するように、運動推定及び運動補償アルゴリズムを使用して達成される。予測されたフレーム内の各ブロックは、基準フレーム内の最も類似しているブロックの位置を位置付ける運動ベクトルによって表される。屡々、これらの運動ベクトルは（０，０）であり、ランレングスエンコーディングを用いて更に圧縮することができる。また、何等かの誤差を補償するために、予測誤差のＤＣＴ係数が送られる。この場合ももし誤差が小さければ、殆どのＤＣＴ係数は０になり、ＲＬＥが信号を更に圧縮する。フレームは、２つの基準フレーム（即ち、１つは順方向予測、１つは逆方向予測）を使用して予測することもできる。双方向に予測されたフレームは、ブロック毎に２つの運動ベクトルを有するが、この予測は遙かに精密であり、誤差信号は順方向予測フレームにおけるそれらよりも遙かに小さい。低ビットレート信号が要求される場合には、圧縮アーチファクトは、明暗むらのあるピクチャ、モスキートノイズ、及びエッジの周囲のリンギングの形状で現れ、軽度にテクスチャ化された領域内の細かいディテールがかなり失われる。これらのアーチファクトは、多くの空間ディテールと、高速で運動する対象を有するシーケンスとではかなり目立つようになる。
【００１２】
ビデオ信号は、４つのディメンションを用いて表すことができる。ディスプレイスクリーン上において、（ｘ，ｙ）座標によってアドレスされ且つスクリーンの表面をカバーするピクセルのグループは、空間ドメインである。あるイメージ内のピクセルの強度（ｚ）は輝度レベルである。イメージ及びビデオ信号は、通常は、ＲＧＢ（赤、緑、及び青）、またはＹＵＶ（ルーマ、クロマブルー、及びクロマレッドの場合にはＹＣbＣr）の何れかの、３つの成分に分離される。これら３つの各成分は独立した強度レベルを有している。これら３つのディメンションは、静止イメージを記述する。ビデオにおいては、時間ドメイン（ｔ）がイメージのシーケンス内の運動を表す。２つの連続するフレーム間の差は、時間アクティビティ（もしくは、冗長性）として記述することができ、この特性はビデオ圧縮アルゴリズムによって活用される。
【００１３】
ビデオシーケンスから抽出された特徴は、異なる形状で現れる。最も一般的な形状は誤差、即ち、基準（通常は、オリジナル）シーケンスとその処理されたバージョンとの比較によって得られた差、または距離規準である。イメージ及びビデオ処理に使用される極めてポピュラーな品質尺度は、ピーク信号対雑音比（ＰＳＮＲ）である（オリジナルと処理されたイメージとの間の差（誤差）が雑音である）。イメージ内の異なる領域においては、人の視覚システム（ＨＶＳ）は劣化及びＤＣＴに起因する圧縮アーチファクトに対してより敏感である。また、これらの雑音に対する感応度は、シーケンス内の運動の量（時間アクティビティ）並びにバックグラウンド内の輝度レベルにも依存する。
【００１４】
ＤＣＴコード化されたビデオの特性を理解しつつ、我々は、人の視覚システム（ＨＶＳ）の特性を考慮して、これらのアーチファクトがどのように可視であるかを決定可能にする特徴を抽出する。抽出された特徴は、１つまたはそれ以上のイメージに関して計算され、それらの得られた値はイメージの総合品質を記述するのを、またイメージが含むシーンの本質または型を評価するのを援助する。ビデオ信号においては、特徴は、あるシーケンス内の時間アクティビティのレベルを決定するために時制（テンポラル）であることができる。特徴を決定する良い方法は、基準イメージと劣化したイメージとの間のイメージ差を使用して誤差を計算することである。分割アルゴリズムを使用することによってイメージの異なる領域から特徴を抽出し、領域毎に異なる誤差尺度を発生することができる。一般的には、抽出された特徴は、シーケンス内の空間誤差、空間コンテント、時間コンテント、及びグレイレベルと結び付けられる。
【００１５】
上述したように、抽出された特徴の解析は、一実施の形態においてはフィードフォワードニューラルネットワークによって遂行される。訓練されたネットワークは、シーケンスまたはセグメントの抽出された特徴を入力として受信し、客観品質スコアを出力として決定する。ニューラルネットワークは、入力が係数によって重み付けられ、次いで加え合わされるという点が、適応ＦＩＲフィルタに極めて類似している。その差は、ニューラルネットワークの場合には各加算に非線形が伴い、それが複数のセルを横並びに加算し、複数の層を連結可能にすることである。例えば、図４に示されているニューラルネットワークは、４つの隠れセルを含む１つの隠れ層と、１つの出力セルを含む出力層を有している。
【００１６】
本発明による特徴抽出プロセスは領域を基礎とし、分割アルゴリズムを使用することが理解されよう。更に、オリジナルシーケンスが存在するか否かには関係なく、品質規準を決定するためにニューラルネットワークを使用する。
【００１７】
本発明は、ＤＣＴコード化されたビデオの品質を、オリジナルシーケンスを用いて、または用いることなく客観評価する装置及び方法を提供する。
【００１８】
本発明のさらなる面によれば、処理された／劣化したビデオシーケンスの特徴を抽出する装置及び方法が提供される。本方法は、存在している基準（オリジナル）シーケンスを用いて、もしくは用いずに、これらの特徴を抽出する。抽出された特徴は、空間及び時間情報を提供することによってシーケンスの性質を記述する。
【００１９】
本発明のさらなる面によれば、抽出された特徴を解析し、客観品質スコアを決定する装置及び方法が提供される。このプロセスは、オリジナルシーケンスが存在する場合、または存在しない場合の両者において類似している。
【００２０】
本発明の一面によれば、オリジナルビデオシーケンスから生成されたビデオシーケンスの品質を評価する方法が提供され、本方法は、生成されたビデオシーケンスを受信するステップと、生成されて受信されたビデオシーケンスを使用して基準シーケンスを生成するステップと、生成されて受信されたビデオシーケンス及び生成された基準シーケンスから特徴を抽出するステップと、抽出された特徴を解析して、生成されたビデオシーケンスの品質を表す客観品質スコアを発生するステップとを含む。
【００２１】
本発明の別の面によれば、オリジナルビデオシーケンスから生成されたビデオシーケンスの品質を評価する装置が提供され、本装置は、生成されたビデオシーケンスを受信し、生成されて受信されたビデオシーケンスを使用して基準シーケンスを発生する入力手段と、基準シーケンス及び生成されたビデオシーケンスを受信し、基準シーケンス及び生成されたビデオシーケンスを使用して抽出された特徴信号を生成する特徴抽出ユニットと、抽出された特徴信号を受信し、抽出された特徴を解析して、生成されたビデオシーケンスの品質を表す客観品質スコアを発生する客観品質スコア発生ユニットとを含む。
【００２２】
本発明の別の面によれば、オリジナルビデオシーケンスから生成されたビデオシーケンスの品質を評価する方法が提供され、本方法は、オリジナルビデオシーケンスを入手するステップと、生成されたビデオシーケンス及びオリジナルビデオシーケンスから特徴を抽出するステップと、抽出された特徴を解析して、生成されたビデオシーケンスの品質を表す客観品質スコアを発生するステップとを含む。
【００２３】
本発明の別の面によれば、オリジナルビデオシーケンスから生成されたビデオシーケンスの品質を評価する装置が提供され、本装置は、オリジナルビデオシーケンスを格納する格納手段と、生成されたビデオシーケンス及びオリジナルビデオシーケンスを受信し、生成されたビデオシーケンス及びオリジナルビデオシーケンスを使用して、抽出された特徴信号を生成する特徴抽出ユニットと、抽出された特徴信号を受信し、抽出された特徴を解析して、生成されたビデオシーケンスの品質を表す客観品質スコアを発生する客観品質スコア発生ユニットとを含む。
【００２４】
本発明の別の広範な面から、独特な空間分割アルゴリズムへの基準が提供される。
【発明を実施するための最良の形態】
【００２５】
添付図面を参照する。図１は、客観ビデオ品質評価装置及び方法のブロックダイアグラムである。
【００２６】
本装置及び方法は、３つの主システム入力から開始される。第１の入力１０１は、輝度（Ｙ）及び２つのクロミナンス（Ｃr、Ｃb）成分からなるデコードされた／劣化した（以下、デコード済／劣化という）イメージビデオ信号である。当業者ならば理解されるように、適切ではない場合を除いて、これらのシステム成分は、公知のように時分割手法で、もしくは並列で実現することができる。第２の入力１０２は、１０１と同一の型であり、オプションである。これは、基準として役立つオリジナルの綺麗な源ビデオシーケンスである。第３の入力１０３はバイナリ（０または１）であり、オリジナル基準シーケンスが使用可能か、否かを指示するシステムモードに対応している。
【００２７】
本装置及び方法は、３つの主ブロックを含む。即ち、システムモード選択２００（システムモード選択ユニットを含む入力手段ともいう）と、特徴抽出３００（特徴抽出ユニットともいう）と、ニューラルネットワーク４００（客観品質スコア発生ユニットともいう）とであり、これらは全てカスケードに接続されている。
【００２８】
図２を参照して後に詳述するシステムモード選択２００は、ビデオ入力１０１及び１０２、並びに制御入力１０３を受信する。このサブシステムが、特徴抽出ブロック３００のための必要データを準備する。これは基準シーケンス１０４及び図２の分割アルゴリズムから供給される分割マップ１０５を出力し、これらは共に３００へ送られる。
【００２９】
図３を参照して後に詳述する特徴抽出ブロック３００もビデオ入力信号１０１及び制御入力１０３、並びに基準ビデオ信号１０４及び分割マップ１０５を受信し、その出力に特徴１０６を生成する。抽出された特徴は、ニューラルネットワーク４００へ送られる。
【００３０】
図４を参照して後に詳述するニューラルネットワーク４００は、抽出された特徴１０６並びに制御入力を受信する。ニューラルネットワーク４００はその入力特徴を解析し、客観品質スコア１０７（システムの出力でもある）を出力する。
【００３１】
図２を参照する。図２は、特徴抽出のために必要な信号を準備し、イメージ分割を遂行する本発明によるシステムモード選択プロセスのブロックダイアグラムである。
【００３２】
システムモードセレクタは、ビデオ入力１０１及び１０２、及び制御入力１０３を受信し、イメージ分割マップ１０５及び基準ビデオ信号１０４を創る。ビデオ入力信号１０１内のデコード済／劣化成分ＹはＤＣＴベースの圧縮雑音レデューサ２０３へ送られ、オリジナル基準シーケンス入力１０２が利用できない場合の基準としてより綺麗な、雑音の少ないバージョンが創られる。ＤＣＴベースの圧縮雑音レデューサは、ＤＣＴに起因してコーデックが発生する圧縮アーチファクトを著しく低減するように設計された進歩したアルゴリズムである。ＭＮＲ（ＭＰＥＧ雑音レデューサ）としても知られるこの雑音レデューサに関しては、米国特許出願第60 / 592,143号を参照されたい。雑音レデューサの出力２０５は、マルチプレクサ２０７へ入力１として送られる。もし利用可能であればオリジナルシーケンスがマルチプレクサ２０７へ入力０として送られ、またイメージ分割アルゴリズム２０１へ送られる。このシステムに使用されている分割アルゴリズムは特許出願ＰＣＴ／ＣＡ02 / 00887号に開示されており、これはＭＮＲアルゴリズム２０３のサブモジュールである。分割マップは、入力イメージの各ピクセルを４つの異なる領域の１つに結び付けられるビットマップである。出力２０２はマルチプレクサ２０６の入力０へ送られる。オリジナルシーケンス１０２が利用できない場合には、ＭＮＲ２０３によって創られた分割マップ２０４がマルチプレクサ２０６の入力１へ送られる。制御入力１０３は、両マルチプレクサ２０６、２０７のセレクタ入力へ供給される。もしオリジナル基準シーケンス１０２が利用可能であれば１０３の値は０であり、利用不能であれば１であるものとしよう。もし入力１０３が０にセットされていれば、マルチプレクサ２０６はオリジナル基準１０２から発した分割マップ２０２を選択する。もし入力１０３が０にセットされていなければ、マルチプレクサ２０６は、デコード済／劣化シーケンス１０１から発した分割マップ２０４（１０１の品質に依存して僅かに異なる）を選択する。マルチプレクサ２０６からの出力信号は、特徴抽出プロセスにおいて使用される分割マップ１０５である。マルチプレクサ２０７は、もし入力１０３が０にセットされていれば、オリジナル基準シーケンス１０２を選択する。そうでなければ、特徴抽出プロセスにおいて使用される出力基準信号１０４として、マルチプレクサ２０７はＭＮＲ処理済みシーケンス２０５を選択する。
【００３３】
デコード済／劣化シーケンスの改良されたバージョンとしての擬似基準を生成するのは擬似基準モードだけでなければならないことは理解されよう。差イメージは完全基準モードにおけるものとは明らかに異なっており、それは評価されるシーケンスの劣化レベルに依存する。
【００３４】
図３は、特徴抽出プロセスのブロックダイアグラムである。最初のステップは、ビデオ信号１０１及び１０２内のビデオ成分を、輝度（Ｙ）及び２つのクロミナンス（Ｃb、Ｃr）成分に分離することである。要素３０１が１０１及び１０４をそれぞれの成分に分離する。即ち、１０１を３０２、３０３、３０４に、また１０４を３０５、３０６、３０７に分離する。入力制御１０３及び３０２−３０７信号は、図５に詳細が示されているイメージ差計算器５００へ送られる。イメージ差計算器は４つの差信号、即ち、Ｙ成分３０８、３０９、及び各クロミナンス成分に１つずつの信号３１０、３１１を発生する。２つのＹ差信号の間の差は、図５において後述するように、第２の信号３０９が入力信号１０３のセッティングに依存して前処理されていることである。図３の最後の入力は分割マップ１０５であり、図７を参照して後述する空間特徴計算器７００へ送られる。空間特徴計算器へは、Ｙ差信号３０８、３０９の両者の他に、デコード済／劣化シーケンス３０２のＹ成分も送られる。空間特徴は、７００及びバス３１３（これも図７を参照して後述）によって計算される。これらの特徴は、解析のためにニューラルネットワーク４００へ送られる。デコード済／劣化信号３０２のＹ成分は、図６において説明する時間特徴計算器００へも送られる。時間特徴計算器は、時間特徴値３１２を出力し、これらも解析のためにニューラルネットワーク４００へ送られる。最後に、差イメージ３１０、３１１のＣb及びＣr成分は、図８において説明するＣr／Ｃb特徴計算器へ送られる。これらのクロミナンス特徴は、バス３１４（これも図８を参照して後述）へ出力される。これらの特徴は、解析のためにニューラルネットワーク４００へ送られる。
【００３５】
図４に、ニューラルネットワーク４００をブロックダイアグラムで示す。ニューラルネットワークは、バス１０６上の抽出された特徴（これは、時間特徴３１２、空間特徴３１３、及びＣb／Ｃr特徴３１４の組合せであり、これらは図６、７、及び８において説明する）を受信する。ニューラルネットワークの重み及びバイアスは、システムの起動時にはメモリ内に格納されている。これらは、システムの動作モード毎の２セットの重み及びバイアスである。システムモード制御１０３は、ニューラルネットワークがどちらのセットの重み及びバイアスを使用するかを決定するものであり、マルチプレクサ４０６のセレクタ入力へ印加される。マルチプレクサ４０６は、システムのメモリ４０３から２セットの重み及びバイアス４０４、４０５を受信する。選択された重み及びバイアスのセットは、バス４０７を介してニューラルネットワークへ送られる。バス４０７は、それぞれが隠れセル９００または出力セル１０００に専用の５つのバス４０８−４１２に分離される。１０６上の同一特徴が、ネットワークの各隠れセル９００へ供給される。バス４０８−４１１もこれらの各隠れセルに結合され、各バスはそれらの専用隠れセルのための最適重み及びバイアス値を含んでいる。隠れセル９００については、図９に基づいて後述する。各隠れセルは出力４１３−４１６の１つを計算し、出力セル１０００へ送る。バス４１２も出力セルに接続されており、このバスは出力セルのための最適重み及びバイアスを含む。出力セル１０００に関しては図１０において説明するが、デコード済／劣化ビデオシーケンスの客観品質スコアであるシステムの総合出力１０７を計算する。
【００３６】
図５に関して説明する前に、ニューラルネットワークのある理論的背景を説明しておこう。通常は、誤差最小化アルゴリズムの使用によって、ＦＩＲフィルタを適合させるのと同じ手法でニューラルネットワークを適合させる。最小２乗平均（ＬＭＳ）最適化アルゴリズムをソフトウェアで実現し、倍浮動小数点精度を効果的にする必要がある。ニューラルネットワークの場合、逆伝播アルゴリズムを使用し、出力誤差から始めて入力に向かって誤差感応性を伝播してセル毎に重み及びバイアスを適合させる。最適解を見出すために、グラジエントディセント（gradient descent）がセルの導関数（勾配）を使用して実際の出力と目標出力との間の誤差を最小化する。総合性能を援助するために全ての利用可能なデータのバッチ訓練が遂行され、グローバル最小２乗平均誤差（ＭＳＥ）が見出される。本発明によるニューラルネットワークは小さく（100重み／バイアスまたはそれ以下）維持されているから、訓練アルゴリズムをソフトウェアで実現する場合、レベンベルグ・マルクァルト（Levenberg-Marquardt：ＬＭ）非線形最適化アルゴリズムを使用する。レベンベルグ・マルクァルトは、２次の変形ニュートンの最小化法である。このアルゴリズムは、最適フィードフォワードニューラルネットワーク訓練アルゴリズムの中で最速のものである。これは、他のどのアルゴリズムよりも少ない繰り返しで複雑な非線形関数の最小２乗平均誤差を見出すように設計されている。訓練プロセスを開始する前に、比較的小さい、そしてランダムな値で重み及びバイアスを初期化する。この目的のために、エンガイェン・ウィドロウ（Nguyen-Widrow）初期化法が使用される。次いで、ネットワークを適合（学習）可能にするために、異なるシーケンスから抽出された特徴の集まりを、ある所望目標出力と共に入力することによって繰り返し訓練プロセスが開始される。この訓練プロセスは、実際の出力が目標出力を、可能な最小２乗平均誤差（ＭＳＥ）と一致させるように重み及びバイアスを適合させる。アルゴリズムは最終的に最小２乗平均誤差に到達する。これは、このアルゴリズムが望ましくなく収束する非線形システムのグローバル最小、またはローカル最小を表すことができる。複数の試験を行って、グローバル最小２乗平均に到達したことを確認する。エンガイェン・ウィドロウ初期化法は、繰り返しプロセスをグローバル最小に収束させることを保証してはいないが、最小の試みでそれへ到達させる最良の方法の１つである。
【００３７】
訓練アルゴリズムの目的は、ニューラルネットワークの出力と訓練データ（実際の値）との間の誤差を最小にする最適セットの重み及びバイアスを見出すことである。これらのアルゴリズムは反復性であり、ＬＭＳＥ（最小２乗平均誤差）またはＬＭＡＥ（最小平均絶対誤差）の何れかのクラスに属する。最も簡単なアルゴリズムは、最小誤差を見出すために出力誤差関数の導関数を使用するグラジエントディセントである。ニュートン法は、最小値を見出すために１次及２次の両導関数を使用する。２次導関数は最小付近の収束を援助し、従って必要な繰り返し数を減少させる。より複雑な方法は、ニュートン法の変形バージョンであるレベンベルグ・マルクァルト（ＬＭ）アルゴリズムである。これは、最小値の計算に行列を使用する。これらの行列を使用すると、収束のための繰り返しの数が更に減少する。１回の繰り返しに行列の反転を必要とし、これは大きい行列の場合には計算的に高価になり得るから、ＬＭアルゴリズムは小さいニューラルネット（1000重み及びバイアス、またはそれ以下）に適している。
【００３８】
異なる型のニューラルネットワークの中で使用可能なものは、パーセプトロン、多層パーセプトロン（ＭＬＰ）ネットワーク（１つまたはそれ以上の隠れ層を有する）、ラジアルベーシスファンクション（ＲＢＦ）ネットワーク、及び高次ニューラルネットワークである。多層パーセプトロンネットワークのセルは、離散しきい値の代わりに非線形関数を有している。ラジアルベーシスファンクションネットワークの隠れセルは、円関数を有している。主な差は、これらの関数の導関数が訓練プロセス中に符号を変化させ得ることであり、一方多層パーセプトロンネットワークは常に正の導関数を有している。高次ネットワークの隠れセルは、１次（１番目の隠れ層セル内）からＮ次（Ｎ番目の隠れ層セル内）までの範囲に亘って異なる次数の関数を有している。多層パーセプトロンは最も簡単なネットワーク型であり、また訓練も最も容易である。換言すれば、他のより複雑なネットワークにおけるよりもグローバル最小誤差を見出し易い。
【００３９】
ある層内の複数のセルを組合せて複数の層を結合する能力によって、最も複雑な非線形システムのエミュレーションが可能になる。しかしながら、システム表現を効果的にするためには、十分な訓練データが必要である。従って、ＨＶＳを表すためのニューラルネットワークの能力は、ビューワのパネルから取得した主観（訓練）データの量に依存する。ネットワークを適合させるために利用可能なデータが僅かである場合には、大量のセル及び入力特徴を使用することはネットワークに訓練データを記憶させることになるが、未訓練入力を極めて良好に処理することはできない。これらの状態では、ニューラルネットワークは実のＨＶＳを表していない。最良の解法は、大量の訓練データを持つか、またはもし実データが制限されていれば、ネットワークを小さく維持することである。訓練データが制限されていることに伴う問題は、システム表現も制限されることである。入力（特徴）の数も重要である。特徴の数が多くなる程シーケンスを良好に特徴付けるのを援助することができるが、特徴の数が多過ぎると利用可能な訓練データの量に対してネットワークのサイズが大き過ぎるようになる。入力の数を最小にするためには、図３で説明した特徴は互いに独立していなければならず、それらは有用でなければならない。最も有用な特徴は、目標出力（主観品質スコア）と相関させることができるか、または所望の出力により相関させられる他の特徴に対する補正係数として動作させることができる。
【００４０】
擬似基準システムモードのための訓練データの量を極めて大きくすべきであることを銘記することも重要である。擬似基準評価は、オリジナルとのより多くの相対比較が存在しないので、人のビューワに対してさえも異なる。その結果、取得した訓練データは異なることになり、より分散するようになる。この問題に対する解法は、完全基準モードにおけるものと同一の訓練データを使用することである。しかしながら、抽出された特徴が非線形に変化することから、擬似基準システムをより良好に表すためには大きい訓練データのバンクが必要である。より多くの（人工）訓練データを生成する良好な手法は、擬似基準システムのためのより多くの訓練データを生成するために安定な完全基準システムを使用することである。
【００４１】
ネットワークの重み及びバイアスは、訓練に使用されるシーケンスの型によって異なることに注目されたい。例えば、スポーツのシーケンスは漫画のシーケンスとは異なる重み及びバイアスを発生する。より一般的に言えば、訓練中には全ての型のシーケンスを使用することが重要である。
【００４２】
次に、図５を参照する。図５は、イメージ差計算器のブロックダイアグラムである。入力は、デコード済／劣化ビデオシーケンス３０２、３０３、３０４の３成分、基準ビデオシーケンス３０５、３０６、３０７の３成分、及びシステムモード制御入力１０３である。基本的には、基準ビデオ信号とデコード済／劣化ビデオ信号との間の各ビデオ成分のピクセル毎に減算演算が遂行される。即ち、３０５から３０２が減算されて、Ｙ成分３０８のためのイメージ差シーケンスが作成される。同じようにして、３０６から３０３が減算されてＣb差信号３１０が作られ、３０７から３０４が減算されてＣr差信号３１１が作られる。別のＹ成分差信号が、基準シーケンスの前処理済みバージョンから計算される。プリプロセッサ５０１は、基準信号３０２のＹ成分に対して２次元ローパスフィルタリングを適用する。このフィルタの２Ｄ有限インパルス応答は、
【数１】
2008533937.tif 000003
である。このフィルタは、基準シーケンスに対して軽いローパスフィルタリングを遂行し、エッジ付近のフラットな領域（ＮＥＦ領域）を含むイメージのフラットな領域内の何等かのフィルム粒子雑音を僅かに除去する。細かいディテールが存在する場合には、処理したイメージ内にそれらを残すべきである。この処理はイメージ全体に適用され、処理済みのＹ基準信号５０２が得られる。この信号から３０２が減算され、Ｙ成分のための二次イメージ差シーケンス５０３が作成される。両Ｙ差信号３０８、５０３はマルチプレクサ５０４へ送られ、マルチプレクサ５０４のセレクタ信号はシステムモード制御入力１０３である。マルチプレクサ５０４は、もしシステムモードが０であれば、Ｙ差信号５０３の前処理されたバージョンを選択する。そうでなければ、それは未処理信号３０８を選択し、両Ｙ差信号３０８、３０９は同一である。信号３０８−３１１が図５の出力を構成する。
【００４３】
図６は、時間特徴計算器６００を示している。この計算器は、劣化信号３０２のＹ成分を用い、図３で説明したように時間特徴値を信号３１２として出力する。信号３０２は、基本的にはビデオ信号のフレームと同一サイズのＦＩＦＯ（先入れ先出し）バッファであるフレーム遅延器６０１を通って進む。遅延器の出力６０２は、デコード済／劣化Ｙ成分信号３０２の現フレーム信号に対して過去のフレーム信号である。次いで、過去のフレーム信号６０２から現フレーム信号が減算され、以下の式によって表される時間イメージ差信号６０３が求まる。
【数２】
2008533937.tif 000004
信号６０３は、平均絶対誤差（ＭＡＥ）計算器６０５へ送られる。この信号は既に誤差信号であるので、全てのＭＡＥ計算器６０５が行うのは以下の式のような絶対値計算の平均である。
【数３】
2008533937.tif 000005
ここにＮは、信号６０４のピクセルセット内のＹ成分フレーム／フィールドイメージのサイズである。Ｅ（ｃ，ｒ）は式（１）から得られた差信号である。殆どの特徴は、差フレームと、デコード済／劣化シーケンスからのフレームとの間の平均絶対誤差（ＭＡＥ）規準を用いて計算されることに注目されたい。ＭＡＥ計算は実現が簡易であり、平均２乗誤差（ＭＳＥ）計算とは異なって乗算を必要としない。
【００４４】
シーケンス内の時間アクティビティの量は、ディテールの劣化及び圧縮アーチファクトが多少とも知覚できるか否かを決定するファクタであり得る。例えば、ある対象が運動している場合には、ＨＶＳは運動している対象を追跡するのに忙殺されるので、エッジ劣化には気付き難い。しかしながら、ディテールを含むコンテントに大量の運動が存在する場合には、シーケンスのエンコーディングがより困難になる。デコード済／劣化シーケンスの現在と過去のフレームとの間の全てのピクセルのＭＡＥは、その尺度を表している。この特徴を評価するのに、基準は必要としない。
【００４５】
図７に、空間特徴計算器の一実施の形態のブロックダイアグラムを示す。このサブシステムは、図３で説明したように、デコード済／劣化シーケンスＹ成分３０２、両Ｙ成分差信号３０８、３０９、及び分割マップ１０５を受信する。図の最上部の、同時出願された米国特許出願第60 / 592,143号に記載されているブロックアーチファクト検出器７０１においてブロッキングアーチファクト特徴計算が開始される。ブロックアーチファクト検出器は、デコード済／劣化イメージ３０２を受信し、重大なブロッキングアーチファクトの存在を検出する。もしブロッキングアーチファクトが検出されれば、７０１はオフセット（ｘ，ｙ）座標７０２を戻して、イメージの左上のピクセルに対して、イメージの左上隅内の最初のブロックの左上ピクセルの位置を再配置させる。もしブロッキングアーチファクトが検出されなければ、デフォルト座標値（０，０）が信号７０２を介して送られる。もしブロッキングアーチファクトが検出されなければ、この特徴のための値は、実ブロックオフセットには関係なく、小さくすべきである。７０２内の座標は、ブロック境界ピクセル抽出器へ送られる。ブロック境界ピクセル抽出器に関しては、図１２を参照して後述する。これは、抽出したピクセル７０４並びにその現フレームのための対応するピクセルカウント７０５を戻す。フレームの終わりにだけ、ＭＡＥ計算器６０５が有効ブロック領域特徴出力７１７を供給する。ＭＡＥ計算については、式（２）によって説明済みである。式において、Ｎはピクセル内のＹ成分フレーム／フィールドイメージのサイズである。グローバルブロッキングアーチファクト特徴は、ＤＣＴ量子化誤差、特にＤＣ成分のそれを数量化する。
【００４６】
この点において、抽出された空間特徴毎に存在の理由を述べることが適切であろう。第１に、ピクセルは、輝度（Ｙ）成分のイメージコンテントに従って４つの異なる領域に分類される。これら４つの領域は、フラット（及び軽度にテクスチャされた領域）、テクスチャ化、エッジ、及びエッジ付近のフラット（ＮＥＦ）である。各領域は、ＨＶＳに従う異なる雑音可視性レベルを有している。例えば、重度にテクスチャ化された領域内のＪＮＤ（やっと分かる差：Just Noticeable Difference）はフラット領域におけるよりも高いので、テクスチャ内により多くの雑音／劣化が許容される（雑音／劣化可視性がより弱いから）。ＮＥＦ領域は、目立つ雑音が入る圧縮アーチファクトを最も受け易い領域である。その特徴は、モスキートノイズ、エッジリンギング、及びジャーキネスを数量化する。フラット領域は圧縮による影響を最も受けない領域であるが、可視ＤＣＴ量子化誤差及び／またはブロッキングアーチファクトを含んでいるかも知れない。エッジ及びテクスチャ領域は、量子化に起因するディテールの劣化または損失（ブラーリング、スメアリング）のレベルの尺度になる。
【００４７】
イメージを４つの領域に分割するために、分割（セグメンテーション）アルゴリズムを使用して領域マップを作成する。分割アルゴリズムは領域の数を変化させることも、または異なる数に分類することもできる。分割アルゴリズムは、オリジナルビデオシーケンスが利用可能な場合には、オリジナルシーケンスに適用される。基準が鋭い程エッジの検出が容易であり、またテクスチャ化された領域はフラットの代わりに実際にテクスチャとして検出される。劣化したシーケンスを分割すると、精密さが低下する。
【００４８】
入力分割マップ１０５は、特定の領域内の入力ビデオＹ差信号３０８、３０９ピクセルを分類するために使用される。分割マップは、そのピクセルが４つの領域の何れに属するかに依存して、ピクセル毎に０乃至３の値を有している。例えば、もし（ｃ，ｒ）における分割マップ値が０であれば、信号３０８の（ｃ，ｒ）におけるピクセルはエッジ領域に属する。Ｙ差信号３０８はエッジ領域抽出器及びテクスチャ領域抽出器の両方へ送られ、前処理されたＹ差信号３０９はフラット領域抽出器及びＮＥＦ領域抽出器の両方へ送られる。図１１で説明する各領域抽出器１１００は、選択された分割値（エッジ領域は０、テクスチャ領域は１、フラット領域は２、またはＮＥＦ領域は３）に依存して同一の動作を遂行する。ピクセル抽出器１１００は、信号７０６、７０８、７１０、及び７１２でそれらの対応する領域のピクセルと、現フレームのための信号７０７、７０９、７１１、及び７１３でそれぞれのピクセルカウントを戻す。各信号対（７０６、７０７）、（７０８、７０９）、（７１０、７１１）、（７１２、７１３）は領域毎にＭＡＥ計算器へ送られる。フレームの終わりにだけ、ＭＡＥ計算器６０５がそれぞれの領域の有効特徴出力７１８、７１９、７２１、７２２を発生する。ＭＡＥ計算については、式（２）において説明済みである。式（２）において、Ｎはピクセル内のＹ成分フレーム／フィールドイメージのサイズである。
【００４９】
同一の分割マップを使用して、空間コンテントをより良好に記述するために付加的な特徴が抽出される。ここまでは、ＭＡＥ特徴は空間コンテントのアイデアを何も与えていない。例えば、ディテール（テクスチャ及びエッジ）を有する領域によってカバーされた表面領域は、シーケンスをエンコードするのが如何に困難であるかというアイデアを与える。ＮＥＦ領域は、他の領域よりも雑音に鋭敏であることが理解されよう。付加的な空間特徴の１つは、全イメージサイズに対するエッジ及びテクスチャピクセルの割合（Ｓp1）からなる。第２の付加的な空間特徴は、全イメージサイズに対する雑音感応ＮＥＦピクセルの割合からなる。これら２つの特徴は、それぞれ、基準シーケンスを用いることなく、空間ディテールコンテント及び総合雑音可視性のファクタを決定する。
【００５０】
エッジ領域カウント７０７及びテクスチャ領域カウント７０９は、空間複雑さ計算器７１４へ送られる。その機能は、空間コンテント尺度を表すＳp1特徴７２０を計算することである。この計算は、以下の式に従って遂行される。
【数４】
2008533937.tif 000006
これは、総合イメージ面積に対するエッジ及びテクスチャ領域の面積の割合を表している。エッジ領域はより鋭いディテール及びより強い高周波数成分を有しているのでその面積には重みファクタ２が、またテクスチャ領域の面積には重みファクタ１が与えられている。ＮＥＦ領域カウント７１３は、雑音感応領域の表面積計算器７１５へ送られる。その機能は、総合イメージ面積に対する雑音感応領域の面積の割合を表すＳp2特徴７２３を計算することである。その値は、以下のように決定される。
【数５】
2008533937.tif 000007
雑音可視性も、雑音が知覚される強度レベルに依存する。より暗いミッドグレイの領域では、目は、より明るい領域よりも雑音に対して鋭敏である。雑音はＮＥＦ領域において最も可視であることを知りつつ、中間強度（128―192）のピクセルの割合を用いて、より低い強度（０−128）のピクセルの割合を組合せる別の特徴（ＧLev）を作成することができる。換言すれば、もし殆どのＮＥＦ領域が輝いていれば（192以上）、ＮＥＦ  ＭＡＥパラメータが主観品質スコアに与えるインパクトは小さくなる。
【００５１】
ＮＥＦ領域ピクセル７１２及びＮＥＦ領域カウント７１３は、雑音感応領域のグレイレベル計算器７１６へ送られる。その機能は、ＮＥＦ領域のグレイレベルコンテントを表すＧLev特徴７２４を計算することである。この計算は、以下のように遂行される。
【数６】
2008533937.tif 000008
ここに、ＹNEF128カウントは強度値が０−255範囲の128より低いＮＥＦ領域ピクセルの数であり、ＹNEF192カウントは強度値が128乃至192のＮＥＦ領域ピクセルの数である。ＨＶＳは、ピクセルのグループのローカル平均グレイレベルが128より低い場合により鋭敏であるから、対応するカウントは他の128―192グレイレベルカウントに対してファクタ２で重み付けされる。グレイレベルが192より上の場合にはＨＶＳは雑音に対してそれ程鋭敏ではないから、これらのピクセルはＧLev計算には考慮されない。出力７１７−７２４は、図３で説明したように、バス３１３内に含まれる特徴からなる。
【００５２】
これら３つの付加的な空間特徴は、図６で説明した時間特徴と共に他のＭＡＥ特徴を間接的に支援し、評価されたシーケンスをニューラルネットワークがより良く解釈するのを援助する。
【００５３】
図８は、本発明によるＣb／Ｃr成分グローバル特徴計算器８００のブロックダイアグラムである。差イメージのＣb及びＣr成分は、それぞれのＭＡＥ計算器６０５へ送られる。ＭＡＥ計算は、式（２）に定義されている。式の中のＮは、この場合は、信号８０１内にセットされているピクセル内のＣb／Ｃr成分フレーム／フィールドイメージのサイズである。フレームの終わりにだけ、Ｃb及びＣr特徴値が有効になる。両信号８０２及び８０３は図３で説明したように、バス３１４内に含まれる特徴からなる。
【００５４】
図９に、本発明によるニューラルネットワーク隠れセル９００のブロックダイアグラムを示す。図４において説明したように、ニューラルネットワークは、複数の隠れセルの隠れ層と、出力セルが最終計算を遂行する出力層とからなる。図の隠れセルは、全ての抽出された特徴をバス１０６から受信する。図は、４つの特徴９０１−９０４だけを示すことによって簡略化されていることを理解されたい。各特徴には、それぞれ、最適化された重み９０５−９１３が乗算される。これらの重みが、それらの対応する特徴に乗算されて積信号９１０−９１３が生成され、これらは全て加算器へ送られて最適オフセットバイアス値９０９と共に加算され、和信号９１４が作られる。これは非線形機能、即ちtanhルックアップテーブル（ＬＵＴ）９１５へ送られる。この双曲線正接は、隠れセルを互いに分離し、全ての層を互いに分離するためにニューラルネットワーク内で広く使用される非線形関数である。ルックアップテーブルは、数量化された入力を受信し、以下の式に従って数量化された出力を生成する。
【数７】
2008533937.tif 000009
理論的には、ｘは−∞から∞までの範囲であることができるが、一般的にはｘは−８と８でクリップすることができる。tanh（ｘ）関数の出力範囲は−１乃至１である。ｘ＝−８において出力ｙは−１に近く、ｘ＝８において出力ｙは１に近いので、これらの値においてクリッピングすることは適切であり、ＬＵＴのための考え得る入力の数を減少させる。システム精度は入力及び出力の10進値を量子化するのに使用されるビットの数によって決定され、通常は８ビットで十分である。例えば、出力範囲の−１乃至１は９ビットを使用して表すことができ、入力範囲の−８乃至８は12ビットを使用して表すことができる。ＬＵＴは、tanh（ｘ）関数曲線の異なる領域を活用することによって更に簡易化することができる。tanhＬＵＴ出力４１３は次の層、即ち出力層（図１０において説明）へ送られる。非線形性は、それらの導関数が連続である限り、連続（双曲線関数）関数であることも、または不連続（しきい値）関数であることもできる。
【００５５】
図１０は、本発明によるニューラルネットワーク出力セル１０００の一実施の形態のブロックダイアグラムである。隠れセルと同様に、出力セルは入力を受けて出力を計算する。受信する入力は、先行隠れ層のセル４１３−４１６からの出力である。図には４つの入力が示されていて、先行層が４つの隠れセルを有していることを意味している。これらの信号の範囲は、先行図面において説明したように［−１，１］である。各入力信号には最適化された重み１００１−１００４が乗算される。重みが対応する入力信号に乗算されて積信号１００６−１００９が生成される。これらの全ての信号が加算器へ送られて最適オフセットバイアス値１００５と共に加算され、和信号１０１０が求められる。この和信号は線形利得器１０１１へ送られる。これはニューラルネットワークの出力であるから、線形出力関数を使用することが適切である。最も簡単な形状は、利得１である。この出力の範囲が、考え得る和の値の範囲である。範囲を制限する場合には、リミタ機能１０１３を使用して下限及び上限をセットする。勿論、この機能はネットワーク訓練プロセスには含まれない。得られた出力信号１０７は、図１において説明したデコード済／劣化入力ビデオシーケンス１０１のための客観品質スコアからなる。
【００５６】
図１１は、一実施の形態によるカウンタを有する被選択領域ピクセル抽出器のブロックダイアグラムである。Ｙ差信号３０８または３０９の一方がマルチプレクサ１１０６へ送られる。０から３までの値の範囲を有する所望の領域選択が、信号１１０１内にセットされる。分割マップ１０５がコンパレータブロック１１０２へ送られ、信号１１０１と比較される。コンパレータ１１０３の出力は、分割マップのピクセル値が１１０１の値と一致する場合には１であり、そうでなければ０である。信号１１０３は、マルチプレクサ１１０６のためのセレクタ信号として役立つ。もしセレクタが１であればピクセルが７０１を介して送られ、そうでなければ信号は送られない。分割マップの値が１１０１の値に一致する度に、現フレームのためのカウンタ１１０４がインクリメントされる。次のフレームの開始時の、最初のピクセル比較の直前にカウンタは０にリセットされる。
【００５７】
図１２は、本発明によるカウンタを有するブロック境界領域ピクセル抽出器のブロックダイアグラムである。未処理Ｙ差信号３０８がマルチプレクサ１２０４へ送られる。７０２内のブロックオフセット座標は、ブロック境界バイナリグリッドマップ発生器１２０１へ送られる。バイナリグリッドマップ１２０２は、もし関連ピクセルがブロック境界上に位置していれば１であり、そうでなければ０である。信号１２０２は、マルチプレクサ１２０４のためのセレクタ信号として役立つ。もしセレクタが１であればピクセルが７０４を介して送られ、そうでなければ信号は送られない。グリッドマップ値が１になる度に、現フレームのためのカウンタ１２０５がインクリメントされる。次のフレームの開始時の、最初のピクセルを検討する直前にカウンタは０にリセットされる。
【図面の簡単な説明】
【００５８】
【図１】本発明によるビデオの客観品質評価装置及び方法の一実施の形態のブロックダイアグラムである。
【図２】特徴抽出プロセスに必要な信号を準備し、その後のプロセスに必要なイメージ分割を遂行するシステムモード選択プロセスのブロックダイアグラムである。
【図３】選択された動作モードに従って選択された信号を受信する特徴抽出プロセスのブロックダイアグラムである。
【図４】抽出された特徴を解析し、客観品質スコアを発生するのに使用されるフィードフォワード型ニューラルネットワークのブロックダイアグラムである。
【図５】一実施の形態による埋込み型基準信号処理器を有するイメージ差計算器のブロックダイアグラムである。
【図６】一実施の形態による埋込み型フレーム遅延器を有する時間特徴計算器のブロックダイアグラムである。
【図７】分割アルゴリズムによって供給される分割マップを使用する空間特徴計算器のブロックダイアグラムである。また、一実施の形態によるブロックアーチファクト特徴、空間コンテント特徴、雑音が多い領域の表面及びグレイレベル特徴計算も含まれている。
【図８】一実施の形態による２つのクロミナンス成分特徴計算器のブロックダイアグラムである。
【図９】図４に示したニューラルネットワークの一実施の形態による隠れセルのブロックダイアグラムである。
【図１０】図４に示したニューラルネットワークの一実施の形態による出力セルのブロックダイアグラムである。
【図１１】領域分類のブロックダイアグラムである。これは分割マップを使用し、選択された領域に属する入力イメージのピクセルを抽出する。また、一実施の形態によるその領域に属するピクセルのためのカウンタも内蔵されている。
【図１２】ブロック領域ピクセル抽出器のブロックダイアグラムである。これはブロック境界グリッドマップ発生器を含む。生成されたグリッドマップは、ブロック境界に属する入力イメージのピクセルを抽出するために使用される。また、一実施の形態によるその領域に属するピクセルのためのカウンタも内蔵されている。
【図１】
2008533937.tif 000010
【図２】
2008533937.tif 000011
【図３】
2008533937.tif 000012
【図４】
2008533937.tif 000013
【図５】
2008533937.tif 000014
【図６】
2008533937.tif 000015
【図７】
2008533937.tif 000016
【図８】
2008533937.tif 000017
【図９】
2008533937.tif 000018
【図１０】
2008533937.tif 000019
【図１１】
2008533937.tif 000020
【図１２】
2008533937.tif 000021
【国際調査報告】
2008533937.tif 000022
2008533937.tif 000023
2008533937.tif 000024