(57)【要約】
【特許請求の範囲】
【請求項１】
原動画像を入力するための原動画像入力部と、上記入力された原動画像を符号化する符号化部と、上記符号化された動画像データを復号化する復号化部と、上記復号化された動画像データを用いて画質評価を行う画質評価部とからなる動画像送信機を含む、コーデック補助情報を用いた動画像画質評価システムであって、
上記符号化部は、符号化過程で取得される情報のうち、画質評価のための補助情報を上記画質評価部に伝達し、
上記画質評価部は、上記復号化部から入力される復号化された動画像データ、及び上記符号化部から伝達される補助情報を用いて画質評価を行うことを特徴とするコーデック補助情報を用いた動画像画質評価システム。
【請求項２】
上記原動画像入力部は、原動画像を画質評価部に伝達し、
上記画質評価部は、上記原動画像入力部から入力される原動画像、上記復号化部から入力される復号化された動画像データ、及び上記符号化部から伝達される補助情報を用いて画質評価を行うことを特徴とする請求項１に記載のコーデック補助情報を用いた動画像画質評価システム。
【請求項３】
上記動画像送信機は、
原動画像から特徴パラメータを抽出して上記画質評価部に伝達する特徴抽出部を更に含み、
上記原動画像入力部は、原動画像を上記特徴抽出部に入力し、
上記画質評価部は、上記復号化部から入力される復号化された動画像データ、上記特徴抽出部から入力される特徴パラメータ、及び上記符号化部から伝達される補助情報を用いて画質評価を行うことを特徴とする請求項１に記載のコーデック補助情報を用いた動画像画質評価システム。
【請求項４】
上記補助情報は、
コーデック種類情報、ビットレート（Bit Rate）、１秒当たりのフレーム数（FPS；Frames Per Second）、フレームの時間軸上の位置、隣接したブロック間の不連続性を表すブロッキング（Blocking）程度、動き程度（Motion amount）、及び周波数別の残余誤差情報のうちの少なくとも１つ以上を含むことを特徴とする請求項１乃至３のうちいずれか一つに記載のコーデック補助情報を用いた動画像画質評価システム。
【請求項５】
符号化された動画像をネットワークを介して送信する動画像送信機から、上記ネットワークを介して符号化された動画像データを受信する受信データ入力部と、上記受信された符号化された動画像データを復号化して受信動画像を生成する復号化部と、上記復号化された受信動画像を用いて画質を評価する画質評価部とからなる動画像受信機を含む動画像画質評価システムであって、
上記復号化部は、復号化過程で取得される情報のうち、画質評価のための補助情報を上記画質評価部に伝達し、
上記画質評価部は、上記復号化部から伝達される、上記復号化された動画像及び補助情報を用いて画質評価を行うことを特徴とするコーデック補助情報を用いた動画像画質評価システム。
【請求項６】
上記動画像受信機は、
原動画像を上記画質評価部に入力する原動画像入力部を更に含み、
上記画質評価部は、上記復号化部から伝達される上記復号化された動画像、上記原動画像入力部から入力される原動画像、及び補助情報を用いて画質評価を行うことを特徴とする請求項５に記載のコーデック補助情報を用いた動画像画質評価システム。
【請求項７】
上記動画像受信機は、
原動画像から特徴パラメータを抽出して上記画質評価部に伝達する特徴抽出部、及び上記特徴抽出部に原動画像を入力するための原動画像入力部を更に含み、
上記画質評価部は、上記復号化部から伝達される上記復号化された動画像、上記特徴抽出部から入力される特徴パラメータ、及び補助情報を用いて画質評価を行うことを特徴とする請求項５に記載のコーデック補助情報を用いた動画像画質評価システム。
【請求項８】
上記補助情報は、
コーデック種類情報、ビットレート（Bit Rate）、１秒当たりのフレーム数（FPS；Frames Per Second）、フレームの時間軸上の位置、ブロック位置情報、隣接したブロック間の不連続性を表すブロッキング（Blocking）程度、動き程度（Motion amount）、周波数別の伝送ビット情報、周波数別の残余誤差情報、及び伝送エラー情報のうちの少なくとも１つ以上を含むことを特徴とする請求項５乃至７のうちいずれか一つに記載のコーデック補助情報を用いた動画像画質評価システム。
【請求項９】
上記伝送エラー情報は、
ビットエラー情報、パケット損失情報、遅延情報、及びジッタリング（jittering）情報のうちの少なくとも１つ以上を含むことを特徴とする請求項８に記載のコーデック補助情報を用いた動画像画質評価システム。
【請求項１０】
原動画像入力部と、符号化部と、復号化部と、復号化された動画像データを用いて画質評価を行う画質評価部とからなり、受信側の動画像の画質を評価する動画像送信機における動画像画質評価方法であって、
上記原動画像入力部が、上記符号化部に原動画像を入力する第１段階；
上記符号化部が、原動画像を符号化して符号化された動画像データを上記復号化部に伝達し、符号化過程で取得される情報のうち画質評価のための補助情報を上記画質評価部に伝達する第２段階；
上記復号化部が、上記符号化された動画像データを復号化し、復号化された動画像を上記画質評価部に伝達する第３段階；及び
上記画質評価部が上記復号化された動画像、及び補助情報を用いて画質評価を行う第４段階；を含んで成ることを特徴とするコーデック補助情報を用いた動画像画質評価方法。
【請求項１１】
上記第１段階において、
上記原動画像入力部は、上記符号化部及び画質評価部に原動画像を入力し、
上記第４段階において、
上記画質評価部は、上記原動画像、復号化された動画像、及び補助情報を用いて画質評価を行うことを特徴とする請求項１０に記載のコーデック補助情報を用いた動画像画質評価方法。
【請求項１２】
上記動画像送信機は、原動画像から特徴パラメータを抽出する特徴抽出部を更に含んで成り、
上記第１段階において、
上記原動画像入力部は、上記符号化部及び特徴抽出部に原動画像を入力し、
上記第４段階において、
上記画質評価部は、上記特徴抽出部から特徴パラメータを受信し、特徴パラメータ、復号化された動画像、及び補助情報を用いて画質評価を行うことを特徴とする請求項１０に記載のコーデック補助情報を用いた動画像画質評価方法。
【請求項１３】
上記第２段階において、
上記補助情報は、
コーデック種類情報、ビットレート（Bit Rate）、１秒当たりのフレーム数（FPS；Frames Per Second）、フレームの時間軸上の位置、隣接したブロック間の不連続性を表すブロッキング（Blocking）程度、動き程度（Motion amount）、及び周波数別の残余誤差情報のうちの少なくとも１つ以上を含むことを特徴とする請求項１０乃至１２のうちいずれか一つに記載のコーデック補助情報を用いた動画像画質評価方法。
【請求項１４】
受信データ入力部と、復号化部と、復号化された受信動画像を用いて画質を評価する画質評価部とから成り、動画像送信機からネットワークを介して符号化された動画像データを受信して画質評価を行う動画像受信機における動画像画質評価方法であって、
上記受信データ入力部が、ネットワークを介して受信した符号化された動画像データを上記復号化部に入力する第１段階；
上記復号化部が、上記符号化された動画像データを復号化して受信動画像を生成し、復号化過程で取得される情報のうち画質評価のための補助情報を上記受信動画像とともに上記画質評価部へ伝達する第２段階；及び
上記画質評価部が、上記復号化部から伝達される上記復号化された動画像及び補助情報を用いて画質評価を行う第３段階；を含んで成ることを特徴とするコーデック補助情報を用いた動画像画質評価方法。
【請求項１５】
上記動画像受信機は、原動画像入力部を更に含んでなり、
上記第３段階において、
上記画質評価部は、上記原動画像入力部から原動画像の入力を受け、上記復号化部から伝達される上記復号化された動画像、原動画像、及び補助情報を用いて画質評価を行うことを特徴とする請求項１４に記載のコーデック補助情報を用いた動画像画質評価方法。
【請求項１６】
上記動画像受信機は、原動画像入力部、及び原動画像から特徴パラメータを抽出する特徴抽出部を更に含んで成り、
上記第３段階において、
上記画質評価部は、上記特徴抽出部から特徴パラメータの入力を受け、上記復号化部から伝達される上記復号化された動画像、特徴パラメータ、及び補助情報を用いて画質評価を行うことを特徴とする請求項１４に記載のコーデック補助情報を用いた動画像画質評価方法。
【請求項１７】
上記第２段階において、
上記補助情報は、
コーデック種類情報、ビットレート（Bit Rate）、１秒当たりのフレーム数（FPS；Frames Per Second）、フレームの時間軸上の位置、ブロック位置情報、隣接したブロック間の不連続性を表すブロッキング（Blocking）程度、動き程度（Motion amount）、周波数別の伝送ビット情報、周波数別の残余誤差情報、及び伝送エラー情報のうちの少なくとも１つ以上を含むことを特徴とする請求項１４乃至１６のうちいずれか一つに記載のコーデック補助情報を用いた動画像画質評価方法。
【請求項１８】
上記伝送エラー情報は、
ビットエラー情報、パケット損失情報、遅延情報、及びジッタリング（jittering）情報のうちの少なくとも１つ以上を含むことを特徴とする請求項１７に記載のコーデック補助情報を用いた動画像画質評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コーデック補助情報を用いた動画像画質評価システム及び方法に関し、より詳しくは、ビットレート、動き程度、コーデック特性、残余誤差、ブロッキング程度、ビットエラー、パケット損失、遅延、ジッタリングなどの符号化器または復号化器から取得される情報を用いて客観的画質評価を行なうことができるようにする、コーデック補助情報を用いた動画像画質評価システム及び方法に関する。
【背景技術】
【０００２】
動画像に対する画質評価は、動画像コーデックの性能検証と新しい圧縮コーティング技法の開発分野だけではなく、動画像の伝送品質評価などに必要な核心技術であり、特にデジタル技術及び通信技術の発達によって動画像をデジタル化しネットワークを介して伝送できる技術が登場して、このようなデジタル技術方式で圧縮された動画像の伝送システムにおける客観的動画像画質評価の重要性が更に強調されている。
【０００３】
また、客観的画質評価技術は、テレビだけでなく携帯電話の動画像などの画質評価にも使うことができ、ビデオコーデックの性能検証、新しい圧縮コーディング技法の開発、伝送品質評価などに必要な核心技術であって、デジタル放送の伝送品質の評価や、カムコーダー、ビデオプレーヤー、デジタルカメラなど関連装備の開発及び性能評価に活用することができるという点で非常に重要な技術である。
【０００４】
一方、既存の客観的画質評価システムにおいて、画質評価装置は、画質評価を行なうにあたってビデオコーデックと独立して動作するのが一般的であった。例えば、既存の画質評価システムでは、基準画像及び劣化した動画像を画質評価装置に提供すると、画質評価装置が劣化した動画像の画質を評価するなどの方法で画質を評価した。
【０００５】
しかし、大部分の場合、ビデオコーデックの符号化器または復号化器は客観的画質評価装置との連動が可能で、ビデオコーデックの符号化器または復号化器が提供できる補助情報を用いれば客観的画質評価方法の性能を向上させることができるが、まだコーデックの情報を画質評価に活用する方法は提示されていない。
【０００６】
本発明は、上記のような従来技術の諸般の短所や問題点を解決するためのものであり、本発明の目的は、ビデオコーデックの符号化器または復号化器が提供できる補助情報を画質評価に活用することで客観的画質評価方法の性能を向上させることができるようにする、コーデック補助情報を用いた動画像画質評価システム及び方法を提供することにある。
【０００７】
本発明の上記目的は、原動画像を入力するための原動画像入力部と、上記入力された原動画像を符号化する符号化部と、上記符号化された動画像データを復号化する復号化部と、上記復号化された動画像データを用いて画質評価を行う画質評価部とからなる動画像送信機を含む動画像画質評価システムであって、上記符号化部は、符号化過程で取得される情報のうち、画質評価のための補助情報を上記画質評価部に伝達し、上記画質評価部は、上記復号化部から入力される復号化された動画像データ、及び上記符号化部から伝達される補助情報を用いて画質評価を行う、コーデック補助情報を用いた動画像画質評価システムにより達成される。
【０００８】
また、本発明の上記目的は、符号化された動画像をネットワークを介して送信する動画像送信機から、上記ネットワークを介して符号化された動画像データを受信する受信データ入力部と、上記受信された符号化された動画像データを復号化して受信動画像を生成する復号化部と、上記復号化された受信動画像を用いて画質を評価する画質評価部とからなる動画像受信機を含む動画像画質評価システムであって、上記復号化部は、復号化過程で取得される情報のうち、画質評価のための補助情報を上記画質評価部に伝達し、上記画質評価部は、上記復号化部から伝達される、上記復号化された動画像及び補助情報を用いて画質評価を行う、コーデック補助情報を用いた動画像画質評価システムにより達成される。
【０００９】
そして、本発明の上記目的は、原動画像入力部と、符号化部と、復号化部と、復号化された動画像データを用いて画質評価を行う画質評価部とからなり、受信側の動画像の画質を評価する動画像送信機における動画像画質評価方法であって、上記原動画像入力部が、上記符号化部に原動画像を入力する第１段階；上記符号化部が、原動画像を符号化して符号化された動画像データを上記復号化部に伝達し、符号化過程で取得される情報のうち画質評価のための補助情報を上記画質評価部に伝達する第２段階；上記復号化部が、上記符号化された動画像データを復号化し、復号化された動画像を上記画質評価部に伝達する第３段階；及び、上記画質評価部が上記復号化された動画像、及び補助情報を用いて画質評価を行う第４段階；を含んでなる、コーデック補助情報を用いた動画像画質評価方法より達成される。
【００１０】
尚、本発明の上記目的は、受信データ入力部と、復号化部と、復号化された受信動画像を用いて画質を評価する画質評価部とからなり、動画像送信機からネットワークを介して符号化された動画像データを受信して画質評価を行う動画像受信機における動画像画質評価方法であって、上記受信データ入力部が、ネットワークを介して受信した符号化された動画像データを上記復号化部に入力する第１段階；上記復号化部が、上記符号化された動画像データを復号化して受信動画像を生成し、復号化過程で取得される情報のうち画質評価のための補助情報を上記受信動画像とともに上記画質評価部へ伝達する第２段階；及び、上記画質評価部が、上記復号化部から伝達される上記復号化された動画像及び補助情報を用いて画質評価を行う第３段階；を含んでなる、コーデック補助情報を用いた動画像画質評価方法により達成される。
【００１１】
一方、本発明においてコーデック補助情報とは、符号化過程または復号化過程で取得される情報のうち画質評価に有用な情報であって、符号化過程の補助情報は、コーデック種類情報（例：ＭＰＥＧ２、ＭＰＥＧ４、Ｈ.２６３、Ｈ.２６４など）、ビットレート（Bit Rate）、１秒当たりのフレーム数（FPS；Frames Per Second）、隣接したブロック間の不連続性を表すブロッキング（Blocking）程度、動き程度（Motion amount）、及び残余誤差情報などを含み、復号化過程の補助情報は、コーデック種類情報、ビットレート（Bit Rate）、１秒当たりのフレーム数（FPS；Frames Per Second）、ブロック位置情報、隣接したブロック間の不連続性を表すブロッキング（Blocking）程度、動き程度（Motion amount）、周波数別の伝送ビット情報、残余誤差情報、伝送エラー情報（ビットエラー情報、パケット損失情報、遅延情報、及びジッタリング（jittering）情報など）を含む。
【実施例】
【００１２】
本発明の上記目的と技術的構成及びそれによる作用効果に関する詳細事項は、添付図面に基づく以下の詳細な説明から更に明確に理解されるであろう。
【００１３】
まず、図１Ａ乃至図１Ｃは、本発明の一実施例による、送信側の動画像画質評価システムの構成図で、送信側で符号化された動画像画質を評価するための動画像送信機を示しており、図１Ａは全基準法を、図１Ｂは無基準法を、図１Ｃは減少基準法を適用したものである。伝送エラーが発生しなければ、受信された動画像の画質は符号化された動画像の画質と同一になる。
【００１４】
まず、図１Ａに示したように、全基準法によって画質評価を行なう本発明の送信機１００は、原動画像入力部１１０、符号化部１２０、復号化部１３０及び画質評価部１４０を含んで成り、画質評価は基準ビデオと処理ビデオを両方とも用いて行なわれる。
【００１５】
上記原動画像入力部１１０は、原動画像(ソースビデオ)を入力するためのものであって、外部装置から動画像の入力を受ける入力装置、又は動画像が予め 保存された所定の保存装置であり得る。
【００１６】
符号化部１２０は、上記原動画像を符号化（圧縮）し、符号化された動画像データを上記復号化部１３０へ提供する。また、本発明では、動画像の画質評価にコーデック情報を用いるために、上記符号化部１２０は符号化過程で取得される情報のうち画質評価に役立つ補助情報を画質評価部１４０へ提供する。
【００１７】
この時、上記補助情報は、コーデック種類情報、ビットレート（Bit Rate）、１秒当たりのフレーム数（FPS；Frames Per Second）、隣接したブロック間の不連続性を表すブロッキング（Blocking）程度、動き程度（Motion amount）、残余誤差情報などであり得る。
【００１８】
以下、上記符号化部１２０の補助情報と画質評価との関係を説明する。
まず、コーデック種類情報によって同じビットレートでも画質は大きく変動するため、コーデック種類に関する情報は画質評価に非常に有用である。また、ビットレートは画質に対する全体的な予測を可能にする情報であり、フレームによって異なって割り当てられるビットレート情報は、局所的に変わる画質を予測する上で緊要な情報になり得る。
【００１９】
また、１秒当たりのフレーム数が低い場合は動きがぎこちなく認知されるため、１秒当たりのフレーム数は画質劣化の重要な要素になる。原動画像のフレーム数より低いフレームで符号化した場合は、符号化されたフレームの時間軸上の位置情報も画質を評価する上で重要な情報になり得るため、このような情報も画質評価部１４０に伝達する。
【００２０】
そして、ブロッキング程度に関する情報は、認知画質劣化の非常に重要な要素であるが、劣化画像からブロッキング程度を計算することは容易ではなく、特に最新コーデックではブロックサイズが可変するためブロック境界を探すのが非常に難しい。しかし、符号化部１２０では、ブロックの位置を正確に把握でき、ブロッキング程度を正確に予測できるため、符号化部１２０が予想ブロッキング程度に関する情報を画質評価部１４０へ伝達することによって正確な画質予測が可能となる。もしデブロッキング（de-blocking）技法が使われるなら、これに関する情報も画質評価部１４０に伝達する。
【００２１】
また、各動画像が同じビットレートを有していても、動画像の内容によって、符号化された動画像の画質には大きな差が生じるようになる。即ち、動きの小さい動画像は、低いビットレートでも比較的良い画質を提供するが、高いビットレートでも動きの大きい動画像の場合は、動き程度が画質低下の原因になる。従って、このような動き程度に関する情報も画質評価部１４０に伝達する。
【００２２】
そして、符号化部１２０では、符号化の後、各ブロックの残余誤差に関する正確な情報を取得することができ、各周波数の領域別誤差を計算することができる。このような情報は、低ビットレートでブロッキング程度を予測するか、高ビットレートで微細な誤差を予測するのに非常に有用であるため、符号化部１２０は周波数別の残余誤差を含む残余誤差に関する情報を画質評価部１４０へ伝達する。
【００２３】
次に、復号化部１３０は、ネットワークを介して送信機１００から符号化された動画像データを受信する受信側の動画像画質を評価するために、上記符号化された動画像データを再度復号化し、符号化された動画像データを受信する受信機により復号化過程を通して獲得される動画像を出力する。
【００２４】
画質評価部１４０は、上記復号化部１３０から受信した動画像、原動画像入力部１１０から入力された原動画像、及び上記符号化部１２０から伝達された様々な補助情報を用いて受信側の動画像画質を予測する。
【００２５】
一方、本発明において画質評価部１４０は、全基準法(Full-Reference)、減少基準法 (Reduced-Reference)、無基準法（No-Reference）など多様な方法により画質を評価でき、画質評価方法によって送信機１００は一部構成要素を更に含むこともある。
【００２６】
即ち、無基準法を適用する場合、図１Ｂのように、画質評価部１４０は原動画像入力部１１０から原動画像の入力を受けない。従って、図１Ｂにおける画質評価部１４０は、基準ビデオに関する何の情報も無しに、復号化による処理ビデオだけで画質評価を行う。このような方法はＭＰＥＧ−２ ＴＳ（moving picture experts group 2, transport stream）に含まれたビット列を分析してビデオ画質を推定するのに使われている。
【００２７】
また、減少基準法を適用する場合、図１Ｃのように、送信機１００は特徴抽出部１５０を更に含み、画質評価部１４０は、原動画像入力部１１０から直接原動画像の入力を受けずに、特徴抽出部１５０から、原動画像より抽出されたパラメータだけを受信してパラメータの比較により画質を評価する。
【００２８】
次に、図２Ａ乃至図２Ｃは、本発明の他の実施例による、受信側の動画像画質評価システムの構成図で、受信側で画質を評価することを可能にする動画像受信機の構成を示しており、図２Ａは無基準法を、図２Ｂは全基準法を、図２Ｃは減少基準法を適用したものである。
【００２９】
まず、図２Ａに示したように、動画像受信機２００は、受信データ入力部２１０、復号化部２２０及び画質評価部２３０を含んで成る。
【００３０】
受信データ入力部２１０は、動画像送信機によって符号化された動画像をネットワークを介して受信し、受信された符号化された動画像データを上記復号化部２２０へ伝達する。
【００３１】
復号化部２２０は、上記受信された符号化された動画像データを復号化して受信動画像を生成し、これを画質評価部２３０へ伝達する。また、本発明においては、復号化過程で取得される情報を画質評価に用いるために、上記復号化部２２０は復号化過程で取得される情報のうち画質評価のための補助情報を上記画質評価部２３０へ伝達する。
【００３２】
この時、補助情報は、コーデック種類情報、ビットレート (Bit Rate)、１秒当たりのフレーム数（FPS；Frames Per Second）、フレームの時間軸上の位置、ブロック位置情報、隣接したブロック間の不連続性を表すブロッキング（Blocking）程度、動き程度（Motion amount）、周波数別の伝送ビット情報、残余誤差情報、及び伝送エラー情報（ビットエラー情報、パケット損失情報、遅延情報、及びジッタリング（jittering）情報など）などである。
【００３３】
以下、上記復号化部２２０の補助情報と画質評価との関係を説明する。
まず、符号化過程と同様に、コーデック種類情報によって同じビットレートでも画質は大きく変動するので、コーデックに関する情報は画質評価に非常に有用である。また、ビットレートは画質に対する全体的な予測を可能にする情報であり、フレームによって異って割り当てられるビットレート情報は、局所的に変わる画質を予測する上で緊要な情報になり得る。
【００３４】
また、１秒当たりのフレーム数が低い場合は動きがぎこちなく認知されるため、１秒当たりのフレーム数は画質劣化の重要な要素になる。原動画像のフレーム数より低いフレームで符号化した場合、符号化されたフレームの時間軸上の位置情報も画質を評価する上で重要な情報になり得るため、このような情報も画質評価部２３０に伝達する。
【００３５】
そして、ブロッキング程度に関する情報は、認知画質劣化の非常に重要な 要素であるが、劣化画像からブロッキング程度を計算することは容易ではなく、特に最新コーデックではブロックサイズが可変するためブロック境界を探すのが非常に難しい。しかし、復号化部２２０では、ブロックの位置を正確に把握でき、ブロッキング程度をより正確に予測できるため、復号化部２２０が予想ブロッキング程度に関する情報をブロック位置情報とともに画質評価部２３０へ伝達することによって正確な画質予測が可能となる。
【００３６】
また、各動画像が同じビットレートを有していても、動画像の内容によって、符号化された動画像の画質には大きな差が生じるようになる。即ち、動きの小さい動画像は、低いビットレートでも比較的良い画質を提供するが、高いビットレートでも動きの大きい動画像の場合は、動き程度が画質低下の原因になる。
【００３７】
そして、復号化部２２０で周波数別の残余誤差を計算するのは、原動画像が提供される時のみ可能である。しかし、基準となる原動画像がなくても、復号化部２２０は周波数別の伝送エネルギーを計算することができ、このような情報を画質評価部２３０へ伝達することで、画質評価性能を向上させることができる。
【００３８】
また、ビットエラー、パケット損失、遅延、ジッタリングなどの伝送エラー情報は画質を評価する上で重要な要素であり、復号化部２２０はこのような伝送エラーに関する情報を画質評価部２３０へ伝達することで正確な画質評価を可能にする。
【００３９】
一方、本発明において画質評価部２３０は、全基準法（Full-Reference）、減少基準法 (Reduced-Reference)、無基準法（No-Reference）等多様な方法により画質を評価することができ、画質評価方法によって受信機２００は一部構成要素を更に含むこともある。
【００４０】
即ち、全基準法を適用する場合、図２Ｂのように、受信機２００は原動画像入力部２４０を更に含み、画質評価部２３０は原動画像入力部２４０から原動画像の入力を受ける。従って、図２Ｂにおける画質評価部２３０は、受信された動画像、及び原動画像を用いて画質評価を行なう。
【００４１】
また、減少基準法を適用する場合、図２Ｃのように、受信機２００は原動画像入力部２４０及び特徴抽出部２５０を更に含み、原動画像入力部２４０は特徴抽出部２５０に原動画像を入力し、特徴抽出部２５０は原動画像から画質評価のためのパラメータを抽出して画質評価部２３０へ伝送する。従って、画質評価部２３０は特徴抽出部２５０から、原動画像より抽出されたパラメータだけを受信して、パラメータの比較により画質を評価する。
【００４２】
図３は、伝送エラーによって、復号化された動画像が誤った時間に再生される例を示した図面である。このような時間軸上の誤りに関する情報を復号化部２２０では比較的容易に抽出でき、このような情報を画質評価部２３０へ伝達することで正確な画質評価を可能にする。
【００４３】
従って、本発明で上記画質評価部２３０は、上記復号化部２２０から伝達される上記復号化された動画像及び多様な補助情報を用いて画質評価を行なう。
【００４４】
図４は、本発明の一実施例による、送信側の動画像画質評価方法を順次に示したフローチャートで、図１Ａの実施例によって送信機で画質を評価する過程を示したものである。
【００４５】
図４に示したように、送信機１００の原動画像入力部１１０は、符号化部１２０及び画質評価部１４０に原動画像を入力する(Ｓ１０１)。
【００４６】
符号化部１２０は、上記原動画像入力部１１０から受信した原動画像を符号化して復号化部１３０へ伝達し(Ｓ１０２)、符号化過程で取得された補助情報を画質評価部１４０へ伝達する(Ｓ１０３)。補助情報に関しては、先に図１を参照しながら説明したので省略する。
【００４７】
次に、上記復号化部１３０は、符号化されたデータを再度復号化して獲得された動画像を画質評価部１４０へ伝送し(Ｓ１０４)、画質評価部１４０は、上記Ｓ１０１段階で入力された原動画像、上記Ｓ１０３段階で受信した補助情報、及び上記Ｓ１０４段階で受信した復号化された動画像を用いて受信側の画質を評価する（Ｓ１０５）。
【００４８】
一方、上記実施例は、図１Ａの全基準法による画質評価過程を示したものであり、図１Ｂのように、無基準法により画質評価を行なう場合は、上記段階Ｓ１０１で原動画像入力部１１０は符号化部１２０にのみ原動画像を入力し、Ｓ１０５段階で上記画質評価部１４０は補助情報、及び復号化された動画像だけを用いて画質評価を行なう。また、図１Ｃのように、減少基準法により画質評価を行なう場合は、上記原動画像入力部１１０は符号化部１２０及び特徴抽出部１５０に原動画像を入力し、上記Ｓ１０５段階で画質評価部１４０は、特徴抽出部１５０から特徴パラメータを受信して、上記補助情報、復号化された動画像、及び特徴パラメータを用いて画質評価を行なう。
【００４９】
次に、図５は本発明の他の実施例による、受信側の動画像画質評価方法を順次に示したフローチャートで、図２Ａの実施例により受信機で画質を評価する過程を示したものである。
【００５０】
図５に示したように、動画像受信機２００の受信データ入力部２１０がネットワークを介して受信した符号化された動画像データを復号化部２２０に入力すると（Ｓ２０１）、復号化部２２０は受信したデータを復号化して、復号化された動画像を画質評価部２３０へ伝達する（Ｓ２０２）。
【００５１】
また、上記復号化部２２０は、復号化過程で取得される情報のうち画質評価のための補助情報を、上記復号化された動画像とともに上記画質評価部２３０へ伝達する（Ｓ２０３）。ここで、補助情報に関しては図２を参照しながら先に説明したので省略する。
【００５２】
画質評価部２３０は、上記復号化部２２０から伝達される上記復号化された動画像及び補助情報を用いて画質評価を行ない（Ｓ２０４）、受信側の画質評価の重要目的のうちのひとつは送信側の画質モニタリングであるため、上記画質評価部２３０は画質評価結果を送信機へ提供することが望ましい。
【００５３】
一方、上記実施例は、図２Ａの無基準法による画質評価過程を示したものであり、図２Ｂのように全基準法により画質評価を行なう場合は、Ｓ２０４段階で上記画質評価部２３０は補助情報、復号化された動画像、及び原動画像入力部２４０から入力される原動画像を用いて画質評価を行なう。また、図２Ｃのように減少基準法により画質評価を行なう場合は、上記Ｓ２０４段階で画質評価部２３０は、特徴抽出部２５０から特徴パラメータを受信して、上記補助情報、復号化された動画像、及び特徴パラメータを用いて画質評価を行なう。
【００５４】
本発明の属する技術分野の当業者は、本発明がその技術的思想や必須的特徴を変更することなく他の具体的形態で実施され得るので、上述の実施例はあらゆる面で例示的なものであって、限定的なものではないことを理解しなければならない。本発明の範囲は、上記詳細な説明よりは、後述の特許請求範囲によって示されており、特許請求範囲の意味及び範囲、並びにその等価概念から導き出される全ての変更または変形された形態が、本発明の範囲に含まれることと解析されなければならない。
【産業上の利用可能性】
【００５５】
従って、本発明のコーデック補助情報を用いた動画像画質評価システム及び方法によれば、ビデオコーデックの符号化器または復号化器が提供できる補助情報を画質評価に活用することで、客観的画質評価性能が向上するという効果がある。
【図面の簡単な説明】
【００５６】
【図１Ａ−Ｃ】本発明の一実施例による、送信側の動画像画質評価システムの構成図である。
【図２Ａ−Ｃ】本発明の他の実施例による、受信側の動画像画質評価システムの構成図である。
【図３】伝送エラーによって復号化された動画像が誤った時間に再生される例を示した図面である。
【図４】本発明の一実施例による、送信側の動画像画質評価方法を順次に示したフローチャートである。
【図５】本発明の他の実施例による、受信側の動画像画質評価方法を順次に示したフローチャートである。
【図１Ａ】
2008543214.tif 000002
【図１Ｂ】
2008543214.tif 000003
【図１Ｃ】
2008543214.tif 000004
【図２Ａ】
2008543214.tif 000005
【図２Ｂ】
2008543214.tif 000006
【図２Ｃ】
2008543214.tif 000007
【図３】
2008543214.tif 000008
【図４】
2008543214.tif 000009
【図５】
2008543214.tif 000010