"劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部と、前記同期/位置整合部から前記基準映像信号及び前記劣化映像信号を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせ、前記輝度及び色情報が合わされた劣化映像を前記同期/位置整合部に戻す輝度/色補正部と、を備えることを特徴とする映像整合装置。劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させ、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム間の対応関係及び画素間の対応関係の整合をとり、フレーム間の対応関係及び画素間の対応関係の整合をとった前記基準影像信号及び前記劣化影像信号を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせることを特徴とする映像整合方法。コンピュータを劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部と、前記同期/位置整合部から前記基準映像信号及び前記劣化映像信号を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせ、前記輝度及び色情報が合わされた劣化映像を前記同期/位置整合部に戻す輝度/色補正部として機能させるための映像整合プログラム。本発明は、上述した従来の技術に鑑み、主観品質の推定において基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、確実にそれらの空間的及び時間的な位置の整合をとることができる映像整合装置を提供することを目的とする。また、上記目的を達成するため、第1の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部と、前記同期/位置整合部から前記基準映像信号及び前記劣化映像信号を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせ、前記輝度及び色情報が合わされた劣化映像を前記同期/位置整合部に戻す輝度/色補正部と、を備える映像整合装置を要旨とする。また、上記目的を達成するため、第2の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させ、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム間の対応関係及び画素間の対応関係の整合をとり、フレーム間の対応関係及び画素間の対応関係の整合をとった前記基準影像信号及び前記劣化影像信号を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせる映像整合方法を要旨とする。また、上記目的を達成するため、第3の態様に係る発明は、コンピュータを劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部と、前記同期/位置整合部から前記基準映像信号及び前記劣化映像信号を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせ、前記輝度及び色情報が合わされた劣化映像を前記同期/位置整合部に戻す輝度/色補正部として機能させるための映像整合プログラムを要旨とする。本発明によれば、主観品質の推定において基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、確実にそれらの空間的及び時間的な位置の整合をとることができる映像整合装置を提供することができる。以下、図面を参照して、本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラムに係る実施の形態を詳細に説明する。なお、第1乃至第3の実施形態は映像品質評価装置、映像品質評価方法及び映像品質評価プログラムの発明に係る実施形態であり、第4の実施形態は映像整合装置、映像整合方法及び映像整合プログラムの発明に係る実施形態である。<第1の実施形態>本発明の映像品質評価装置に係る第1の実施形態の各装置部分を図1を参照して説明する。図1は、本発明の映像品質評価装置に係る第1の実施形態の構成を示すブロック図である。第1の実施形態の映像品質評価装置は、主観品質推定部11、特徴量算出部12、補正情報データベース13、補正計算部14、及び補正部15を少なくとも備えている。主観品質推定部11は、基準映像信号RIと劣化映像信号PIを入力する。基準映像信号RIは劣化する以前の映像信号であり、一方、劣化映像信号PIは、基準映像信号RIが、例えば符号化されたり、ネットワークを経由したりして劣化した映像信号である。次に、主観品質推定部11は、基準映像信号RI及び劣化映像信号PIに関し、物理的特徴量であるそれぞれの映像信号特徴量の差分を計算する。映像信号特徴量には、例えば、映像信号に含まれている映像のあるフレームでの映像状態を示す空間情報SI、及び、映像信号に含まれている映像のあるフレーム間での映像変化を示す時間情報TIがある。これら空間情報SI及び時間情報TIとしては、例えば、ITU-RRecommendationP.910のSubjectiveVideoQualityAssessmentMethodsforMultimediaApplicationsのAppendixAに規定されている、SpatialInformation及びTemporalInformationがある。そして、主観品質推定部11は、計算された映像信号特徴量の差分から劣化映像信号PIの劣化を定量化し、その定量化された劣化に基づいて主観品質を推定する。すなわち、主観品質推定部11は、基準映像信号RIと劣化映像信号PIから劣化映像信号PIの劣化を定量化し、その定量化された劣化に基づいて主観品質を推定する。推定された主観品質は、主観品質推定部11から一次推定主観品質SQとして出力される。一次推定主観品質SQは、例えば、エッジ電力量Eと動き電力量Mによって定まるとすれば、一般的に、次の式1で示される関数で表される。SQ=FM,E1この関数Fは、予め主観評価実験により求めておくものである。また、エッジ電力量Eと動き電力量Mは、米国ANSIが規定する映像品質客観評価尺度ANSIT1.801.03-1996,DigitalTransportofOne-WayVideoSignalsParametersforObjectivePerformanceAssessmentに規定されている。特徴量算出部12は、基準映像信号RIを入力して、この基準映像信号RIに基づいて映像信号特徴量FIを算出する。この映像信号特徴量FIとしても上述したように例えば空間情報SIや時間情報TIがある。特徴量算出部12は、例えば、空間情報SI及び時間情報TIの少なくともいずれかを特定してその特徴量を定量的に算出する。補正情報データベース13は、映像信号特徴量に対応して補正情報を格納している。映像信号特徴量は、上述のように例えば空間情報SIや時間情報TIである。補正情報は、主観品質推定部11の出力である一次推定主観品質SQを補正するための補正式や補正係数である。後に、これら補正情報は図2を参照して詳細に説明する。これらの補正式や補正係数は、予め実験によって決定されて、補正情報データベース13に格納される。映像信号特徴量FIを有する映像に劣化が加わった場合、人間がその映像を見て主観的にどの程度の劣化として感じられるかという特性を予め主観評価実験によって統一的に算出し、この特性に基づいて映像信号特徴量FIに対応する補正式及び補正係数を算出する。すなわち、基準映像信号RIの物理的特徴量とその特徴を持つ映像に劣化が加わった時の主観評価特性とを予め主観評価実験によって統一的に算出し、この算出された物理的特徴量と主観評価特性との対応関係により、基準映像信号RIの映像信号特徴量から主観品質推定部11で導出される一次推定主観品質SQを補正し、精度良く統一的な客観評価値への変換を可能にする。補正計算部14は、特徴量算出部12から映像信号特徴量FIを入力して、この映像信号特徴量FIに対応する補正式及び補正係数を補正情報データベース13から抽出する。すなわち、補正計算部14は、映像信号特徴量FIに対応する補正式及び補正係数を補正情報データベース13で検索し、該当する補正式及び補正係数を補正情報データベース13から抽出する。そして、補正計算部14は、これら補正式及び補正係数を補正情報CIとして出力する。補正部15は、主観品質推定部11から一次推定主観品質SQを入力し、補正計算部14から補正情報CIを入力する。そして、補正部15は、一次推定主観品質SQを補正情報CIに含まれている補正係数を伴う補正式に代入して、補正された一次推定主観品質SQを最終推定主観品質Qとして出力する。最終推定主観品質Qは、劣化映像信号PIの主観品質を定量的に示した一次推定主観品質SQを補正したものである。次に、補正情報データベース13が格納している、映像信号特徴量に対応する補正情報を図2を参照して説明する。図2は、図1の補正情報データベース13に格納されている補正情報を示す図である。図2に示すように、補正情報データベース13では、映像信号特徴量のそれぞれの値に対応して、複数の補正係数がデータベース化されている。図2によると、例えば、基準映像信号RIの映像信号特徴量空間情報SI及び時間情報TIが特徴量算出部12によってSI,TI=75,30と算出された場合、この映像信号特徴量に対応する補正係数はα,β=α2,β2である。実際には、補正計算部14が特徴量算出部12から映像信号特徴量FIを入力し、この映像信号特徴量FIに対応する補正係数を補正情報データベース13のデータベースから補正式と共に抽出する。さらに、映像信号特徴量に応じて補正式も変化する場合は、補正情報データベース13には、補正係数だけでなく、映像信号特徴量に対応した補正式もデータベース化されている。最後に、補正部15が一次推定主観品質SQを補正して出力した最終推定主観品質Qについて図3を参照して説明する。図3は、一次推定主観品質SQに対する補正式による補正後の最終推定主観品質Qと、実測した主観品質と、の関係を示す図である。第1の実施形態では、補正式は、次の式2としている。最終推定主観品質Q=α×一次推定主観品質SQβ2ここで、α及びβは補正係数である。図3は、映像品質評価装置に入力された3種類の入力映像信号に対して計算された3つの補正式によるグラフを示している。横軸は主観品質推定部11の出力である一次推定主観品質SQを示し、縦軸は一次推定主観品質SQに対して人間が入力映像信号による映像を実際に見てその品質を評価する主観評価品質試験によって算出した主観品質を示す。図3中の丸印、四角印、三角印でそれぞれ示したものは、入力映像信号ごとに、一次推定主観品質SQに対する主観品質の評点を示している。一方、3本の線分は、それぞれ3種類の入力映像信号に対応する本実施形態による補正式であり、本実施形態により一次推定主観品質SQは、このように映像ごとに対応した補正式で補正される。このように、第1の実施形態によれば、基準映像の物理的な特徴量からこの映像に対する人間の視覚的な特性を求め、基準映像の特徴量に対する補正情報としてデータベース化し、基準映像と劣化映像の物理的特徴量の差分から導出した推定主観品質に、その補正情報で重みを付けることにより、任意の映像に対して従来法である主観評価法と同等な精度で統一的に主観品質を推定できるようになる。尚、上述の実施形態においては、基準映像信号RIの映像信号特徴量を算出する構成を特徴量算出部12として論理的に別体として設けたが、かかる特徴量算出部12を特別に設けることなく、主観品質推定部11で導かれた基準映像信号RIの映像信号特徴量をそのまま利用してもよい。また、補正計算部14と補正部15とは物理的のみならず論理的にも一体であってもよい。即ち、補正部15が直接、基準映像信号RIの映像信号特徴量を入力すると共に、補正部15がその映像信号特徴量に対応した補正情報を補正情報データベースから入力するようにしてもよい。<第2の実施形態>本発明の映像品質評価装置に係る第2の実施形態の各装置部分を図4を参照して説明する。図4は、本発明の映像品質評価装置に係る第2の実施形態の構成を示すブロック図である。第2の実施形態の映像品質評価装置は、図4に示すように、アライメント情報生成部21、空間特徴量算出部22、時間特徴量算出部23、及び、主観品質推定部24を備えている。アライメント情報生成部21は、基準映像信号RIと劣化映像信号PIを入力して、基準映像信号RIから基準映像フレームを、劣化映像信号PIから劣化映像フレームをそれぞれ受け取り、基準映像フレームと劣化映像フレームの時間的及び空間的なフレームのずれを検出し、これらの時間的及び空間的なフレームのずれに関するアライメント情報を生成する。基準映像フレームと劣化映像フレームが時間的にずれているとは、アライメント情報生成部21がある時刻に受け取った基準映像フレームと劣化映像フレームの映像が時間的にずれていることである。例えば、アライメント情報生成部21がある時刻に基準映像フレームではある映像Aのフレームを受け取り、この時刻に劣化映像フレームではその映像Aのフレームよりも3フレーム前のフレームを受け取った場合には、アライメント情報生成部21は基準映像フレームに対して劣化映像フレームが3フレーム遅れていることを検出し、この情報をアライメント情報として生成する。また、基準映像フレームと劣化映像フレームが空間的にずれているとは、アライメント情報生成部21がある時刻に受け取った映像の空間的位置がずれていることである。例えば、基準映像フレームと劣化映像フレームのフレームが時間的にずれていない場合に、アライメント情報生成部21がある時刻に基準映像フレームでは映像の中心にボールの中心が映っているフレームを受け取り、この時刻に劣化映像フレームでは映像の中心から右に1画素、上に2画素ずれている位置にボールの中心が映っているフレームを受け取った場合には、アライメント情報生成部21は基準映像フレームに対して劣化映像フレームが右に1画素、上に2画素ずれていることを検出し、この情報をアライメント情報として生成する。空間特徴量算出部22は、基準映像信号RIと劣化映像信号PIとアライメント情報を入力して、基準映像フレームと劣化映像フレームとの空間的なずれ及び時間的なずれをなくし、その後、基準映像信号RIと劣化映像信号PIに基づいて空間特徴量を計算する。この第2の実施形態では、この空間特徴量として、以下に詳述するエッジ電力量Ave_EEと水平垂直エッジ量の最小値Min_HVの指標を使用する。エッジ電力量Ave_EE:この指標は、基準映像信号RIと劣化映像信号PIに基づいてフレーム内で輝度値が急激に変化する境界エッジと呼ばれるに発生する劣化例えば、ぼやけ具合を定量化するものである。第2の実施形態では、一例として、Sobelフィルタを使用して画素の輝度値からエッジを強調させることによって、エッジ上の劣化を定量化する。また、ここで定量化するエッジ電力量Ave_EEは、ANSIT1.801.03-1996,DigitalTransportofOne-WayVideoSignalsParametersforObjectivePerformanceAssessmentに規定されている。エッジ電力量Ave_EEは、式3で定量化される。ここで、SIμmμ=inoroutは、式4で与えられる。また、ここで、SIh_μi,j,m、SIv_μi,j,mは、それぞれ第mフレームの位置i,jにおけるSobelフィルタを表しており、それぞれ5式及び6式で与えられる。SIh_μi,j,m={-Yμi-1,j-1,m-2Yμi,j-1,m-Yμi1,j-1,mYμi-1,j1,m2Yμi,j1,mYμi1,j1,m}5SIv_μi,j,m={-Yμi-1,j-1,mYμi1,j-1,m-2Yμi-1,j,m2Yμi1,j,m-Yμi-1,j1,mYμi1,j1,m}6ここで、Yini,j,mは、基準映像フレームの第mフレームの位置i,jにおける画素の輝度値0から255までを表し、Youti,j,mは、劣化映像フレームの第mフレームの位置i,jにおける画素の輝度値0から255までを表している。尚、このエッジ電力量Ave_EEのみで推定した場合の結果を図とともに後述するが、客観評価値はほとんど変わらないにも関わらず主観評価値は大きく変化する映像が存在し、このエッジ電力量Ave_EEのみではこれらの映像に発生する劣化を捉えきれない。水平垂直エッジ量の最小値Min_HV:この指標は、基準映像フレームと比較して、この基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界エッジが水平垂直方向に発生している度合いを定量化するものである。この第2の実施形態では、一例として、フレームの水平/垂直方向の場所に発生した水平垂直エッジ量とそれ以外の方向の場所に発生するエッジ量の比から歪量を捕らえる特徴量Min_HVによって、水平垂直方向にエッジが発生している度合いを定量化する。この度合いは、図5に示したように定数r0=20とΔθ=0.05236によって決まる水平/垂直方向領域に入るドット部分のエッジ量HVとそれ以外の領域に入るエッジ量HVバーとの比を入力映像と劣化映像によって求めるものである。かかる指標を採用した理由は、映像情報はブロック単位で符号化されることが多く、かかる符号化におけるいわゆるブロック歪みを的確に反映させるためである。水平垂直エッジ量の最小値Min_HVは、式7で定量化される。ここで、HVRμmμ=inoroutは、式8で与えられる。また、ここで、式9に示す定義がある。ただし、条件として、式10及び式11を満たしている。SIr-μi,j,m≧rmin>010kII/2-Δθ<SIθ-μi,j,m<kII/2Δθk=0,1,2,311ここで、SIθ-μi,j,m=tan-1[SIv-μi,j,m/SIh-μi,j,m]である。また、式9のPは、図5の影がついている範囲の画素数である。一方、式12に示す定義がある。ただし、条件として、式13及び式14を満たしている。SIr_μi,j,mrmin>013kII/2Δθ<SIθ_μi,j,m<k1II/2-Δθk=0,1,2,314また、式12のPは、式13及び式14を満たす範囲の画素数である。水平垂直エッジ量の最小値Min_HVは、エッジ電力量Ave_EEでは捉えきれなかった劣化、具体的にはブロック歪により新たに生じたエッジを捉える特徴量である。図を参照して後述するが、この指標によりその劣化は敏感に捉えられる。この指標は、ANSIに規定された指標をベースとしているが、式7に示すように、最小値を用いることで新たなエッジの発生分のみを感度良く捉えるよう独自に改良したものである。ところで、時間特徴量算出部23は、基準映像信号RIと劣化映像信号PIとアライメント情報を入力して、基準映像フレームと劣化映像フレームとの空間的なずれ及び時間的なずれをなくし、その後、基準映像信号RIと劣化映像信号PIに基づいて時間特徴量を計算する。この第2の実施形態ではこの時間特徴量として、以下に詳述するTI時間情報値の差分に基づく指標であるブロック平均動き電力量Ave_MEBを使用する。TI値は映像フレーム間の画素の輝度値の差分であり、ITU-RRecommendationP.910に規定されているものである。ブロック平均動き電力量Ave_MEB:この指標は、フレーム内の幾つかの画素の集まりであるブロックごとに基準映像フレームと劣化映像フレームのTI値の差分を導出し、この差分を基準映像フレームのブロックごとのTI値によって正規化を行ったものである。すなわち、ブロック平均動き電力量Ave_MEBは、式15で表される。ここで、TIb_μk,l,mは、式16で表される。ブロック平均動き電力量Ave_MEBは、エッジ電力量Ave_EEでは捉えきれなかった劣化、具体的には領域毎の動きによる劣化の発生を捉える特徴量である。図を参照して後述するが、この指標によりその劣化は敏感に捉えられる。この指標は、領域毎の動きを捉えるためブロック毎のTI値を導出し、さらに基準映像の値で正規化することにより感度良くさせた独自の尺度である。主観品質推定部24は、空間特徴量算出部22で計算された空間特徴量と時間特徴量算出部23で計算された時間特徴量とを入力して、基準映像信号RIに対する劣化映像信号PIの主観品質である主観評価値を推定する。この主観評価値Yは、式17で算出される。Y=αX1βX2γX3δ17ここで、X1=Ave_EE、X2=Min_HV、X3=Ave_MEBである。この主観評価値が最終的に得られる値である。ここで、α,β,γ,δは主観評価実験によって求められた劣化映像に対する主観評価値との関係から、時間特徴量及び空間特徴量に対して主観評価値との対応関係を決定するために予め求めた重み付け係数である。また、α,β,γ,δは、例えば、劣化映像信号PIの信号形式、劣化映像信号PIにより送られてくる劣化映像の情報量サイズ、及び、劣化映像信号の符号化方式に基づいて決定される。したがって、劣化映像信号PIの信号形式、劣化映像信号PIにより送られてくる劣化映像の情報量サイズ、及び、劣化映像信号の符号化方式から予めα,β,γ,δを計算しておくことができる。以上に説明した第2の実施形態の映像品質評価装置によれば、任意の映像に対して統一的に主観品質を推定することができる。この第2の実施形態の映像品質評価装置が従来の映像品質評価装置に対して、どの程度精度が上がるかについては後に図面を参照して詳細に説明する。尚、第2の実施形態で説明した図4に示した映像品質評価装置は、図1に示した映像品質評価装置の主観品質推定部11に組み込まれ、図1に示した映像品質評価装置が使用されることも可能である。すなわち、図4に示した映像品質評価装置が基準映像信号RI及び劣化映像信号PIを入力して、主観品質推定部24が出力した値を一次推定主観品質SQとして補正部15に出力する。補正部15は、補正計算部14から補正情報CIを受け取り、一次推定主観品質SQを入力して最終推定主観品質Qを計算する。<第3の実施形態>本発明の映像品質評価装置に係る第3の実施形態の各装置部分を図6を参照して説明する。図6は、本発明の映像品質評価装置に係る第3の実施形態の構成を示すブロック図である。第3の実施形態の映像品質評価装置は、第2の実施形態の映像品質評価装置と比較して、装置に入力され基準映像信号RIと劣化映像信号PIとがそれぞれ互いに異なるファイル形式から入力される場合であり、さらに、劣化映像信号PIの信号形式、劣化映像信号PIにより送られてくる劣化映像の情報量サイズ、及び、劣化映像信号の符号化方式が未知の場合であることが異なる。したがって、第2の実施形態の映像品質評価装置と同様な部分は同一符号を付して説明を省略する。第3の実施形態の映像品質評価装置は、図6に示すように、フォーマット変換部35、アライメント情報生成部21、空間特徴量算出部22、時間特徴量算出部23、主観品質推定部34、及び、重み付け係数データベース36を備えている。フォーマット変換部35は、基準映像ファイルと劣化映像ファイルを入力して、劣化映像ファイルのファイル形式が基準映像ファイルのファイル形式と異なる場合に、劣化映像ファイルのファイル形式を基準映像ファイルのファイル形式と同様な形式に変換する。より詳細には、例えば、劣化映像ファイルの信号形式、色分布、サイズ、アスペクト比、及び、符号化方式が基準映像ファイルのものと異なる場合に、劣化映像ファイルのファイル形式を基準映像ファイルのファイル形式と同様な形式に変換する。そして、フォーマット変換部35は基準映像ファイルと同じファイル形式に変換された劣化映像ファイルから劣化映像信号PIを出力する。フォーマット変換部35からの劣化映像信号PIはアライメント情報生成部21、空間特徴量算出部22、及び、時間特徴量算出部23に出力される。より具体的には、フォーマット変換部35は、例えば、基準映像がVGAサイズのYUV形式基準映像を想定し、基準映像と劣化映像のカラーフォーマットが異なる場合、劣化映像がRGB形式であればこの映像をRec.IUT-RBT.601STUDIOENCODINGPARAMETERSOFDIGITALTELEVISIONFORSTANDARD4:3ANDWIDE-SCREEN16:9ASPECTRATIOSなどに載っている変換式を用いて変換する。また、フォーマット変換部35が基準映像と劣化映像のサイズやアスペクト比をこれらが同一となるように変換する場合に、単純に整数倍として計算できる場合があるが、それで済まない場合は任意のサイズに変換する必要がある。この場合、公知の方法により任意のサイズへの変換を行う例えば、MuramatsuS.andKiyaH.:′′ScaleFactorofResolutionConversionBasedonOrthogonalTransforms,′′IEICETrans.Fundamentals.,E76-A,7,pp.1150-1153July1993や、松村正吾、貴家仁志、変化符号化された画像に対する任意の有理数倍率の解像度変換法電子情報通信学会論文誌A,Vol.77-A,No.3,pp.369-378,March1994.、参照。また、映像信号が圧縮されている場合、予め非圧縮形式に変換する。さらに、映像符号化や伝送システムの特性や国による規格の違いにより劣化映像の色や明るさの分布が異なることにより、客観評価値にバイアスがかかることを避けるため、基準映像と劣化映像の輝度値などの分布を正規化する。つまり、基準映像と劣化映像の両者に対して、輝度、色差信号、又はRGB値毎に、特定フレームの画素値の分布からその最大値、最小値、平均値、分散のような統計量を導出し、その分布が同じになるよう、例えば平均値のずれた分だけ劣化映像の全画素値をシフトさせることにより、又は基準映像と劣化映像の最小値と最大値の範囲をそろえるため式18に示す変換式で変換することにより、基準映像と劣化映像の分布を正規化する。フォーマット変換部35は、変換された劣化映像信号PIのファイル形式、すなわち基準映像信号RIと同様なファイル形式に関連する情報を主観品質推定部34に出力する。このファイル形式に関連する情報は、例えば、劣化映像ファイルの信号形式、色分布、サイズ、アスペクト比、及び、符号化方式であるが、この第3の実施形態では、劣化映像ファイルの信号形式、サイズ、及び、符号化方式を主観品質推定部34に出力する。重み付け係数データベース36は、劣化映像ファイルの信号形式、サイズ、及び、符号化方式を一組の条件として、この条件を複数格納しており、各条件に対応して重み付け係数α,β,γ,δが予め設定されている。これらの重み付け係数は、主観評価実験によって求められた劣化映像に対する主観評価値との関係から、時間特徴量及び空間特徴量に対して主観評価値との対応関係を予め求めてあるものである。図7は、重み付け係数データベース36が格納している複数の条件及びこれら条件に対応する重み付け係数を示している。主観品質推定部34は、フォーマット変換部35から入力する劣化映像ファイルの信号形式、サイズ、及び、符号化方式に応じて、重み付け係数α,β,γ,δを重み付け係数データベース36から取得することが、第2の実施形態の主観品質推定部24と異なる。他は主観品質推定部24と同様である。尚、図6では、フォーマット変換部35とアライメント情報生成部21が別個に配置されているが、フォーマット変換部35とアライメント情報生成部21が1つの構成部として図6の映像品質評価装置に組み込まれていてもよい。以上に説明した第3の本実施形態によれば、劣化映像ファイルのファイル形式が基準映像ファイルと異なった場合でも劣化映像の主観品質を推定することができる。さらに、劣化映像ファイルの信号形式、サイズ、及び、符号化方式等に関し、多くのパターンに対応することができるため、様々な劣化映像ファイルの主観品質を推定することが可能となる。以下に、第2及び3の実施形態の映像品質評価装置が推定した映像品質評価値の推定精度についての実際の結果を、従来の映像品質評価装置と比較しつつ、図8から図16を参照して説明する。最初に、推定精度の検証及び重み付け係数データベース36に格納する重み付け係数を導出するために用いる主観評価データについて説明する。主観評価データは図8に示すITU-Rで選定されている標準映像図8の映像シーケンス名ITU-RBT.802-1,TestPicturesandSequencesforSubjectiveAssessmentsofDigitalCodecsConveyingSignalsProducedAccordingtoRecommendationITU-RBT.601,1994、及び、ITU-RBT.1201-2,Testmaterialstobeusedinsubjectiveassessment,2001を参照の36種類を基準映像とし、図8に示したように標準映像を映像品質評価値の推定精度を検証するための検証データと予め係数導出に用いるデータである学習データに分ける。推定精度を検証するために用いる主観評価データは、基準映像の特性の偏りによる影響を少なくするように選択される。すなわち、ITU-TP.910ITU-TP.910,SubjectivevideoqualityassessmentmethodsformultimediaapplicationsAug.1996.を参考で示されている空間情報SI、時間情報TIの分布を考慮し、図9の領域Aから領域Dまで同数の映像を選定する。これにより、様々なSI値及びTI値を有する映像を基準映像とすることができる。また、これらの基準映像に対しMPEG4をベースとした符号化劣化を用いて256kbps~8Mbps範囲内で4段階に割り振り劣化映像とした。主観品質評価法は、MPEGのベリフィケーションなどコーデックの性能評価試験でよく使われているDSCQS法ITU-RBT.500-10,MethodologyforthesubjectiveassessmentofthequalityoftelevisionpicturesMarch2000.を参考を用い、被験者数は18歳から40歳までの一般人の男女24名である。映像品質評価装置の目標推定精度は、主観評価における評点のばらつきの程度と同等とすることが適切である。主観評価値のばらつきの程度を片側95信頼区間として導出したところ、全データにおいて7.24であった。そこで、映像品質評価装置の目標推定精度として平均二乗誤差RMSEがこの値を超えないことが目標となる。従来の映像品質評価装置では、一般的に使用される、PSNRPeakSignalNoiseRatio:ピークSN比と、ANSIのパラメータとして知られているエッジ電力量Ave_EEとを用いたものを使用して、学習データに対して推定した結果をそれぞれ図10及び図11に示す。図10がPSNRを使用した場合で、図11がエッジ電力量Ave_EEを使用した場合の推定結果である。図10及び図11によれば、PSNRでのRMSEは9.57で、エッジ電力量Ave_EEでのRMSEは7.47であり、PSNRに比べてエッジ電力量Ave_EEのほうが良好な特性を示すが、RMSEは目標値を超えており推定精度は不十分である。次に、エッジ電力量Ave_EE、水平垂直エッジ量の最小値Min_HV、Ave_MEB全てを用いた第2及び第3の実施形態の映像品質評価装置を使用して、学習データ、検証データに対する推定結果を図12及び図13に示す。図12及び図13によれば、学習データでのRMSEは6.43であり、検証データでのRMSEは6.49であるので、学習データだけではなく、非学習データである検証データに対しても目標とする推定精度を十分クリアしている。したがって、第2及び第3の実施形態の映像品質評価装置は、人間が実際の映像を見てその品質を評価する主観評価品質試験に代えて使用することができる推定精度を持ち、実用的に使えるレベルであることがわかる。また、図14は、エッジ電力量Ave_EEのみによる学習データの一部の推定結果を示す図である。図14に示すように、入力映像[3]、[6]、[7]、[9]において評点の傾きが大きく、客観評価値はほとんど変わらないにも関わらず主観評価値は大きく変化しており、このエッジ電力量Ave_EEのみではこれらの映像に発生する劣化を捉えきれていないことが分かる。また、図15は、水平垂直エッジ量の最小値Min_HVと主観評価値の関係を示す図である。図15に示すように、水平垂直エッジ量の最小値Min_HVによれば、入力映像[3]、[7]において、敏感にその劣化を捉えていることが分かる。また、図16は、ブロック平均動き電力量Ave_MEBと主観評価値の関係を示す図である。図16に示すように、ブロック平均動き電力量Ave_MEBによれば、入力映像[6]、[9]において、敏感にその劣化を捉えていることが分かる。以上のように、本発明の第2及び第3実施形態によれば、映像の物理的な特徴量として、エッジ領域に発生する劣化を捉えるパラメータに加え、精度不足を補う2つの独自パラメータを追加することにより、特定の映像で推定精度を保てる技術を任意の映像に拡張できるようにした。<第4の実施形態>次に、映像整合装置、映像整合方法及び映像整合プログラムの発明に係る実施形態について説明する。図17は、本発明の映像整合装置に係る実施形態の構成を示すブロック図である。第4の実施形態の映像整合装置は、フォーマット変換部41、表示タイミング整合部42、同期/位置整合部43、輝度/色補正部44、及び劣化量導出部45を少なくとも備えている。フォーマット変換部41は、符号化やネットワークでの損失によって劣化した劣化映像信号に含まれるファイル形式を、基準映像信号に含まれる基準映像のファイル形式に合わせる。表示タイミング整合部42は、基準映像信号と劣化映像信号の映像表示のタイミングを合わせる。同期/位置整合部43は、劣化量導出部45から劣化量や同期ずれ情報を取得しつつ、基準映像信号と劣化映像信号の時間空間方向の整合をとる。また、必要に応じて、輝度/色補正部44は、基準映像信号と劣化映像信号の輝度や色分布の違いについて補正を行う。尚、この実施形態においては、基準映像信号及び劣化映像信号には、フレームレート情報又はフレーム表示時刻/取込時刻情報が含まれている。また、必要に応じて、信号フォーマット情報も含まれる。それにより、当該映像整合装置は、基準映像及び劣化映像について、対象フレームとその前後数フレーム分をメモリに蓄積しながら非リアルタイムに処理を進めるものとする。図18は、本発明の映像整合装置の実施形態の動作手順を示すフローチャートである。先ず、フォーマット変換部41は、基準映像と劣化映像の信号形式、サイズ、アスペクト比が異なる場合に、劣化映像の信号形式の変換を行うステップS1。例えば、基準映像のデータ形式が非圧縮のYUV形式であり、劣化映像のデータ形式が非圧縮のRGB形式であれば、劣化映像を、Rec.IUT-RBT.601STUDIOENCODINGPARAMETERSOFDIGITALTELEVISIONFORSTANDARD4:3ANDWIDE-SCREEN16:9ASPECTRATIOSの変換式を用いて変換する。また、フォーマット変換部41は、そもそも劣化映像が圧縮形式の場合は事前に非圧縮形式に変換する。さらに、フォーマット変換部41は、サイズやアスペクト比が異なる場合は、それが同一となるように変換する。ここで、例えば単純に整数倍として計算できる場合があるが、それだけでは不十分の場合は任意のサイズに変換する必要があり、この場合、公知の方法により任意のサイズへの変換を行う例えば、MuramatsuS.andKiyaH.:′′ScaleFactorofResolutionConversionBasedonOrthogonalTransforms,′′IEICETrans.Fundamentals.,E76-A,7,pp.1150-1153July1993や、松村正吾、貴家仁志、変化符号化された画像に対する任意の有理数倍率の解像度変換法電子情報通信学会論文誌A,Vol.77-A,No.3,pp.369-378,March1994.、参照。その後、フォーマット変換部41は、基準映像信号と変換した劣化映像信号を表示タイミング整合部42に渡す。次に、表示タイミング整合部42は、フォーマット変換部41でフォーマット変換された劣化映像信号を基準映像信号の表示タイミングに合わせるため、フレームの補完などの処理を行うステップS2。具体的には、図19のaに示すように劣化映像の表示間隔が基準映像の表示間隔より定常的に長い場合には、表示タイミング整合部42は、図19のaの下段に示すように、全フレームを補完することにより劣化映像に対して映像を補う。また、図19のbに示すように劣化映像の表示間隔が揺らぐ場合には、表示タイミング整合部42は、図19のbの下段に示すように、基準映像と同期しているタイミングで、劣化映像の直前の映像で劣化映像を補う。尚、このとき、劣化映像の直前の映像で補うのではなく、劣化映像のうち時間的に近い映像で補いようにすることもできる。即ち、例えば、図19のbの場合、変換劣化映像の2番目のフレームとしてフレームIが充てられているが、劣化映像のうち時間的に近い映像で補うとするならば、フレームIIが充てられることとなる。さらに、図19のcに示すように基準映像信号自体が一定のフレームレートでない場合は、基準映像信号と劣化映像信号をそれらとは別の正確な時間間隔で表示されるように補完することとする。その後、表示タイミング整合部42は、基準映像信号と劣化映像信号を同期/位置整合部43に渡す。同期/位置整合部43は、1評価開始状態、2同期状態、3フリーズ状態の3つの状態を想定して、その動作を規定している。1先ず、評価開始状態においては、同期/位置整合部43は、時間方向のマクロな整合をとるために、一定時間の基準映像信号と劣化映像信号に対する1フレーム全体やその特定領域の信号の輝度/色差/RGB値の平均値のような特徴量の推移を比較して整合性の最も高くなるフレーム情報を取得し、それによりマクロな時間方向のずれを導出するステップS3。具体的には、図20に示すように特徴量を時間方向にずらして各時系列値の差分が最小、または相互相関係数が最大になる条件から時間方向のずれフレーム差を導出する。また、同期/位置整合部43は、ミクロな時間空間方向の整合をとるために、劣化量導出部45より基準映像において整合がとれた映像の前後数フレームに対して図21に示すように劣化映像を上下左右に画素を動かし、差分値の最小である位置を最も整合がとれたところとして画素位置情報として受け取るステップS4。さらに、同期/位置整合部43は、輝度/色補正を行うために整合がとられた基準映像と劣化映像を輝度/色補正部44に渡す。輝度/色補正部44は、劣化映像の輝度及び色情報の平均値、最小値及び最大値並びにそれらの分布を、基準映像のそれらと整合をとる。例えば、基準映像と劣化映像の輝度分布が異なる場合には、輝度/色補正部44は、基準映像と劣化映像の輝度分布のそれぞれの平均値と分散値に基づき、基準映像と劣化映像の輝度分布に対し線形正規化を施し、その線形正規化を行うための変換式に係る情報を補正情報として同期/位置整合部43に渡す。同期/位置整合部43は、その補正情報を受け取り、受け取った補正情報に基づいて輝度/色補正処理を行うステップS5。以下、2同期状態及び3フリーズ状態における処理として、同期/位置整合部43は、図18に示したステップS6乃至ステップS22の処理を行う。基準映像対象フレーム番号iが基準映像最終フレーム数Nより小さいか、または劣化映像対象フレーム番号jが劣化映像最終フレーム数Mより小さい間は、以下のステップS7乃至ステップS22の処理を行うステップS6。そこで、先ず、F1が1か否か、即ち基準映像と劣化映像とが非同期状態にあるか否かを判断するステップS7。基準映像と劣化映像とが同期状態にある場合はF1=0、ステップS8に移行し、基準映像と劣化映像とが非同期状態にある場合はF1=1、ステップS16に移行する。先ず、基準映像と劣化映像とが同期状態にある場合F1=0について以下説明する。同期/位置整合部43は、前述の評価開始状態で得られた、時間空間方向のずれや、輝度/色情報を補正した劣化映像と、基準映像とを劣化量導出部45に渡す。劣化量導出部45は、劣化映像の対象フレームについて、対応する基準映像のフレームとその前後数フレームを対象にミクロ同期処理を行い図21参照、それにより得られる劣化量を導出すると共に、基準映像と劣化映像各々の1つ前のフレームとの間のフレーム間の差分値を劣化量として導出するステップS8。同期/位置整合部43は、劣化量導出部45により導出されたそれらの劣化量を受け取り、それらの劣化量のうち、フレーム間差分値に基づいて、劣化映像がフリーズ状態か否かを判断するステップS9。即ち、基準映像についての差分値がある値を示しているのに対し、劣化映像のそれが殆ど0を示していれば、同期/位置整合部43は、劣化映像がフリーズ状態であると判断する。劣化映像がフリーズ状態のときは、同期/位置整合部43は、非同期状態F1=1と設定すると共に、フリーズ数を1Count=1としてステップS10、ステップS22に移行する。一方、劣化映像がフリーズ状態ではないときは、次に、同期/位置整合部43は、ステップS8において劣化量導出部45のミクロ同期処理により得られた、劣化映像の対象フレームの劣化量が、最小か否かを判断するステップS11。劣化映像の対象フレームの劣化量が最小であるときは、同期状態F2=0と設定しステップS12、ステップS14に移行する。一方、劣化映像の対象フレームの劣化量が最小でないときは、フレームずれ状態コマ飛び状態、コマ戻り状態等であると判定してステップS13に移行し、劣化量が最小であるフレーム番号をj値に設定し、コマ飛びならF2=1と設定し、それ以外コマ戻り状態等ならF2=2と設定し、そのときのコマフレームのずれ数をCount値に設定する。ステップS14においては、基準映像及び劣化映像を出力すると共にF2値及びCount値を出力する。その後、Count値を0にリセットし、ステップS22に移行する。次に、ステップS7において、基準映像と劣化映像とが非同期状態にあるF1=1と判断された場合について以下説明する。同期/位置整合部43は、ステップS16において、ステップS8と同様、劣化映像の対象フレームについて、対応する基準映像のフレームとその前後数フレームを対象に行われたミクロ同期処理により得られた劣化量を劣化量導出部45から受け取ると共に、基準映像と劣化映像各々の1つ前のフレームとの間のフレーム間の差分値を劣化量として受け取る。同期/位置整合部43は、ステップS9と同様、それらの劣化量のうち、フレーム間差分値に基づいて、劣化映像がフリーズ状態か否かを判断するステップS17。劣化映像がフリーズ状態のときは、同期/位置整合部43は、フリーズ数Count値をインクリメントしてステップS18、ステップS22に移行する。一方、劣化映像がフリーズ状態ではないときは、同期/位置整合部43は、フリーズ状態が終了したと判断し、ステップS3と同様のマクロ時刻同期処理を行い、ステップS19、フリーズ数Count値を出力するステップS20。その後、F1値及びCount値を0にリセットし、ステップS22に移行する。ステップS22においては、基準映像対象フレーム番号i及び劣化映像対象フレーム番号jをインクリメントし、そのi値が基準映像最終フレーム数Nに達し、かつ、そのj値が劣化映像最終フレーム数Mに達した場合には、処理を終了する。尚、常に一定時間、基準映像信号と劣化映像信号について、1フレーム全体または特定領域の信号の輝度/色差/RGB値の平均値のような特徴量を蓄積していることとし、何らかの事情で同期が取れなくなったとき、例えば対象となるフレームにおける特徴量が一定期間の平均値からある閾値3σのように標準偏差の定数倍以上に開きが生じた場合には、1の評価初期状態に入ることとし、ステップS3から処理が再開される。以上が本発明の実施形態における映像整合処理の詳細である。本実施形態によれば、映像のフォーマット変換を行うと共に、マクロな整合処理とミクロな整合処理をベースに同期整合を常時行うことにより、パーソナルコンピュータ端末において映像を受信する際に受け取る映像のサイズやアスペクト比が異なる場合や、パケット損失のようにある程度まとまった情報が損失することにより基準映像と劣化映像の空間的な位置の対応が取れない場合や、更にIPパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングのずれや映像表示タイミングのゆらぎやフリーズという従来存在しなかった現象が生じる場合であっても、基準映像と劣化映像の時間方向と空間方向の整合を適切にとることができる。ところで、本発明の映像整合方法においては、同期/位置整合部43から出力した基準映像と劣化映像とその付属情報時間方向の状態を映像品質評価装置に入力することを想定している例えば、第1の実施形態の映像品質評価装置の主観品質推定部11に入力されるが、劣化量導出部45において劣化量ではなく客観評価値を導出することとし、同期/位置整合部43よりその結果を出力すれば映像品質評価装置として利用するともできる。尚、以上に説明してきた各実施形態において、その処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、この汎用計算機システムを映像品質評価装置及び映像整合装置として機能させることができる。上述の各実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスクフレキシブルディスク、ハードディスクなど、光ディスクCD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RWなど、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、コンピュータが上述した実施形態の映像品質評価装置及び映像整合装置として動作する。尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラムによれば、未知の基準映像であっても、任意の映像に対して精度良く統一的な主観品質を推定することができる。具体的には、本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラムによれば、基準映像の物理的な特徴量からこの映像に対する人間の視覚的な特性を求め、基準映像の特徴量に対する補正情報としてデータベース化し、基準映像と劣化映像の物理的特徴量の差分から導出した推定主観品質に、その補正情報で重みを付けることにより、任意の映像に対して従来法である主観評価法と同等な精度で統一的に主観品質を導出できるようになる。また、映像の物理的な特徴量として、エッジ領域に発生する劣化を捉えるパラメータに加え、精度不足を補う2つの独自パラメータを追加することにより、特定の映像で推定精度を保てる技術を任意の映像に拡張できるようにした。本発明の映像整合装置、映像整合方法及び映像整合プログラムによれば、主観品質の推定において基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、確実にそれらの空間的及び時間的な位置の整合をとることができる。具体的には、映像のフォーマット変換を行うと共に、マクロな整合処理とミクロな整合処理をベースに同期整合を常時行うことにより、パーソナルコンピュータ端末において映像を受信する際に受け取る映像のサイズやアスペクト比が異なる場合や、パケット損失のようにある程度まとまった情報が損失することにより基準映像と劣化映像の空間的な位置の対応が取れない場合や、更にIPパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングのずれや映像表示タイミングのゆらぎやフリーズという従来存在しなかった現象が生じる場合であっても、基準映像と劣化映像の時間方向と空間方向の整合を適切にとることができる。したがって、かかる映像整合装置及び方法を前提とした映像品質評価装置及び方法によれば、上述の各場合でも映像品質客観評価が可能となったり、その精度を向上させることができる。"