(57)【特許請求の範囲】
【請求項１】
第１の映像信号と、前記第１の映像信号の映像品質が変化した第２の映像信号とのそれぞれの特徴量を導出する導出部と、
前記第１の映像信号の特徴量に基づいて、前記第１の映像信号を、少なくとも映像の時間的変化の大きさに基づいて区分される複数の類型のうちのいずれかの類型に分類する分類部と、
前記第１の映像信号が分類された類型に対応する、前記第１の映像信号及び前記第２の映像信号のそれぞれの特徴量に基づいて、前記第１の映像信号と前記第２の映像信号との時間的な位置のずれ量を算出する整合部と、
を有することを特徴とする映像整合装置。
【請求項２】
前記導出部は、前記第１の映像信号及び前記第２の映像信号のそれぞれのフレームごとの時間情報量を導出し、
前記分類部は、前記第１の映像信号のフレームごとの時間情報量と、第１の閾値とを比較して、前記第１の映像信号を分類し、
前記整合部は、前記第１の映像信号のフレームごとの時間情報量が前記第１の閾値よりも大きい場合には、前記第１の映像信号のフレームと、前記第２の映像信号のフレームとの時間的な位置のずれ量を算出する、
ことを特徴とする請求項１記載の映像整合装置。
【請求項３】
前記導出部は、更に、前記第１の映像信号及び前記第２の映像信号のそれぞれのフレームごとの空間情報量を導出し、
前記整合部は、前記第１の映像信号のフレームごとの時間情報量が前記第１の閾値以下である場合には、前記第１の映像信号のフレームごとの空間情報量と前記第２の映像信号のフレームごとの空間情報量との相互相関係数を導出し、前記相互相関係数に係るフレームの時間的な位置のずれ量を導出する、
ことを特徴とする請求項２記載の映像整合装置。
【請求項４】
前記分類部は、前記第１の映像信号のフレームごとの時間情報量が前記第１の閾値以下である場合には、前記第１の映像信号のフレームごとの空間情報量の最大値と、第２の閾値とを比較して、前記第１の映像信号を分類し、
前記整合部は、前記第１の映像信号のフレームごとの時間情報量が前記第１の閾値以下である場合には、前記分類部による前記第１の映像信号の分類結果に応じて、前記相互相関係数の導出に用いるフレームの数を変更する、
ことを特徴とする請求項３記載の映像整合装置。
【請求項５】
前記導出部は、前記第１の映像信号について、１つの符号化ビットレートで符号化したときの符号化難易度を導出し、
前記分類部は、前記第１の映像信号のフレームごとの時間情報量が前記第１の閾値以下である場合には、前記第１の映像信号の符号化難易度を、第３の閾値と比較して、前記第１の映像信号を分類し、
前記整合部は、前記第１の映像信号のフレームごとの時間情報量が前記第１の閾値以下である場合には、前記分類部による前記第１の映像信号の分類結果に応じて、前記相互相関係数の導出に用いるフレームの数を変更する、
ことを特徴とする請求項３記載の映像整合装置。
【請求項６】
前記導出部は、前記第１の映像信号について、複数の符号化ビットレートで符号化したときのそれぞれの符号化難易度を導出し、
前記分類部は、前記第１の映像信号のフレームごとの時間情報量が前記第１の閾値以下である場合には、複数の符号化ビットレートで符号化したときのそれぞれの符号化難易度の特性に基づいて、前記第１の映像信号を分類し、
前記整合部は、前記第１の映像信号のフレームごとの時間情報量が前記第１の閾値以下である場合には、前記分類部による前記第１の映像信号の分類結果に応じて、前記相互相関係数の導出に用いるフレームの数を変更する、
ことを特徴とする請求項３記載の映像整合装置。
【請求項７】
コンピュータが、
第１の映像信号と、前記第１の映像信号の映像品質が変化した第２の映像信号とのそれぞれの特徴量を導出する導出手順と、
前記第１の映像信号の特徴量に基づいて、前記第１の映像信号を、少なくとも映像の時間的変化の大きさに基づいて区分される複数の類型のうちのいずれかの類型に分類する分類手順と、
前記第１の映像信号が分類された類型に対応する、前記第１の映像信号及び前記第２の映像信号のそれぞれの特徴量に基づいて、前記第１の映像信号と前記第２の映像信号との時間的な位置のずれ量を算出する整合手順と、
を実行することを特徴とする映像整合方法。
【請求項８】
コンピュータを、請求項１乃至６いずれか一項記載の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像整合装置、映像整合方法、及びプログラムに関する。
【背景技術】
【０００２】
良好な品質で映像サービスを提供していることを確認するためには、サービス提供前又は提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質が良好であることを確認・監視することが重要である。そこで、ユーザが体感する映像品質を適切に評価できる映像品質評価技術が必要である。
【０００３】
映像品質を評価する手法には、主観評価法（例えば、非特許文献１参照）と、客観評価法（例えば、非特許文献２参照）とが存在する。主観評価法は、評価環境（室内照度や室内騒音など）が再現可能な施設において、多数のユーザに映像を評価してもらう必要がある。そのため、高コストになると共に評価に時間を要するため、品質をリアルタイムに評価する用途には向かない。そこで、映像信号から物理的な特徴量を導出して、映像品質評価値を出力する、映像品質の客観評価法の開発が進められている（例えば、非特許文献２参照）。
【０００４】
非特許文献２には、基準映像信号と、基準映像信号を符号化やネットワーク伝送したことで劣化した劣化映像信号との物理的特徴量を比較することで、映像品質を推定する客観評価法が記述されている。このような方法では、基準映像信号と劣化映像信号との空間的及び時間的な位置が整合している必要がある。つまり、基準映像信号と劣化映像信号との間で、時間方向のずれや空間位置のずれが整合している必要がある。特許文献１では、インターネットでの映像配信を考慮し、パケット到着間隔のゆらぎやパケット損失の発生による、基準映像信号と劣化映像信号との同期がずれた際の空間的及び時間的な位置の整合手法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５３４７０１２号公報
【非特許文献】
【０００６】
【非特許文献１】ITU-T勧告P.910 "Subjective video quality assessment methods for multimedia applications"
【非特許文献２】ITU-T勧告J.247 "Objective perceptual multimedia video quality measurement in the presence of a full reference"
【非特許文献３】次世代放送推進フォーラムの事業概要http://www.nextv-f.jp/pdf/press20130617-2.pdf
【非特許文献４】ARIB STD-B56  1.1版、［online］、［平成27年6月9日検索］、インターネット（URL:http://www.arib.or.jp/english/html/overview/doc/2-STD-B56v1_1.pdf）
【非特許文献５】THE  世界遺産4K、［online］、［平成27年6月9日検索］、インターネット（URL:http://www.bs-tbs.co.jp/sekaiisan4ksetsumei/）
【非特許文献６】ひかりTV 4K、［online］、［平成27年6月9日検索］、インターネット（URL:http://www.hikaritv.net/4k/）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一方、近年、従来のフルＨＤ映像よりも高解像度な４Ｋ／８Ｋ映像サービスが注目されている（例えば、非特許文献３参照）。４Ｋ／８Ｋ映像サービスでは、フレームレートが従来の３０ｆｐｓから、６０ｆｐｓ又は１２０ｆｐｓへと高くなり（例えば、非特許文献４参照）、フレーム前後での輝度値の変化が小さくなっている。また、４Ｋ／８Ｋ映像サービスでは、高解像度を強調するため、静止画のように映像の動きの少ない番組制作が進んでいる（例えば、非特許文献５及び６参照）。
【０００８】
そのため、特許文献１のような従来技術で対象としているパケットゆらぎやパケット損失の現象とは異なり、フレーム前後の輝度値の変化が小さく、時間的な変化が小さいため、時間的な位置の整合がとりにくいという課題が生じている。
【０００９】
本発明は、上記の点に鑑みてなされたものであって、時間的な変化の小さい映像信号についても劣化映像信号との時間的な位置の整合の精度を高めることを目的とする。
【課題を解決するための手段】
【００１０】
そこで上記課題を解決するため、映像整合装置は、第１の映像信号と、前記第１の映像信号の映像品質が変化した第２の映像信号とのそれぞれの特徴量を導出する導出部と、前記第１の映像信号の特徴量に基づいて、前記第１の映像信号を、少なくとも映像の時間的変化の大きさに基づいて区分される複数の類型のうちのいずれかの類型に分類する分類部と、前記第１の映像信号が分類された類型に対応する、前記第１の映像信号及び前記第２の映像信号のそれぞれの特徴量に基づいて、前記第１の映像信号と前記第２の映像信号との時間的な位置のずれ量を算出する整合部と、を有する。
【発明の効果】
【００１１】
時間的な変化の小さい映像信号についても劣化映像信号との時間的な位置の整合の精度を高めることができる。従って、４Ｋ／８Ｋ映像サービスにおいても、正確に映像品質を推定する客観評価法が実施可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態における映像整合装置のハードウェア構成例を示す図である。
【図２】本発明の実施の形態における映像整合装置の機能構成例を示す図である。
【図３】Ａ群又はそれ以外への第１の分類方法を説明するための図である。
【図４】Ａ群又はそれ以外への第２の分類方法を説明するための図である。
【図５】Ｂ群又はＣ群への第１の分類方法を説明するための図である。
【図６】Ｂ群又はＣ群への第２の分類方法を説明するための図である。
【図７】Ｂ群又はＣ群への第３の分類方法を説明するための図である。
【図８】Ａ群のフレームずれ量τの算出方法を説明するための図である。
【図９】整合基準映像信号R2と整合劣化映像信号P2とを示す図である。
【図１０】Ｂ群及びＣ群のフレームずれ量τの算出方法を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における映像整合装置のハードウェア構成例を示す図である。図１の映像整合装置１０は、それぞれバスで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
【００１４】
映像整合装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００１５】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って映像整合装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
【００１６】
図２は、本発明の実施の形態における映像整合装置の機能構成例を示す図である。図２において、映像整合装置１０は、映像特徴量導出部１１、映像分類部１２、及び映像整合部１３等を有する。これら各部は、映像整合装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。映像整合装置１０は、また、映像分類情報記憶部１４を利用する。映像分類情報記憶部１４は、例えば、補助記憶装置１０２、又は映像整合装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
【００１７】
映像整合装置１０に対する入力データは、基準映像信号R1及び劣化映像信号P1である。劣化映像信号P1は、基準映像信号R1が符号化やネットワーク伝送等を経ることにより、その映像品質が劣化した映像信号をいう。映像整合装置１０は、例えば、符号化やネットワーク伝送等により劣化した映像信号の品質を評価する際に用いられ、基準映像信号R1と評価対象の映像信号である劣化映像信号P1との時間的な位置の整合をとる際に用いられる。
【００１８】
映像特徴量導出部１１は、入力される基準映像信号R1と劣化映像信号P1とのそれぞれについて、特徴量を導出する。具体的には、非特許文献１に示されているITU-TP.910において規定されている空間情報量（SI:Spatialperceptualinformation）、時間情報量（TI:Temporalperceptualinformation）、及び符号化難易度を表すPSNR（PeakSignal-to-NoiseRatio）が導出される。空間情報量及び時間情報量は、入力された各映像信号のフレームごとに導出される。以下、基準映像信号R1から導出された空間情報量を、SI_R1(k)(k=1,2,…,r)と表記し、基準映像信号R1から導出された時間情報量を、TI_R1(k)(k=1,2,…,r)と表記する。また、劣化映像信号P1から導出された空間情報量を、SI_P1(k)(k=1,2,…,p)と表記し、劣化映像信号P1から導出された時間情報量を、TI_P1(k)(k=1,2,…,p)と表記する。
【００１９】
ここで、rは、基準映像信号R1のフレーム数、pは、劣化映像信号P1のフレーム数である。基準映像信号R1のフレーム数と、劣化映像信号P1のフレーム数とが、必ずしも同一ではないのは、符号化やネットワーク伝送等を経ることによりフレームが欠落したり、ノイズ等によってフレームが増加したりする可能性が有るからである。
【００２０】
PSNRは、基準映像信号R1をn種の符号化ビットレートBR(l)(1≦l≦n)で符号化した映像と基準映像信号R1とを比較して導出される。導出された結果は、PSNR_R1(l)(1≦l≦n)と表記される。なお、PSNR_R1(l)(1≦l≦n)は、ある符号化ビットレートBR(l)で基準映像信号R1を符号化した際のrフレーム分の平均PSNRである。また、符号化の際に用いられるコーデックは、PSNR_R1(l)(1≦l≦n)と、映像分類情報記憶部１４に記憶されている符号化難易度分類図（図７）との比較を可能とするため、符号化難易度分類図を作成する際に用いられたコーデックと同じであることが望ましい。例えば、コーデックには、国際標準化で検討されている標準ソフトウェアが用いられてもよい。
【００２１】
映像分類部１２は、映像特徴量導出部１１から出力された基準映像信号R1の空間情報量（SI_R1）、時間情報量（TI_R1）、又は符号化難易度（PSNR_R1）と、映像分類情報記憶部１４に記憶されている各種の閾値等とを比較して、基準映像信号R1を３つの類型のいずれかの類型に分類し、映像分類結果Xを出力する。具体的には、まず、映像分類部１２は、時間情報量TI値に基づいて、基準映像信号R1が、大きな時間的な変化を含む映像群の類型（Ａ群）とそうでない映像群の類型とに分類される。映像分類部１２は、基準映像信号R1が、Ａ群には該当しない場合、空間情報量SI値及び符号化難易度を示すPSNRに基づいて、基準映像信号R1を、複雑な映像群の類型（Ｂ群）、又はそうでない映像群の類型（Ｃ群）とのいずれかに分類する。
【００２２】
ここで、Ａ群は、大きな時間的な変化を含む映像群である。具体的には、シーンチェンジを含む映像が、Ａ群に含まれる。Ｂ群は、大きな時間的な変化を含まず、フレーム内の画素値分布が広く、複雑な映像群である。具体的には、Ｂ群は、シーンチェンジは含まないが、フレーム内に様々な輝度のオブジェクトが存在している複雑な映像で、例えば、動きの少ない風景を背景に、動きのある人物やオブジェクトが混在しているような映像である。Ｃ群は、大きな時間的な変化を含まず、フレーム内の画素値分布が狭い映像群である。具体的には、Ｃ群は、シーンチェンジを含まない森林や青空の映像のように、ほとんど動きのないオブジェクトのみが存在している映像である。なお、映像を分類する理由は、映像整合部１３において、より少ない計算量で、基準映像信号R1と劣化映像信号P1とのフレームずれ量τを導出するためである。
【００２３】
映像分類情報記憶部１４には、基準映像信号R1の分類に用いられる情報が記憶されている。例えば、映像分類情報記憶部１４には、閾値Th_TI、閾値Th_SI、閾値Th_PSNR(m)、符号化難易度分類図、及び閾値Th_std_PSNR等が記憶されている。閾値Th_TIは、Ａ群とＡ群以外とを分類するための、基準映像信号R1のTI値に対する閾値である。閾値Th_SI、閾値Th_PSNR(m)、符号化難易度分類図、及び閾値Th_std_PSNRは、Ｂ群とＣ群とを分類するための、基準映像信号R1のSI値又はPSNRに対する閾値等である。
【００２４】
映像整合部１３は、映像分類部１２から出力される映像分類結果Xに応じた方法で、基準映像信号R1の特徴量と劣化映像信号P1の特徴量とに基づいてフレームずれ量τを算出する。
【００２５】
以下、映像分類部１２及び映像整合部１３が実行する処理手順について更に詳しく説明する。図３は、Ａ群又はそれ以外への第１の分類方法を説明するための図である。
【００２６】
ステップＳ１０１において、映像分類部１２は、基準映像信号R1のTI値（TI_R1(k)(k=1,2,…,r)）の最大値（max(TI_R1)）が、映像分類情報記憶部１４に記憶されている閾値Th_TIを超えるか否かを判定する。
【００２７】
max(TI_R1)が、閾値Th_TIを超える場合（ステップＳ１０１でＹｅｓ）、映像分類部１２は、基準映像信号R1をＡ群に分類する（ステップＳ１０２）。ここで、max(TI_R1)が、Th_TIよりも大きいことは、シーンチェンジを含むことを意味し、TI値が最大となる時間（t_TI_max_R1）に基づいて、容易に基準映像信号R1と劣化映像信号P1との時間的な位置の整合をとることができる。
【００２８】
一方、max(TI_R1)が、閾値Th_TI以下である場合（ステップＳ１０１でＮｏ）、映像分類部１２は、基準映像信号R1をＢ群又はＣ群に分類するための処理を実行する（ステップＳ１０３）。
【００２９】
なお、max(TI_R1)を利用するのではなく、図４に示されるように、基準映像信号R1のTI値（TI_R1(k)(k=1,2,…,r)）の微分値（TI_R1'）を導出し、TI_R1'の最大値max(TI_R1')が、映像分類情報記憶部１４に記憶されている閾値（Th_TI'）を超えるか否かによって、基準映像信号R1が、Ａ群又はそれ以外に分類されてもよい。ここで、TI値の微分値が大きいことは、シーンチェンジのタイミングであることを意味する。
【００３０】
続いて、ステップＳ１０３（Ｂ群又はＣ群への分類処理）の詳細について説明する。ステップＳ１０３では、基準映像信号R1のSI値又はPSNRに基づいて、基準映像信号R1がＢ群又はＣ群に分類される。SI値及びPSNRに基づいてＢ群又はＣ群に分類する理由は、SI値が大きいことはフレーム内の画素値分布が広く、様々なオブジェクトが存在する複雑な映像であることを意味するためであり、PSNRが小さいことは、符号化が困難な複雑な映像であることを意味するためである。
【００３１】
ここでは、第１の方法から第３の方法の３種類の分類方法について述べる。第１の方法は、基準映像信号R1のSI値（SI_R1(k)(k=1,2,…,r)）の最大値（max(SI_R1)）に基づいて、基準映像信号R1をＢ群又はＣ群に分類する方法である。図５は、Ｂ群又はＣ群への第１の分類方法を説明するための図である。
【００３２】
ステップＳ２０１において、映像分類部１２は、基準映像信号R1のSI値（SI_R1(k)(k=1,2,…,r))の最大値（max(SI_R1)）が、映像分類情報記憶部１４に記憶されている閾値Th_SIを超えるか否かを判定する。max(SI_R1)が、閾値Th_SIを超える場合（ステップＳ２０２でＹｅｓ）、映像分類部１２は、基準映像信号R1をＢ群に分類する（ステップＳ２０２）。ここで、SI値が大きいことはフレーム内の画素値分布が広く、様々なオブジェクトが存在する複雑な映像であることを意味する。
【００３３】
一方、max(SI_R1)が、閾値Th_SI以下である場合（ステップＳ２０２でＮｏ）、映像分類部１２は、基準映像信号R1をＣ群に分類する（ステップＳ２０３）。
【００３４】
続いて、第２の方法について述べる。第２の方法は、基準映像信号R1を１つの符号化ビットレート（BR(m)）で符号化したときのPSNR（PSNR_R1(m)）に基づいて、基準映像信号R1をＢ群又はＣ群に分類する方法である。図６は、Ｂ群又はＣ群への第２の分類方法を説明するための図である。
【００３５】
ステップＳ３０１において、映像分類部１２は、基準映像信号R1を１つの符号化ビットレートBR(m)で符号化したときのPSNR（PSNR_R1(m)）が、映像分類情報記憶部１４に記憶されている閾値Th_PSNR(m)未満であるか否かを判定する。PSNR_R1(m)が、閾値Th_PSNR(m)未満である場合（ステップＳ３０１でＹｅｓ）、映像分類部１２は、基準映像信号R1をＢ群に分類する（ステップＳ３０２）。ここで、PSNR_R1(m)が、閾値Th_PSNR(m)未満であることは、符号化が難しい、複雑な映像であることを意味する。
【００３６】
一方、PSNR_R1(m)が、閾値Th_PSNR(m)以上である場合（ステップＳ３０１でＮｏ）、映像分類部１２は、基準映像信号R1をＣ群に分類する（ステップＳ３０３）。
【００３７】
続いて、第３の方法について述べる。第３の方法は、基準映像信号R1をn個の符号化ビットレートで符号化したときの各PSNR（PSNR_R1(l)）の特性に基づいて、基準映像信号R1をＢ群又はＣ群に分類する方法である。図７は、Ｂ群又はＣ群への第３の分類方法を説明するための図である。
【００３８】
映像分類部１２は、基準映像信号R1をn個の符号化ビットレートで符号化したときのPSNR（PSNR_R1(l)）を用いて、映像分類情報記憶部１４に記憶されている符号化難易度分類図（図７）に基づいて、特性の近い方の群に分類する。Ｂ群は、符号化によるPSNRの変化が大きい映像群で、符号化が難しい複雑な映像群である。一方、Ｃ群は、符号化によるPSNRの変化が小さい映像群で、符号化が容易な映像群である。なお、符号化難易度分類図（図７）よれば、Ｂ群に属する映像のPSNRは、符号化ビットレートに応じた変化が大きく、Ｃ群に属する映像のPSNRは、符号化ビットレートに応じた変化が小さいことが分かる。これより、以下の（１）式を用いて算出したPSNRの標準偏差（std_PSNR_R1）に基づいて、PSNRの標準偏差（std_PSNR_R1）が閾値Th_std_PSNRを超える場合には、基準映像信号R1がＢ群に分類され、PSNRの標準偏差（std_PSNR_R1）が閾値Th_std_PSNR以下である場合は、基準映像信号R1がＣ群に分類されてもよい。
【００３９】
【数１】
0006431449.tif 000002
次に、映像整合部１３が実行する処理について説明する。まず、Ａ群に関してフレームずれ量τを算出する方法を述べる。図８は、Ａ群のフレームずれ量τの算出方法を説明するための図である。
【００４０】
Ａ群に属する映像は、シーンチェンジを含むため、映像整合部１３は、シーンチェンジのタイミングで、基準映像信号R1と劣化映像信号P1との時間的な位置の整合をとる。具体的には、映像整合部１３は、基準映像信号R1と劣化映像信号P1とのそれぞれのTI値（TI_R1(k)(k=1,2,…,r）、TI_P1(k)(k=1,2,…,p)）が最大となるフレーム（t_TImax_R1、t_TImax_P1）を導出する。映像整合部１３は、t_TImax_R1、t_TImax_P1より、基準映像信号R1と劣化映像信号P1とのフレームずれ量τを、以下の（２）式により算出する。
【００４１】
τ＝t_TImax_R1−t_TImax_P1        （２）
これより、劣化映像信号P1と基準映像信号R1とは、τフレームずれていることが分かる。なお、TI_R1、TI_P1の微分値が最大となるタイミングからフレームずれ量τが算出されてよい。
【００４２】
τ＞０の場合には、劣化映像信号P1が基準映像信号R1よりも、τフレーム進んでいることを意味するので、映像整合部１３は、図９に示されるように、劣化映像信号P1の最初からτフレームを除外した整合劣化映像信号P2と、基準映像信号R1の最後からτフレームを除外した整合基準映像信号R2とを出力する。
【００４３】
τ＜０の場合には、基準映像信号R1が劣化映像信号P1よりも、τフレーム進んでいることを意味するので、映像整合部１３は、基準映像信号R1の最初からτフレームを除外した整合基準映像信号R2と、劣化映像信号P1の最後からτフレームを除外した整合劣化映像信号P2とを出力する。
【００４４】
次に、Ｂ群及びＣ群に関して、フレームずれ量τを算出する方法を述べる。４Ｋ／８Ｋ映像といった高解像度化及び高精細化とともに、フレームレートの向上が図られている。フレームレートが向上すると、フレーム間の変化が小さくなるため、TI値の変化は小さくなる。しかし、フレーム間の変化は小さくても静止画ではないため、フレーム内での輝度値は変化する。そこで、映像整合部１３は、SI値に基づいて、基準映像信号R1と劣化映像信号P1のフレームずれ量τを導出する。
【００４５】
図１０は、Ｂ群及びＣ群のフレームずれ量τの算出方法を説明するための図である。図１０に示されるように、映像整合部１３は、基準映像信号R1のSI値（SI_R1(k)(k=1,2,…,r)）と、劣化映像信号P1のSI値（SI_P1(k=1,2,…,p)）との相互相関係数を導出し、相互相関係数が最大となるフレームずれ量τを導出する。
【００４６】
なお、Ｂ群とＣ群とでは、映像の複雑さが異なることを考慮し、Ｂ群とＣ群とでは相互相関係数を導出する際の対象とするフレーム数が変更される。具体的には、Ｂ群に関して分析対象とするフレーム数をFrame_B、Ｃ群に関して分析対象とするフレーム数をFrame_Cとすると、Frame_B＜Frame_Cとする。なお、Frame_Cは、基準映像信号R1のフレーム数及び劣化映像信号P1のフレーム数のうち、少ない方のフレーム数に一致した値とされる。
【００４７】
このように、Ｂ群とＣ群とで相互相関係数を導出する際のフレーム数を変える理由は、Ｂ群の方がＣ群よりもSI値の変化が大きく、少ないフレーム数であっても、相互相関係数によってフレームずれ量τを算出可能なためである。Ｃ群のSI値は変化が小さいため、短い時間では変化をとらえることが困難であるが、ある程度の時間幅をもって相互相関係数を求めることで、わずかな変化をとらえることが可能となり、基準映像信号R1と劣化映像信号P1とのフレームずれ量τを導出することが可能となる。なお、Ｂ群に関しても、分析対象とするフレーム数をFrame_Cとすることが可能だが、より少ないフレーム数のFrame_Bを用いることで、計算量の削減が実現できる。
【００４８】
相互相関係数より導出した基準映像信号R1と劣化映像信号P1とのフレームずれ量τに関して、τ＞０の場合には、劣化映像信号P1が基準映像信号R1よりも、τフレーム進んでいることを意味するので、映像整合部１３は、劣化映像信号P1の最初からτフレームを除外した整合劣化映像信号P2と、基準映像信号R1の最後からτフレームを除外した整合基準映像信号R2とを出力する。τ＜０の場合には、基準映像信号R1が劣化映像信号P1よりも、τフレーム進んでいることを意味するので、映像整合部１３は、基準映像信号R1の最初からτフレームを除外した整合基準映像信号R2と、劣化映像信号P1の最後からτフレームを除外した整合劣化映像信号P2とを出力する。
【００４９】
または、整合劣化映像信号P2及び整合基準映像信号R2そのものではなく、整合を取るための基準映像信号R1のフレーム位置と劣化映像信号P1のフレーム位置とが出力されてもよい。
【００５０】
以上の処理により、整合基準映像信号R2と整合劣化映像信号P2とが出力される。又は、整合を取るための基準映像信号のフレーム位置と劣化映像信号のフレーム位置とが出力され、そちらを用いて整合基準映像信号R2と整合劣化映像信号P2とが算出される。この整合基準映像信号R2と整合劣化映像信号P2とを用いることで、基準映像信号R1と劣化映像信号P1との間で時間的な整合がとれた状態で、適切な品質推定が可能となる。
【００５１】
上述したように、本実施の形態によれば、主観品質の推定のために、基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、時間的な変化が小さい映像に対しても、それらの時間的な位置の整合の精度を向上させることができる。
【００５２】
なお、本実施の形態において、映像特徴量導出部１１は、導出部の一例である。映像分類部１２は、分類部の一例である。映像整合部１３は、整合部の一例である。閾値Th_TI又は閾値Th_TI'は、第１の閾値の一例である。閾値Th_SIは、第２の閾値の一例である。閾値Th_R1(m)は、第３の閾値の一例である。
【００５３】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００５４】
１０  映像整合装置
１１  映像特徴量導出部
１２  映像分類部
１３  映像整合部
１４  映像分類情報記憶部
１００  ドライブ装置
１０１  記録媒体
１０２  補助記憶装置
１０３  メモリ装置
１０４  ＣＰＵ
１０５  インタフェース装置
R1  基準映像信号
P1  劣化映像信号
r  基準映像信号R1のフレーム数
p  劣化映像信号P1のフレーム数
SI_R1(k)  基準映像信号R1のkフレーム目の空間情報量
TI_R1(k)  基準映像信号R1のkフレーム目の時間情報量
PSNR_R1(k)  基準映像信号R1のkフレーム目の符号化難易度
SI_P1(k)  劣化映像信号P1のkフレーム目の空間情報量
TI_P1(k)  劣化映像信号P1のｋフレーム目の時間情報量
X  映像分類結果
Ａ、Ｂ、Ｃ  映像分類類型
Th_TI  TI値の閾値
max(TI_R1)  TI_R1の最大値
TI_R1'  TI_R1の微分値
Th_TI'TI値の微分値の閾値
max(SI_R1)  SI_R1の最大値
Th_SI  SI値の閾値
BR  符号化ビットレート
n  符号化ビットレートの種類
PSNR_R1(l)  符号化ビットレートBR(l)で基準映像信号R1を符号化した際のPSNR
Th_PSNR(m)  PSNRの閾値
std_PSNR_R1  PSNR_R1(l)の標準偏差
Th_std_PSNR  PSNRの標準偏差の閾値
t_TImax_R1  基準映像信号R1のTI値が最大となるフレーム
t_TImax_P1  劣化映像信号P1のTI値が最大となるフレーム
τ  基準映像信号R1と劣化映像信号P1のフレームずれ量
Frame_B  Ｂ群に属する映像の相互相関係数を算出する際の時間長
Frame_C  Ｃ群に属する映像の相互相関係数を算出する際の時間長
R2  整合基準映像信号
P2  整合劣化映像信号
【図１】
0006431449.tif 000003
【図２】
0006431449.tif 000004
【図３】
0006431449.tif 000005
【図４】
0006431449.tif 000006
【図５】
0006431449.tif 000007
【図６】
0006431449.tif 000008
【図７】
0006431449.tif 000009
【図８】
0006431449.tif 000010
【図９】
0006431449.tif 000011
【図１０】
0006431449.tif 000012