(57)【要約】【課題】映像パラメータと、品質設計パラメータと、映像と音響の同期度とに基づき、心理要因スコアを推定する。【解決手段】心理要因スコア推定値算出装置において、心理要因と、映像パラメータと、品質設計パラメータと、映像信号と、音響信号とを入力する入力手段と、心理要因スコア推定値を算出するための数式の係数を、複数の心理要因のそれぞれに対して保持する記憶手段と、入力された映像信号と音響信号とから、映像と音響の同期度を算出する映像音声同期度算出手段と、入力された心理要因と映像パラメータに対応する係数を前記記憶手段から読み出し、当該係数を適用した数式に、入力された映像パラメータと品質設計パラメータ、及び、算出された映像と音響の同期度を入力することにより、心理要因スコア推定値を算出する算出手段と、心理要因スコア推定値を出力する出力手段とを備える。【選択図】図４
2018196099.tif 000002
【特許請求の範囲】
【請求項１】
心理要因と、１つ以上の映像パラメータと、１つ以上の品質設計パラメータと、映像信号と、音響信号とを入力する入力手段と、
映像パラメータと、品質設計パラメータと、映像と音響の同期度とに基づき心理要因スコア推定値を算出するための数式の係数を、複数の心理要因のそれぞれに対して保持する記憶手段と、
前記入力手段により入力された映像信号と音響信号とから、映像と音響の同期度を算出する映像音声同期度算出手段と、
前記入力手段により入力された心理要因と映像パラメータに対応する係数を前記記憶手段から読み出し、当該係数を適用した数式に、前記入力手段により入力された映像パラメータと品質設計パラメータ、及び、前記映像音声同期度算出手段により算出された映像と音響の同期度を入力することにより、心理要因スコア推定値を算出する算出手段と、
前記算出手段により算出された心理要因スコア推定値を出力する出力手段と
を備えることを特徴とする心理要因スコア推定値算出装置。
【請求項２】
前記数式は、主観品質評価実験結果に基づいて得られた、映像パラメータと、品質設計パラメータと、映像と音響の同期度と、心理要因スコアとの関係を定式化した数式である
ことを特徴とする請求項１に記載の心理要因スコア推定値算出装置。
【請求項３】
前記数式は、複数の映像パラメータのそれぞれに対して、映像パラメータと、品質設計パラメータと、映像と音響の同期度と、心理要因スコアとの関係に基づく数式を求め、当該複数の映像パラメータのそれぞれに対して得られた当該数式同士を組み合わせて得られる数式である
ことを特徴とする請求項１又は２に記載の心理要因スコア推定値算出装置。
【請求項４】
前記映像音声同期度算出手段は、
前記入力手段により入力された映像信号と音響信号とに基づき、映像と音響の同期している時間の長さ、及び、音響と同期している物体が映像フレームに占める領域を算出し、当該時間の長さ、及び、当該領域から、前記数式の入力である映像と音響の同期度を算出する
ことを特徴とする請求項１ないし３のうちいずれか１項に記載の心理要因スコア推定値算出装置。
【請求項５】
映像パラメータと、品質設計パラメータと、映像と音響の同期度とに基づき心理要因スコア推定値を算出するための数式の係数を、複数の心理要因のそれぞれに対して保持する記憶手段を備える心理要因スコア推定値算出装置が実行する心理要因スコア推定値算出方法であって、
心理要因と、１つ以上の映像パラメータと、１つ以上の品質設計パラメータと、映像信号と、音響信号とを入力する入力ステップと、
前記入力ステップにより入力された映像信号と音響信号とから、映像と音響の同期度を算出する映像音声同期度算出ステップと、
前記入力ステップにより入力された心理要因と映像パラメータに対応する係数を前記記憶手段から読み出し、当該係数を適用した数式に、前記入力ステップにより入力された映像パラメータと品質設計パラメータ、及び、前記映像音声同期度算出ステップにより算出された映像と音響の同期度を入力することにより、心理要因スコア推定値を算出する算出ステップと、
前記算出ステップにより算出された心理要因スコア推定値を出力する出力ステップと
を備えることを特徴とする心理要因スコア推定値算出方法。
【請求項６】
前記数式は、主観品質評価実験結果に基づいて得られた、映像パラメータと、品質設計パラメータと、映像と音響の同期度と、心理要因スコアとの関係を定式化した数式である
ことを特徴とする請求項５に記載の心理要因スコア推定値算出方法。
【請求項７】
前記映像音声同期度算出ステップにおいて、前記心理要因スコア推定値算出装置は、
前記入力ステップにより入力された映像信号と音響信号とに基づき、映像と音響の同期している時間の長さ、及び、音響と同期している物体が映像フレームに占める領域を算出し、当該時間の長さ、及び、当該領域から、前記数式の入力である映像と音響の同期度を算出する
ことを特徴とする請求項５又は６に記載の心理要因スコア推定値算出方法。
【請求項８】
コンピュータを、請求項１ないし４のうちいずれか１項に記載の心理要因スコア推定値算出装置における各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像配信サービス、ＴＶ電話サービスなどの映像サービスにおける心理要因スコアを推定するための技術に関連するものである。
【背景技術】
【０００２】
ユーザに良好な品質で映像サービスを提供するためには、サービス提供前にユーザが体感する映像品質が良好になるようにシステムを設計することが重要である。これらを実施するためには、ユーザが体感する映像の品質を適切に評価できる映像品質定量化法が必要である。
【０００３】
映像品質を定量化する手法には、主観品質評価法（例えば、非特許文献１参照）と、品質推定技術（例えば、非特許文献２、３参照）とが存在する。主観品質評価法は、評価環境（室内照度や室内騒音など）が再現可能な施設において、多数のユーザに映像を評価してもらう必要がある。そのため、評価に時間を要する。そこで、メディア信号や、サービスや通信に係わる物理的な特徴量から映像品質値を出力する品質推定技術の開発が進められている（例えば、非特許文献２、３、４参照）。
【０００４】
映像品質推定技術は、入力情報に基づき分類される。入力情報の多さに依存して、計算量や品質推定精度が異なるため、利用用途によって使い分けることが必要である。例えば、映像サービス設計者がサービス提供前の品質設計のために品質推定技術を用いる際には、ネットワークや端末の品質設計パラメータ（例えば、ビットレートやパケット損失率）を入力とする映像品質推定技術を用いる。それにより、目標とする映像品質を達成するためにはどのような品質設計パラメータ値を設定する必要があるかを把握することができる（非特許文献４）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ITU-T勧告P.910 "Subjective video quality assessment methods for multimedia applications"
【非特許文献２】ITU-T勧告J.247 "Objective perceptual multimedia video quality measurement in the presence of a full reference"
【非特許文献３】ITU-T勧告J.341  "Objective perceptual multimedia video quality measurement of HDTV for digital cable television in the presence of a full reference"
【非特許文献４】映像通信サービスの品質設計技術（http://www.ntt.co.jp/journal/0901/files/jn200901016.pdf）
【非特許文献５】間近に迫る8K放送（https://www.nhk.or.jp/digital/b_tech/pdf2015/nhk2015_02_07.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、4K/8K映像といった超高精細映像サービスが注目されている。4K/8K映像サービスでは、従来のフルHD映像サービスに比べ、解像度、フレームレート、ビット深度が向上している（非特許文献５）。そのため、自然な映像表示が可能となり、映像品質が高いことのみならず、より豊かな感覚（心理要因）を体験できることが期待されている。
【０００７】
より豊かな超高精細映像サービスを提供するためには、映像品質だけではなく、超高精細映像ならではの心理要因（例：美的感，躍動感等）も考慮して、映像サービスを設計することが必要である。例えば、より美しい映像の旅行番組を提供することができれば、ユーザは、旅行先の風景や食事など提示された映像空間のイメージを鮮明に持つことができ、ユーザの映像サービスに対する満足度（ユーザ満足度）が向上する。また、試合の迫力や熱気が感じられるようなスポーツ番組を提供することができれば、ユーザは、あたかも観客席で見ているかのような躍動感を感じることができ、ユーザ満足度が向上する。美的感の高い旅行番組や躍動感の高いスポーツ番組を提供するためには、美的感や躍動感をある程度以上に保つよう、それぞれの番組を設計することが必要である。
【０００８】
心理要因に基づき映像サービスを設計するためには、映像パラメータ（解像度、フレームレート、ビット深度）や品質設計パラメータ（符号化ビットレート）とユーザが心理要因から受ける感覚の値（心理要因スコア）との関係を把握することが必要である。ここでは、入力される映像パラメータが１つのときと２つ以上のときに分けて説明する。
【０００９】
まず、入力される映像パラメータが１つのときについて説明する。図１に、心理要因毎、映像パラメータ毎に、符号化ビットレートと心理要因スコアの関係を例示する。ここでは、一例として、心理要因として美的感、躍動感、自然感、開放感、立体感の５つを示す。図１（ａ）には、映像パラメータとして解像度が入力されたときの符号化ビットレートと心理要因スコアの関係を、図１（ｂ）には、フレームレートが入力されたときの符号化ビットレートと心理要因スコアの関係を、図１（ｃ）には、ビット深度が入力されたときの符号化ビットレートと心理要因スコアの関係を心理要因毎に示す。図１より、心理要因毎、映像パラメータ毎に、符号化ビットレートと心理要因スコアの関係性は異なることがわかる。
【００１０】
しかし、映像パラメータが、符号化ビットレートと心理要因スコアの関係性に及ぼす影響の大きさは、心理要因によって異なる。例えば、解像度が変化すると映像の鮮明さが変化する。映像の鮮明さは美的感や自然感に影響を与えるため、図１（ａ）に示すように、美的感や自然感では、解像度によって、符号化ビットレートと心理要因スコアの関係性が大きく異なることがわかる。フレームレートが変化すると動きのスムーズさが変化する。動きのスムーズさは躍動感や自然感に影響を与えるため、図１（ｂ）に示すように、躍動感や自然感では、フレームレートによって、符号化ビットレートと心理要因スコアの関係性が大きく異なることがわかる。ビット深度が変化すると被写体のエッジの際立ち具合が変化する。エッジの際立ち具合は開放感や立体感に影響を与えるため、図１（ｃ）に示すように、開放感や立体感では、ビット深度によって、符号化ビットレートと心理要因スコアの関係性が大きく異なることがわかる。以上より、心理要因毎、映像パラメータ毎に、符号化ビットレートと心理要因スコアの関係性は異なることがわかる。そのため、１つの映像パラメータと符号化ビットレートを変化させ、特定の心理要因スコア向上させるためには、心理要因毎に、映像パラメータや符号化ビットレートと心理要因スコアの関係を定式化した心理要因スコア推定技術を用いる必要がある。なお、図１（ａ）〜（ｃ）より、符号化ビットレートが高い領域では、映像パラメータを向上させると各心理要因スコアは高くなるが、符号化ビットレートが低い領域では、必ずしもそうはなっていない。これは、符号化ビットレートが低い領域では、同じビットレートで比較すると、映像パラメータを向上させた映像の方が圧縮率が高くなり、大きな劣化が発生するためである。
【００１１】
次に、入力される映像パラメータが２つ以上のときについて説明する。図２では、心理要因毎に、３つ全てのパラメータを変化させたときの符号化ビットレートと心理要因スコアの関係を示している。ここでは、4K60P10bit映像と2K30P8bit映像を例示する。図２に示すように、図１に示した映像パラメータ毎の特性を考慮すると、映像パラメータ同士の相乗効果により、符号化ビットレートが高い領域では4K60P10bit映像の方が2K30P8bit映像よりも各心理要因スコアが高くなる。また、符号化ビットレートが低い領域では、2K30P8bit映像の方が4K60P10bit映像よりも各心理要因スコアが低くなる。そのため、２つ以上の映像パラメータを同時に変化させた場合には、映像パラメータ同士の相乗効果を考慮して各心理要因スコアを導出する技術が必要である。
【００１２】
更に、映像サービスを設計する場合、映像だけではなく、音響の影響を考慮することが必要である。映像に音響を付加する方法には、映像と無関係の音響を付加する方法と映像と同時収録した音響を付加する方法がある。映像と同時収録した音響を付加した例としては、包丁で食材を切っている料理のシーンで、包丁の動きに合った包丁の音が付加されている例や、森の中を鳥が飛んでいるシーンで、鳥の動きに合わせて鳥の鳴き声が付加される例、合唱団が歌っているシーンに歌声が付加される例がある。
【００１３】
図３に示すように、映像と無関係の音響を付加する方法と映像と同時収録した音響を付加する方法では、音響のない場合に比べて心理要因スコアが向上する。しかし、映像と同時収録した音響を付加した場合と、映像と無関係の音響を付加した場合とでは、心理要因スコアの向上の度合いは異なる。映像と音響を同時収録している場合の方が、より提示されている映像空間の印象を強く受けられるようになるため、心理要因スコアの向上の度合いは大きくなる。また、映像と同時収録した音響を付加することが心理要因スコアに及ぼす影響は、心理要因によって異なる。例えば、躍動感や自然感、開放感では、映像と同時収録した音響を付加することで、映像のもつ迫力や広がりが強調されるため、音響がない場合や映像とは無関係の音響を付加する場合よりも心理要因スコアは高くなる。そのため、心理要因毎に、音響が付加されているか否かや、付加された音響が映像と同時収録されているのか否かによって心理要因スコアを導出する技術が必要である。
【００１４】
しかし、映像と音響が同時収録されている場合でも、映像に存在する特徴的な物体と音響の関連の強さによって、心理要因スコアに与える影響は異なる。具体的には、ユーザの視線は、映像に映っている物体のうち、その音響と同期して動く特徴的な物体に引き付けられる。そのため、その物体の印象が強く残り、心理要因スコアは向上する。例えば、急に包丁で食材を刻む音が聞こえると、ユーザの視線はその音と同期して動く包丁に引き付けられ、包丁の印象が鮮明に残る。また、静かな森のシーンの途中で急に鳥の鳴き声が聞こえると、ユーザの視線はその音と同期して動く鳥に引き付けられ、鳥の印象が鮮明に残る。しかし、特徴的な音が聞こえてきても、動く物体がたくさん存在する場合には、ユーザの視線はいろいろなところに向くため、心理要因の向上の度合いは限定的となる。例えば、合唱団が大勢で歌っているシーンでは、ユーザの視線は特定の物体に引き付けられないため、心理要因の向上の度合いは限定的となる。そのため、映像と音響が同時収録されている場合に、映像に存在する特徴的な物体と音響の関連の強さ（映像と音響の同期度）に基づいて心理要因スコアを導出する技術が必要である。
【００１５】
また、映像に存在する特徴的な物体と音響に関連がある場合、映像と音響が関連している時間の長さや動きのある物体が存在する映像空間の領域面積の影響によって、心理要因スコアに与える影響は異なる。具体的には、視聴している映像シーンにおいて、映像と音響が関連しているシーンが長く続くほど、心理要因スコアは向上する。そのため、映像と音響が関連しているシーンが視聴しているコンテンツのどの程度の時間を占めるのかを定量化し、心理要因スコアの推定に反映する必要がある。また、音響と関連している物体が映像空間のどの程度の領域を占めるかによってもユーザの受ける印象に及ぼす影響は異なる。そのため、音響と関連している物体が存在する映像空間の領域を定量化し、心理要因スコアの推定に反映する必要がある。以上より、映像と音響が関連している時間の長さや動きのある物体が存在する映像空間の領域面積の影響を加味して映像と音響の同期度を導出し、心理要因スコアを導出する技術が必要である。
【００１６】
本発明は、上記の点に鑑みてなされたものであって、映像サービス設計者が、映像パラメータと、品質設計パラメータと、映像と音響の同期度とに基づき、サービスの訴求ポイントとする心理要因の心理要因スコアを推定することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１７】
開示の技術によれば、心理要因と、１つ以上の映像パラメータと、１つ以上の品質設計パラメータと、映像信号と、音響信号とを入力する入力手段と、
映像パラメータと、品質設計パラメータと、映像と音響の同期度とに基づき心理要因スコア推定値を算出するための数式の係数を、複数の心理要因のそれぞれに対して保持する記憶手段と、
前記入力手段により入力された映像信号と音響信号とから、映像と音響の同期度を算出する映像音声同期度算出手段と、
前記入力手段により入力された心理要因と映像パラメータに対応する係数を前記記憶手段から読み出し、当該係数を適用した数式に、前記入力手段により入力された映像パラメータと品質設計パラメータ、及び、前記映像音声同期度算出手段により算出された映像と音響の同期度を入力することにより、心理要因スコア推定値を算出する算出手段と、
前記算出手段により算出された心理要因スコア推定値を出力する出力手段と
を備えることを特徴とする心理要因スコア推定値算出装置が提供される。
【発明の効果】
【００１８】
開示の技術によれば、映像サービス設計者が、音響の影響も考慮し、解像度、フレームレート、ビット深度といった映像パラメータと品質設計パラメータの符号化ビットレートのうち、どのパラメータを変化させることで目標とする心理要因スコアを達成できるかを把握することができるようになる。その結果、よりユーザ満足度の高い映像サービスを提供できるようになる。
【図面の簡単な説明】
【００１９】
【図１】映像パラメータの入力が１つのときの映像パラメータと心理要因スコアの関係例を示す図である。
【図２】映像パラメータの入力が２つ以上のときの映像パラメータと心理要因スコアの関係例を示す図である。
【図３】音響と心理要因スコアの関係例を示す図である。
【図４】本発明の実施の形態における心理要因スコア推定装置の構成例を示す図である。
【図５】本発明の実施の形態における心理要因スコア推定装置のハードウェア構成例を示す図である。
【図６】本発明の実施の形態における映像音響同期度推定部２１のフローを示す図である。
【図７】本発明の実施の形態における音響と映像が同期している可能性がある音響区間の抽出例を示す図である。
【図８】本発明の実施の形態における音響に対応して変化する映像フレーム領域の抽出例を示す図である。
【図９】本発明の実施の形態における映像パラメータと心理要因スコア導出関数の係数αの関係例を示す図である。
【図１０】本発明の実施の形態における映像音響同期度と心理要因スコア導出関数の係数γの関係例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。また、本実施の形態では、５つの心理要因と、３つの映像パラメータと、１つの品質設計パラメータを使用しているが、これらは例である。例えば、５つより多い心理要因を使用してもよいし、５つより少ない１つ以上の心理要因を使用してもよいし、３つより多い映像パラメータを使用してもよいし、３つより少ない１つ以上の映像パラメータを使用してもよいし、１つより多い品質設計パラメータを使用してもよい。
【００２１】
（実施の形態の概要）
本実施の形態では、映像配信サービス、ＴＶ電話サービスなどの映像サービスにおいて、サービスの訴求ポイントとする心理要因の心理要因スコアを推定する心理要因スコア推定装置が提供される。心理要因スコア推定装置は、心理要因スコア推定部、係数ＤＢから構成される。心理要因スコア推定部は、映像音響同期度推定部を内包する。入力は、推定対象の心理要因と映像パラメータ、符号化ビットレート、映像信号、音響信号である。
【００２２】
映像音響同期度推定部において、映像信号と音響信号から映像と音響の同期度を推定する。心理要因スコア推定部において、心理要因スコア導出関数を用いて心理要因スコアを推定する。心理要因スコア導出関数は、図１に示すように、符号化ビットレートと心理要因スコアの関係性は入力される映像パラメータによって異なること、図２に示すように、映像パラメータ同士の相乗効果を考慮する必要があること、図３に示すように、映像と音響の同期の効果を考慮する必要があることを加味して定式化したものを使用する。
【００２３】
また、心理要因スコア導出関数の係数は、係数ＤＢに格納されており、例えば、映像パラメータ毎、心理要因毎、映像音響の同期度毎に設定する。これは、図１に示すように、心理要因毎、映像パラメータ毎に、符号化ビットレートと心理要因スコアの関係性が異なるため、また、図３に示すように、映像と音響の関係性によって、心理要因スコアが変動するためである。以上より、係数ＤＢへの問い合わせ結果の係数を反映した心理要因スコア導出関数に映像パラメータの値を入力することで、心理要因スコアの導出が実現する。
【００２４】
以下、本実施の形態をより詳細に説明する。
【００２５】
（装置構成）
図４は、本発明の実施の形態における心理要因スコア推定装置１の構成例を示す。図４に示すように、本発明の実施の形態における心理要因スコア推定装置１は、心理要因スコア推定部２と係数ＤＢ３を有する。心理要因スコア推定部２は、映像音響同期度推定部２１を内包する。心理要因スコア推定部２は、心理要因iと、解像度x1、フレームレートx2、ビット深度x3といった映像パラメータと、品質設計パラメータの符号化ビットレートbrと、映像信号svと、音響信号saとを入力する入力手段を含む。なお、心理要因スコア推定装置１を心理要因スコア推定値算出装置と称してもよい。
【００２６】
映像音響同期度推定部２１は、入力された映像信号svと音響信号saを用いて、映像音響同期度avを導出する。
【００２７】
心理要因スコア推定部２は、心理要因スコア導出関数を用いて、心理要因スコアSiを導出する。心理要因スコア導出関数の係数は、係数ＤＢ３に格納されている。心理要因スコア推定部２が、心理要因スコア導出関数を用いて心理要因スコアを導出する際の入力は、心理要因iと、解像度x1、フレームレートx2、ビット深度x3といった映像パラメータと品質設計パラメータの符号化ビットレートbrと、映像音響同期度推定部２１の出力である映像音響同期度avである。出力は、心理要因スコアSiである。
【００２８】
心理要因スコア推定装置１は、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。図５は、心理要因スコア推定装置１のハードウェア構成例を示す図である。図５に示す装置は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。
【００２９】
当該心理要因スコア推定装置１での処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ又はメモリカード等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００３０】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って心理要因スコア推定装置１に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１０７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。
【００３１】
以下、心理要因スコア推定装置１における各機能部の動作を詳細に説明する。
【００３２】
（映像音響同期度推定部２１の動作）
映像音響同期度推定部２１は、入力された映像信号svと音響信号saを用いて、映像音響同期度avを導出する。図６に、映像音響同期度avを導出するフローを示す。
【００３３】
まず、映像音響同期度推定部２１は、音響信号saが入力されているか否かを確認し、入力されていない場合（ステップＳ１０１の"無"の場合）は、av=-1とする（ステップＳ１０２）。
【００３４】
次に、音響信号saが入力されている場合（ステップＳ１０１の"有"の場合）には、映像音響同期度推定部２１は、音響と映像が同期している可能性がある音響区間の抽出を行う（ステップＳ１０３）。
【００３５】
音響と映像が同期している可能性がある音響区間を抽出する例を図７に示す。図７の例では、鳥の鳴き声のような振幅が大きい音が含まれる区間を当該音響区間として検出している。具体的には、閾値を設けて、振幅が閾値を上回っている時間帯を検出することが考えられ、図７の例では、時間t11からt12、t21からt22の区間が検出される。閾値の設定の仕方には、音響信号の全区間の平均値と標準偏差を導出し、平均値＋標準偏差を閾値とすることなどが考えられる。なお、閾値を超える時間帯が存在しない場合には、av=0とする。
【００３６】
閾値を超える音響が含まれる場合には、映像音響同期度推定部２１は、その時間帯において、動きの大きい、特徴的な物体が含まれている映像フレーム領域を導出する（ステップＳ１０４）。
【００３７】
ステップＳ１０４の処理例を図８を参照して説明する。ここでは、まず、音響と映像が同期している可能性がある音響区間において、画素値のフレーム間差分値の絶対値を導出する。図８の上段に、動きの大きい物体が含まれる映像フレーム領域の抽出例として、各フレームにおいて動きのある物体が含まれる画素を黒く示している。また、時刻t11と時刻t11+1との間の画素値のフレーム間差分値の絶対値、時刻t11+1と時刻t11+2との間の画素値のフレーム間差分値の絶対値、時刻t11+2と時刻t11+3(=t12)との間の画素値のフレーム間差分値の絶対値を算出していることが示されている。
【００３８】
そして、図８の下段に、画素値のフレーム間差分値の絶対値で、閾値を超えている画素を示している。閾値は、フレーム間で変化量の多い画素を抽出するため、フレーム内の全画素のフレーム差分の絶対値の平均値+2×標準偏差とすることなどが考えられる。図８より、t11からt12にかけて、横方向ではV2からV4の領域に、縦方向ではH1からH3の領域に、動きのある物体が含まれていることがわかる。同様に、t21からt22においても動く物体が含まれる映像フレーム領域を抽出する。
【００３９】
映像音響同期度推定部２１は、最後に、映像音響同期度avを導出し、出力する（図６のステップＳ１０５、Ｓ１０６）。ここで、音響と映像が同期している可能性がある時間帯tk1からtk2において抽出した映像フレーム領域の横方向の画素数をVk、縦方向の画素数をHkとする。映像と音響の同期している時間帯が長いほど心理要因は向上し、音響と同期した物体の占めるフレーム領域が広いほど心理要因は向上すると考えられるため、映像音響同期度avは（１）式により導出する。
【００４０】
【数１】
2018196099.tif 000003
（１）式において、Wはフレームの全画素数、Lは映像コンテンツの時間長を示し、nは音響と映像が同期している可能性がある音響区間の数を示す。図７の場合にはn=2となる。なお、音響と映像が同期している可能性がある音響区間として抽出された時間帯に、動きのある物体が存在しない場合、つまり、Vk=0、Hk=0の場合には、映像と音響は同期していないことを示し、（１）式より、av=0となる。
【００４１】
（心理要因スコア推定部２の動作）
心理要因スコア推定部２は、入力された心理要因i、映像パラメータx1~x3、符号化ビットレートbr、映像音響同期度推定部２１の出力である映像音響同期度avを基に、心理要因スコアSiを推定する。
【００４２】
心理要因スコアSiは、下記の（２）式〜（７）式に示すように、心理要因スコア導出関数と、映像パラメータと心理要因iの関係性を基に設定した心理要因スコア導出関数の係数と、映像と音響の同期度を加味した心理要因スコア導出関数の係数と、入力された映像パラメータ及び符号化ビットレートの値を基に導出される。心理要因スコア導出関数は、例えば図１、２、３に示した関係性を基に定式化したものを使用する。心理要因スコア導出関数の係数は、映像パラメータ毎、心理要因毎、音響フラグ毎に決定する。
【００４３】
Si = γia(av)(αi1(x1)×αi2(x2)×αi3(x3)×log10(br) +βi)    （２）
αi1 = ai1×exp(bi1×x1) + ci1            （３）
αi2 = ai2×exp(bi2×x2) + ci2            （４）
αi3 = ai3×exp(bi3×x3) + ci3            （５）
γia = 1(av=-1のとき)            （６）
γia = di×av + ei (av>=0のとき)        （７）
ここで、（２）式において、心理要因iは、i=1は美的感、i=2は躍動感、i=3は自然感、i=4は開放感、i=5は立体感とする。心理要因スコア導出関数の係数αi1(i=1~5)は解像度x1の関数、係数αi2(i=1~5)はフレームレートx2の関数、係数αi3(i=1~5)はビット深度x3の関数とする。
【００４４】
係数αi1は、図９（ａ）の関係性を基に定式化する。具体的には、解像度が向上すると映像がより鮮明になるため、美的感や自然感がより向上しやすいことを考慮し、心理要因毎に（３）式のように定式化する。係数αi2は、図９（ｂ）の関係性を基に定式化する。具体的には、フレームレートが向上すると動きがよりスムーズになるため、躍動感や自然感がより向上しやすいことを考慮し、心理要因毎に（４）式のように定式化する。係数αi3は、図９（ｃ）の関係性を基に定式化する。具体的には、ビット深度が向上すると、被写体のエッジが際立つため、立体感や開放感がより向上しやすいことを考慮し、心理要因毎に（５）式のように定式化する。
【００４５】
（２）〜（５）式の心理要因スコア導出関数の係数aij、bij、cij、βi(i=1~5、j=1~3)は、事前に行った音響を付加していない主観品質評価実験結果に基づき決定し、複数の心理要因のそれぞれに対して係数ＤＢ３に格納しておくこととする。
【００４６】
また、（２）式において、係数γiaは、映像と音響の同期による効果を考慮する係数とし、映像音響同期度推定部２１の出力avの関数とする。音響が入力されていない場合(av=-1)には、音響付加による効果を考慮しないため、γia=1とする（（６）式）。av>=0のときには、音響付加による効果を考慮するため、図１０の関係性を基に、（７）式のように定式化する。具体的には、映像と同期した音響を付加することで、映像のもつ迫力や広がりが強調されるため、躍動感や自然感、開放感では、映像音響同期度が高くなるほど心理要因スコアが高くなることを考慮し、心理要因毎に（７）式のように定式化する。係数di、ei(i=1~5、j=1~3)は、事前に行った音響を付加した主観品質評価実験結果に基づき決定し、複数の心理要因のそれぞれに対して係数ＤＢ３に格納しておくこととする。
【００４７】
すなわち、心理要因スコア推定部２は、入力された心理要因と映像パラメータに対応する係数を係数ＤＢ３から読み出し、当該係数を適用した数式（例：（２）式〜（７）式）に、入力された映像パラメータと品質設計パラメータ、及び、映像と音響の同期度を入力することにより、心理要因スコア推定値を算出する。
【００４８】
なお、（２）式では、各映像パラメータと心理要因スコアの関係を、図１を基に非線形関数で定式化しているが、線形関数で表現することとしてもよい。また、映像パラメータ同士の相乗効果を考慮するため、各映像パラメータに関する係数αijを乗算しているが、下記の（８）式のように加算することとしてもよい。
【００４９】
Si = γia(av)×((αi1(x1)+αi2(x2)+αi3(x3))×log10(br)+βi)        （８）
また、（３）〜（５）式は、各映像パラメータと心理要因スコア導出関数の係数αの関係を、図９を基に非線形関数で定式化しているが、線形関数で表現することとしてもよい。また、（７）式では、映像音響同期度avと心理要因スコア導出関数の係数γとの関係を、図１０を基に線形関数で定式化しているが、非線形関数で表現することとしてもよい。
【００５０】
なお、サービス設計者は基本的には、解像度x1、フレームレートx2、ビット深度x3、符号化ビットレートbrの全ての値を知っているので、それらの全てを（２）〜（７）式の入力として使うことができる。そのため、（２）〜（７）式があれば、心理要因スコアを導出することができる。
【００５１】
しかし、例えば、サービス設計上、ビット深度とフレームレートと心理要因の対応関係が不要もしくは対応関係が得られていない場合、つまり、例えば解像度と心理要因スコアの対応関係が得られている場合は、心理要因スコア導出関数を（９）、（１０）式のように簡略化することとしてもよい。（９）、（１０）式は、１つの映像パラメータ（解像度、ビット深度、又はフレームレート）と心理要因スコアの対応関係が得られている場合の式である。なお、例えば、（９）式は図１の関係性を基に、（１０）式は図９の関係性を基に、（１２）式は図１０の関係性を基に定式化することとする。
【００５２】
Si =γija(av)×(αij(xj)×log10(br)+βij)        （９）
αij = aij×exp(bij×xj)+cij                （１０）
γija = 1(av=-1のとき)                （１１）
γija = dij×av + eij (av>=0のとき)            （１２）
ここで、前述の通り、心理要因スコア導出関数の係数aij、bij、cij、βij、ｄij、ｅij(i=1~5、j=1~3)は、事前に行った主観品質評価実験結果に基づき決定し、複数の心理要因のそれぞれに対して係数ＤＢ３に格納しておくこととする。
【００５３】
上述の通り、心理要因毎に、映像パラメータや品質設計パラメータの符号化ビットレート、映像と音響の同期の程度を表す映像音響同期度と心理要因スコアの関係を定式化した心理要因スコア導出関数を用いることで、心理要因スコアの導出が実現する。
【００５４】
（実施の形態のまとめ）
以上、説明したように、本実施の形態により、心理要因と、１つ以上の映像パラメータと、１つ以上の品質設計パラメータと、映像信号と、音響信号とを入力する入力手段と、映像パラメータと、品質設計パラメータと、映像と音響の同期度とに基づき心理要因スコア推定値を算出するための数式の係数を、複数の心理要因のそれぞれに対して保持する記憶手段と、前記入力手段により入力された映像信号と音響信号とから、映像と音響の同期度を算出する映像音声同期度算出手段と、前記入力手段により入力された心理要因と映像パラメータに対応する係数を前記記憶手段から読み出し、当該係数を適用した数式に、前記入力手段により入力された映像パラメータと品質設計パラメータ、及び、前記映像音声同期度算出手段により算出された映像と音響の同期度を入力することにより、心理要因スコア推定値を算出する算出手段と、前記算出手段により算出された心理要因スコア推定値を出力する出力手段とを備えることを特徴とする心理要因スコア推定値算出装置が提供される。
【００５５】
実施の形態で説明した心理要因スコア推定装置１は、心理要因スコア推定値算出装置の例である。また、心理要因スコア推定部２は、入力手段、記憶手段、映像音声同期度算出手段、算出手段、及び出力手段を有する機能部の例である。また、映像音声同期度推定部２１は、映像音声同期度算出手段の例である。
【００５６】
前記数式を、主観品質評価実験結果に基づいて得られた、映像パラメータと、品質設計パラメータと、映像と音響の同期度と、心理要因スコアとの関係を定式化した数式としてもよい。
【００５７】
また、前記数式を、複数の映像パラメータのそれぞれに対して、映像パラメータと、品質設計パラメータと、映像と音響の同期度と、心理要因スコアとの関係に基づく数式を求め、当該複数の映像パラメータのそれぞれに対して得られた当該数式同士を組み合わせて得られる数式としてもよい。
【００５８】
前記映像音声同期度算出手段は、前記入力手段により入力された映像信号と音響信号とに基づき、映像と音響の同期している時間の長さ、及び、音響と同期している物体が映像フレームに占める領域を算出し、当該時間の長さ、及び、当該領域から、前記数式の入力である映像と音響の同期度を算出することとしてもよい。
【００５９】
以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００６０】
１  心理要因スコア推定装置
２  心理要因スコア推定部
３  係数ＤＢ
２１  映像音響同期度推定部
Si  心理要因スコア
i  心理要因のID
j  映像パラメータのID
x1  解像度
x2  フレームレート
x3  ビット深度
sa  音響信号
sv  映像信号
av  映像音響同期度
k  音響と映像が同期している可能性のある時間帯のID
n  音響と映像が同期している可能性のある時間帯の数
tk1  音響と映像が同期している可能性のある時間帯kの開始時刻
tk2  音響と映像が同期している可能性のある時間帯kの開始時刻
Vk  音響と映像が同期している可能性のある時間帯kにおいて、動きのある物体の含まれる横方向の画素数
Hk  音響と映像が同期している可能性のある時間帯kにおいて、動きのある物体の含まれる縦方向の画素数
W  フレームの全画素数
L  映像コンテンツの時間帳
α、β、γ、a、b、c、d、e  心理要因スコア導出関数の係数
１００  ドライブ装置
１０１  記録媒体
１０２  補助記憶装置
１０３  メモリ装置
１０４  ＣＰＵ
１０５  インタフェース装置
１０６  表示装置
１０７  入力装置
【図１】
2018196099.tif 000004
【図２】
2018196099.tif 000005
【図３】
2018196099.tif 000006
【図４】
2018196099.tif 000007
【図５】
2018196099.tif 000008
【図６】
2018196099.tif 000009
【図７】
2018196099.tif 000010
【図８】
2018196099.tif 000011
【図９】
2018196099.tif 000012
【図１０】
2018196099.tif 000013