(57)【特許請求の範囲】
【請求項１】
異なる効果が付与された映像を人に体験させる効果体験工程と、
前記効果体験工程により前記人が感じた映像の印象の変化を生理的反応に基づいて、複数の評価項目に対して多段階で評価する評価工程と、
前記評価工程により多段階で評価された結果に基づいて、前記映像に付与した効果に対して共通する因子を分析し、前記因子の前記効果に対する寄与を示す因子得点を算出する因子分析工程と、
前記因子分析工程により得られた各因子の因子得点を目的変数、前記映像に付与した各効果を説明変数として回帰分析により目的変数に対する影響度が大きな効果を算出する回帰分析工程と、
前記回帰分析工程により得られた影響度が大きな効果を映像補正データに設定する効果設定工程と、
を含む映像補正データ作成方法。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像補正データ作成方法及び映像処理装置に関し、特に、映像シーンに応じて映像を最適化する映像補正データ作成方法に関する。
【背景技術】
【０００２】
従来、ビデオカメラなどの撮影装置おいて、撮影シーンに応じて映像を最適化する技術が知られている。例えば、特許文献１には、画像取得部及び音声取得部により画像と音声とを取得し、取得した画像から撮影シーンをシーン認識部により認識することで、撮影シーンに対応する主被写体を検出し、検出した主被写体の発する音声を強調するように取得した音声を加工部で加工することにより、シーンに応じて音声を最適化する技術が開示されている。加工部では、あらかじめ記憶させておいた主被写体から発せられる音声の基本周波数の帯域を強調するように、音声のゲインを制御部が制御するように構成されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２４５６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１による技術では、加工部による音声の加工において、主要被写体の基本周波数を強調するように制御部が機械的にゲインを制御しているため、記録した画像や音声の再生時に、撮影時とは異なる印象を受ける場合がある。人は、視覚や聴覚により入力される画像や音声に対して、例えば撮影時の印象や今までの経験等に基づいて、画像と音声の組み合わせに無意識の期待感が生じる。この無意識の期待感に対して画像と音声の組み合わせが、一致した場合には快、異なる場合には不快と感じる。このため、上述のように単にシーンに合わせるように音声を機械的に処理した場合には、人の感覚との間に隔たりが生じる場合がある。
【０００５】
そこで、本発明は上記課題を解決すべく、シーンに応じて映像を最適化する映像補正データの作成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための映像補正データ作成方法の態様として、異なる効果が付与された映像を人に体験させる効果体験工程と、効果体験工程により人が感じた映像の印象の変化を生理的反応に基づいて、複数の評価項目に対して多段階で評価する評価工程と、評価工程により多段階で評価された結果に基づいて、映像に付与した効果に対して共通する因子を分析し、因子の効果に対する寄与を示す因子得点を算出する因子分析工程と、因子分析工程により得られた各因子の因子得点を目的変数、映像に付与した各効果を説明変数として回帰分析により目的変数に対する影響度が大きな効果を算出する回帰分析工程と、回帰分析工程により得られた影響度が大きな効果を映像補正データに設定する効果設定工程とを含むようにした。
本態様によれば、映像補正データが人の生理的反応に基づいて作成されるため、人の感性に近い映像を提供することができる。  
【図面の簡単な説明】
【０００７】
【図１】映像補正データの作成工程を示す図である。
【図２】会話シーンＳ１における印象評価の形容詞対及び因子負荷量を示す図である。
【図３】風景シーンＳ２における印象評価の形容詞対及び因子負荷量を示す図である。
【図４】花火シーンＳ３における印象評価の形容詞対及び因子負荷量を示す図である。
【図５】スポーツシーンＳ４における印象評価の形容詞対及び因子負荷量を示す図である。
【図６】動画、及び音に効果を施したときの全シーンの印象推移を示すグラフである。
【図７】シーン毎に動画効果及び音効果の両方を変化させて印象評価の形容詞対及び因子負荷量を示す図である。
【図８】動画効果及び音効果による全シーンでの印象推移を示す図である。
【図９】映像記録最適化装置１のブロック図である。
【図１０】映像処理装置３の構成図である。
【図１１】映像処理装置３の動作を示すフローチャートである。
【図１２】客観評価を実施する際のタイムプロトコルである。
【図１３】脳内における脳血流量の変化を示す図である。
【図１４】動画効果及び音効果により脳血流量が変化した部位を示す図である。
【図１５】心電計測によるＬＦ／ＨＦの算出結果を示す図である。
【０００８】
以下、発明の実施形態を通じて本発明を詳説するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明される特徴の組み合わせのすべてが発明の解決手段に必須であるとは限らず、選択的に採用される構成を含むものである。
【発明を実施するための形態】
【０００９】
以下、本実施形態に係る映像補正データの作成方法の一実施形態について説明する。本実施形態に係る映像補正データは、所定の効果を付与した映像を被験者に体験させたときの生理的反応に基づいて作成される。生理的反応は、例えば主観評価や客観評価により定量的に取得される。本実施形態では、被験者に２０代男性１６名を選び、主観評価により映像補正データを作成した。なお、被験者についてはこの限りではなく、他の世代の男女を含ませても良い。なお、本実施形態において映像とは、動画及び音とで構成されるものをいう。また、動画は、一定時間間隔で撮影された一連の静止画像を短い間隔で連続表示したものをいう。
【００１０】
図１は、映像補正データの作成工程を示す図である。同図に示すように、映像補正データは、効果体験工程１００、印象評価工程２００、因子分析工程３００、回帰分析工程４００を経て、効果設定工程５００により作成される。
本実施形態では、映像補正データは、例えば、一般的に撮影頻度の高いパーティでの会話を撮影した「会話シーンＳ１」、海の光景を撮影した「風景シーンＳ２」、打ち上げ花火を撮影した「花火シーンＳ３」、スポーツの速い動きを撮影した「スポーツシーンＳ４」等のシーンの異なる映像について作成するものとして説明する。以下、上記４つのシーンＳ１乃至Ｓ４を用いて説明する。
【００１１】
［効果体験工程１００］
効果体験工程１００では、上記各シーンＳ１乃至Ｓ４の映像に効果を付与したものを被験者に体験させる。各シーンＳ１乃至Ｓ４の映像の体験では、効果が被験者に対して単一刺激となるようにした。具体的には、音を出力せずに効果を付与した動画のみを再生、動画を出力せずに効果を付与した音のみを再生、効果を付与した動画に効果を付与していない音を合わせて再生、効果を付与した音に効果を付与していない動画を合わせて再生して被験者に体験させた。
なお、以下の説明では、効果を付与する前の動画を基準動画Ｎといい、効果を付与する前の音（カメラに内蔵されたマイクによる録音）を基準音ＭＥという。
【００１２】
動画の効果には、撮影時の動画（基準動画Ｎ）、明るさ効果Ｂｒｉ、ぼかし効果Ｂｒａ、明るさ及びぼかし効果ＢＢ、彩度効果Ｓａ、及びコントラスト効果Ｃｏｎの５種類を設定した。各効果は、入力された動画を構成する静止画に対して所定量増加するように個別に付与した。
また、音の効果には、カメラに内蔵されたマイクによる録音（基準音ＭＥ）、計測用マイク（高性能マイク）による録音（以下高性能マイク音ＩＣ）、基準音ＭＥにハイパスフィルタＨｉ、ローパスフィルタＬｏ等の効果を適用したものを設定した。なお、シーンＳ１乃至Ｓ４毎に基準音ＭＥの占める周波数帯域が異なるため、各シーンＳ１乃至Ｓ４における音の周波数帯域の中心周波数に合わせてハイパスフィルタＨｉ及びローパスフィルタＬｏによるカットオフ周波数を変化させた。
【００１３】
［印象評価工程２００］
印象評価行程２００では、上記効果体験工程１００により被験者が体験した動画の効果及び音の効果の印象の違いをＳＤ法により相対評価をする。ＳＤ法による相対評価の基準には、基準動画Ｎ、基準音ＭＥを用いた。この際用いた評価項目の形容詞対については、図２乃至図５に示すものを用い、各形容詞対についてそれぞれ７段階で評価するようにした。形容詞対とは、印象を評価するための尺度であり、例えば、図２乃至図５に示すように、違和感のない−違和感のある、好ましい−好ましくない等の相反する意味を持つ２つの形容詞をいう。つまり、形容詞対は、映像の好感度を取得するための評価値ともいうことができる。
【００１４】
［因子分析工程３００］
図２乃至図５は、シーンＳ１乃至Ｓ４毎に効果を変化させて印象を評価したときの形容詞対及び因子負荷量を示している。因子分析工程３００では、ＳＤ法により得られた評価結果を因子分析することにより、評価項目に共通する有意な因子（有意因子）を抽出する。なお、有意因子の抽出では、主因子法のバリマックス回転を適用した。
上記印象評価工程において被験者により１〜７段階で評価された各形容詞対には、評価された段階を得点（１〜７点）として設定する。そして、この得点に基づいて各形容詞対の因子負荷量を算出する。因子負荷量は、各効果に対して抽出された各因子がどれくらいの強さで影響を与えているかを示す。この算出された各因子負荷量の絶対値をあらかじめ設定された基準値（本実施形態では０．５とした）とし、基準値より大きい形容詞対を共通した傾向を持つ同一因子とした。これにより、映像を再生するときの動画の効果や音の効果の違いが、人に与える印象の傾向として複数の因子により表される。
【００１５】
本実施形態では、各因子に同一因子とされた形容詞対に基づき、快適因子、迫力因子、明瞭因子、緊張因子、軽快因子等のように因子名を名付けた。なお、各因子で算出される寄与率は、評価対象の動画の効果及び音の効果の効果内容に対する影響の大きさを示している。
因子分析の結果、会話シーンＳ１、花火シーンＳ３、スポーツシーンＳ４では、図２，図４及び図５に示すように、快適因子、迫力因子、明瞭因子が、風景シーンＳ２では、図３に示すように、快適因子、迫力因子、緊張因子、軽快因子が寄与する結果が得られた。
【００１６】
さらに、上記因子分析の因子得点によれば、会話シーンＳ１の動画のみを再生した場合、基準動画Ｎに明るさ効果Ｂｒｉやコントラスト効果Ｃｏｎを適用することで迫力性が増加した。さらに、明るさ効果Ｂｒｉを適用した場合には全因子が上昇した。また、ぼかし効果Ｂｒａ、明るさ及びぼかし効果ＢＢを適用した場合には迫力性が低下、明るさ効果の増加では明瞭性が上昇した。また、会話シーンＳ１の音のみを再生した場合、ハイパスフィルタＨｉの適用により快適性及び明瞭性が上昇した。また、ローパスフィルタＬｏを適用した場合には全因子が低下した。また、上記効果を付与した動画の再生に基準音ＭＥを追加した場合、ぼかし効果ＢＢにおいて迫力性が上昇した。また、上記効果を付与した音の再生に基準動画Ｎを追加した場合、ハイパスフィルタＨｉの適用により快適性については基準音ＭＥと変わらず、迫力性が低下した。
【００１７】
上記因子分析の因子得点によれば、風景シーンＳ２の動画のみを再生した場合には、基準動画Ｎに明るさ効果Ｂｒｉの適用により快適性が微増、緊張性が低下した。また、ぼかし効果Ｂｒａ、明るさ及びぼかし効果ＢＢを適用することで軽快さ以外の因子が低下した。また、彩度効果Ｓａを適用することで快適性及び緊張性が低下し、迫力性及び軽快さが微増した。また、風景シーンＳ２の音のみを再生した場合には、高性能マイク音ＩＣでは快適性が上昇し、緊張性及び軽快さが低下した。また、ハイパスフィルタＨｉの適用により迫力性が低下した。また、ローパスフィルタＬｏの適用により迫力性以外が低下した。また、上記効果を付与した動画の再生において基準音ＭＥを追加した場合、明るさ効果Ｂｒｉにおいて緊張性が低下し、軽快さが上昇した。また、上記効果を付与した音の再生において基準動画Ｎを追加した場合、動画の追加による傾向の変化は見られなかった。
【００１８】
上記因子分析の因子得点によれば、花火シーンＳ３の動画のみを再生した場合には、基準動画Ｎに明るさ効果Ｂｒｉやコントラスト効果Ｃｏｎを適用することで迫力性が上昇した。また、ぼかし効果Ｂｒａや明るさ及びぼかし効果ＢＢを適用することで全因子の印象が低下した。また、花火シーンＳ３の音のみを再生した場合には、高性能マイク音ＩＣでは快適性が上昇し、明瞭性が低下した。また、ハイパスフィルタＨｉの適用により、迫力性が低下し、明瞭性が上昇した。また、ローパスフィルタＬｏの適用により快適性及び迫力性が低下した。また、上記効果を付与した映像の再生において基準音ＭＥを追加した場合、音の追加による印象の変化傾向はなかった。また、上記効果を付与した音の再生において基準動画Ｎを追加した場合、ローパスフィルタＬｏを適用しても基準音ＭＥと印象に変化がなかった。
【００１９】
上記因子分析の因子得点によれば、スポーツシーンＳ４の動画のみを再生した場合には、基準動画Ｎに明るさ効果Ｂｒｉを適用することで迫力性が低下した。また、ぼかし効果Ｂｒａや明るさ及びぼかし効果ＢＢを適用することで快適性が低下した。また、彩度効果Ｓａを適用することで軽快さが低下したものの他の因子は上昇した。また、スポーツシーンＳ４の音のみを再生した場合には、基準音ＭＥにハイパスフィルタＨｉを適用したときと、高性能マイク音ＩＣとでは、印象の傾向が類似しており、全因子で低下した。また、ローパスフィルタＬｏを適用することで明瞭性が低下し、他の因子は基準音ＭＥと同様の傾向であった。また、上記効果を付与した映像の再生において基準音ＭＥを追加した場合、印象の変化傾向はなかった。また、上記効果を付与した音の再生において基準動画Ｎを追加した場合、高性能マイク音ＩＣでは快適性及び明瞭性が、ローパスフィルタＬｏを適用したときと同様の傾向となった。
【００２０】
以上のように、会話シーンＳ１、風景シーンＳ２、花火シーンＳ３、スポーツシーンＳ４のシーン毎に得られた印象の変化の有無から動画と音の影響を検討する。会話シーンＳ１では、動画及び音の追加により印象変化があったことから動画と音との間に相関があるものと考えられる。また、風景シーンＳ２では、音の追加時に印象の変化があったことから音の影響が大きいものと考えられる。また、花火シーンＳ３及びスポーツシーンＳ４では、動画の追加時に印象の変化があったことから動画の影響が大きいと考えらえる。
【００２１】
図６は、動画、及び音に効果を施したときの全シーンの印象推移を示すグラフである。図６（ａ）乃至（ｃ）に示すように、ぼかし効果Ｂｒａ、明るさ及びぼかし効果ＢＢでは快適性及び迫力性が低下した。また、動画に対する効果の影響は、全シーンにおいて同様の推移傾向を示し、好感度の向上には明るさ効果Ｂｒｉが有効である。一方、音については、図６（ｄ）乃至（ｆ）に示すように、シーンＳ１乃至Ｓ４により有効な効果が異なる結果となった。
【００２２】
図７は、シーン毎に動画及び音の両方に効果を施し印象を評価したときの形容詞対及び因子負荷量を示す図である。
本実施形態では、上記単一刺激によるシーン別の主観評価に加え、さらに、動画及び音の両方に効果を与えつつ、映像における各シーンの印象変化をＳＤ法、及び一対比較法による主観評価を行った。即ち、被験者に対して複数刺激によるシーン別の主観評価を行った。一対比較法では、全シーンに共通して「好ましい」、「迫力がある」、「映像が一致している」の３つの形容詞を設定し、さらに会話シーンＳ１には「会話が聞き取りやすい」、風景シーンＳ２には「緊張感がある」、花火シーンＳ３には「印象に残る」、スポーツシーンＳ４には「躍動感がある」をそれぞれ加えた４つの形容詞により主観評価した。複数刺激によるＳＤ法の相対評価では、単一刺激による主観評価と同様に、基準動画Ｎ、基準音ＭＥをそれぞれ基準とした。
【００２３】
因子分析の結果、複数刺激のＳＤ法による主観評価では、上記単一刺激による評価結果に類似した因子が、各シーンＳ１乃至Ｓ４で抽出された。即ち、会話シーンＳ１、花火シーンＳ３、スポーツシーンＳ４では、図７（ａ），（ｃ），（ｄ）に示すように、快適因子、迫力因子、明瞭因子が、風景シーンＳ２では、図７（ｃ）に示すように、快適因子、迫力因子、緊張因子、軽快因子が寄与する結果が得られた。
【００２４】
会話シーンＳ１では、快適性と迫力性は動画の効果に印象変化を与え、明瞭性は音の効果に寄与する傾向が得られた。快適性及び迫力性の向上には明るさ効果Ｂｒｉ、明瞭性の向上にはハイパスフィルタＨｉの適用が有効である。
風景シーンＳ２では、快適性は動画の効果、迫力性は音の効果に寄与する。緊張性及び軽快さには、ハイパスフィルタＨｉの適用が大きく寄与するが、それ以外の音では動画の効果が寄与している。
花火シーンＳ３では、快適性は、ぼかし効果Ｂｒａ，明るさ及びぼかし効果ＢＢを除き音の効果に寄与する。迫力性も音の効果に寄与しているが、明瞭性は動画及び音の双方の効果に寄与している。
スポーツシーンＳ４では、快適性はぼかし効果を除き音の効果、明瞭性は動画の効果、迫力性は動画及び音の効果に影響を受ける。
【００２５】
一対比較法による主観評価では、好感度が高い映像を評価した。会話シーンＳ１では、明るさ効果Ｂｒｉ＿高性能マイク音ＩＣの組み合わせが最も好ましく、迫力性の結果と傾向が似たことから、迫力が好感度に寄与すると考えられる。風景シーンＳ２では、彩度効果Ｓａ＿基準音ＭＥの組み合わせが最も好ましく、一致性の結果と傾向が似たことから、動画と音の一致性が好感度に寄与し、花火シーンＳ３では、コントラスト効果Ｃｏｎ＿基準音ＭＥの組み合わせが最も好ましく、同様に、動画と音の一致性が好感度に寄与し、スポーツシーンＳ４では、彩度効果Ｓａ＿基準音ＭＥの組み合わせが最も好ましく、同様に、躍動感が好感度に寄与すると考えられる。
【００２６】
動画及び音の双方に効果を施したときの主観評価から、各シーンＳ１乃至Ｓ４の動画と、音の影響を確認すると、会話シーンＳ１は、因子により動画及び音の双方の効果が影響を与える。風景シーンＳ２は、因子により変化するハイパスフィルタＨｉの影響が強いことから音の効果の影響が大きいと考えられる。花火シーンＳ３及びスポーツシーンＳ４は、ぼかし効果Ｂｒａに強く寄与していることから動画の効果の影響が大きいと考えられる。
【００２７】
図８は、動画効果及び音効果による全シーンでの印象推移を示す図である。図８（ａ）乃至（ｃ）に示すように、動画に対する各効果は全シーンＳ１乃至Ｓ４に類似した推移傾向があり、明るさ効果Ｂｒｉが有効であることが分かる。図８（ｄ）乃至（ｆ）に示すように、音の効果ではハイパスフィルタＨｉは一律に低下を示すが、その他の効果ではシーンＳ１乃至Ｓ４により有効性が異なる。
【００２８】
［回帰分析工程４００］
回帰分析工程４００では、上述の主観評価により得られた結果（因子得点）に基づいて、重回帰分析することにより、各シーンＳ１乃至Ｓ４をそれぞれ補正するためのモデル式を算出する。
重回帰分析では、目的変数を複数の説明変数により予測する分析方法であって、上記主観評価で得られた快適因子、迫力因子、明瞭因子、緊張因子、軽快因子の因子得点を目的変数とし、各因子に対する説明変数に、動画効果として付与した明るさ効果Ｂｒｉ、ぼかし効果Ｂｒａ、彩度効果Ｓａ、コントラスト効果Ｃｏｎの効果量（作用量）、及び音効果として付与した基準音ＭＥ、高性能マイク音ＩＣ、基準音ＭＥにハイパスフィルターＨｉを適用したときの音、基準音ＭＥにローパスフィルターＬｏを適用したときの音を、ラウドネスＬ、シャープネスＳ、ラフネスＲの物理量に変換したものを設定した。ラウドネスＬ，シャープネスＳ，ラフネスＲは、それぞれ音の大きさ，音の甲高さ，音の粗さを示す心理音響評価量や心理音響変数と呼ばれ、音の状態を定量化したものである。
【００２９】
下記に、重回帰分析により得られた各シーンＳ１乃至Ｓ４に影響を及ぼす因子のモデル式を示す。
［会話シーンＳ１］
快適因子＝０．０６×Ｌ−０．８７×Ｓ−０．２８×Ｒ
＋０．００×Ｂｒｉ−０．１０×Ｂｒａ−０．１４
迫力因子＝−０．０７×Ｌ＋０．８６×Ｓ＋０．４４×Ｒ
＋０．００×Ｂｒｉ−０．０２×Ｂｒａ＋１．２５
明瞭因子＝−０．２５×Ｌ＋５．５７×Ｓ−０．２４×Ｒ
−０．００×Ｂｒｉ＋０．０１×Ｂｒａ−１．９３  
【００３０】
［風景シーンＳ２］
快適因子＝０．１３×Ｌ−０．４８×Ｓ−６．７０×Ｒ
＋０．０１×Ｂｒｉ−０．０８×Ｂｒａ−０．０２×Ｓａ＋６．３８
迫力因子＝０．２８×Ｌ−０．７０×Ｓ−８．８９×Ｒ
＋０．０１×Ｂｒｉ−０．０２×Ｂｒａ＋０．０３×Ｓａ＋６．８９
緊張因子＝−０．４７×Ｌ＋０．６４×Ｓ＋７．１３×Ｒ
−０．０１×Ｂｒｉ−０．００×Ｂｒａ−０．０２×Ｓａ−３．６２  
軽快因子＝−０．０５×Ｌ＋１．２５×Ｓ＋５．０３×Ｒ
＋０．０２×Ｂｒｉ−０．０４×Ｂｒａ＋０．０１×Ｓａ−６．３７
【００３１】
［花火シーンＳ３］
快適因子＝０．０１×Ｌ−３．０４×Ｓ＋２．３１×Ｒ
−０．０１×Ｂｒｉ−０．０５×Ｂｒａ＋０．０１×Ｃｏｎ−１．５１
迫力因子＝−０．０１５×Ｌ−２．３１５×Ｓ−１．６８２×Ｒ
−０．０１×Ｂｒｉ−０．０３×Ｂｒａ＋０．０１×Ｃｏｎ＋３．７３
明瞭因子＝−０．０１×Ｌ＋２．６８×Ｓ−０．５１×Ｒ
−０．０１×Ｂｒｉ−０．０６×Ｂｒａ＋０．０１×Ｃｏｎ−２．０２  
【００３２】
［スポーツシーンＳ４］
快適因子＝−０．０４×Ｌ−０．０９×Ｓ＋６．９２×Ｒ
＋０．００×Ｂｒｉ−０．０４×Ｂｒａ−０．００×Ｓａ−０．２７
迫力因子＝０．０４×Ｌ＋０．１４×Ｓ＋０．９６×Ｒ
−０．００×Ｂｒｉ−０．０１×Ｂｒａ＋０．０４×Ｓａ−１．４６
明瞭因子＝−０．２５×Ｌ＋５．５７×Ｓ−０．２４×Ｒ
＋０．０１×Ｂｒｉ−０．０４×Ｂｒａ＋０．０２×Ｓａ＋２．０５  
【００３３】
上記各シーンＳ１乃至Ｓ４の各式における下線は、重回帰分析により算出されるＰ値を示す。Ｐ値は、目的変数に対する影響度が大きなパラメータを示す。
つまり、会話シーンＳ１では、動画に対してはぼかし効果Ｂｒａ、音に対してはシャープネスＳの影響が大きい。風景シーンＳ２では、動画に対しては明るさ効果Ｂｒｉ，ぼかし効果Ｂｒａ、音に対してはラウドネスＬ、シャープネスＳ、ラフネスＲの全ての影響が大きい。花火シーンＳ３では、動画に対してはぼかし効果Ｂｒａ、音に対してはラウドネスＬ、シャープネスＳ、ラフネスＲの全ての影響が大きい。スポーツシーンＳ４では、動画に対してはぼかし効果Ｂｒａ及び彩度効果Ｓａ、音に対してはシャープネスＳの影響が大きい。
【００３４】
［効果設定工程５００］
効果設定工程５００では、上記回帰分析工程で得られた結果に基づいて、目的の印象の変化に対し、各シーンＳ１乃至Ｓ４に対応する映像補正データを生成する。
会話シーンＳ１を補正する映像補正データは、動画を補正するぼかし効果Ｂｒａ、及び音を補正するシャープネスＳで構成する。具体的には、効果体験工程１００において会話シーンＳ１の動画の効果として付与したぼかし効果Ｂｒａの作用値であるブラー量をビデオエフェクト、及び音の効果として付与した高性能マイク音ＩＣ、基準音ＭＥにハイパスフィルタＨｉを作用させたときの音、基準音ＭＥにローパスフィルタＬｏを作用させたときの音のシャープネスＳに対応するローパスフィルタとハイパスフィルタのカットオフ周波数をオーディオエフェクトとし、各モデル式の符号を考慮して構成される。
風景シーンＳ２を補正する映像補正データは、動画を補正する明るさ効果Ｂｒｉとぼかし効果Ｂｒａ、及び、音を補正するラウドネスＬ、シャープネスＳ、ラフネスＲで構成する。具体的には、効果体験工程１００において会話シーンＳ１の動画の効果として付与した明るさ効果Ｂｒｉとぼかし効果Ｂｒａの作用値である明度、ブラー量をビデオエフェクト、音の効果として付与した高性能マイク音ＩＣ、基準音ＭＥにハイパスフィルタＨｉを作用させたときの音、基準音ＭＥにローパスフィルタＬｏを作用させたときの音のラウドネスＬ、シャープネスＳ、ラフネスＲに対応するローパスフィルタとハイパスフィルタのカットオフ周波数をオーディオエフェクトとし、各モデル式の符号を考慮して構成される。
花火シーンＳ３を補正する映像補正データは、動画を補正するぼかし効果Ｂｒａ、及び音を補正するラウドネスＬ、シャープネスＳ、ラフネスＲで構成する。具体的には、効果体験工程１００において会話シーンＳ１の動画の効果として付与したぼかし効果Ｂｒａの作用値であるブラー量をビデオエフェクト、及び音の効果として付与した高性能マイク音ＩＣ、基準音ＭＥにハイパスフィルタＨｉを作用させたときの音、基準音ＭＥにローパスフィルタＬｏを作用させたときの音のラウドネスＬ、シャープネスＳ、ラフネスＲに対応するシャープネスＳに対応するローパスフィルタとハイパスフィルタのカットオフ周波数をオーディオエフェクトとし、各モデル式の符号を考慮して構成される。
スポーツシーンＳ４を補正する映像補正データは、動画を補正するぼかし効果Ｂｒａと彩度効果Ｓａ、及び音を補正するシャープネスＳで構成する。具体的には、効果体験工程１００において会話シーンＳ１の動画の効果として付与したぼかし効果Ｂｒａと彩度効果Ｓａの作用値であるブラー量と彩度をビデオエフェクト、及び音の効果として付与した高性能マイク音ＩＣ、基準音ＭＥにハイパスフィルタＨｉを作用させたときの音、基準音ＭＥにローパスフィルタＬｏを作用させたときの音のシャープネスＳに対応するローパスフィルタとハイパスフィルタのカットオフ周波数をオーディオエフェクトとし、各モデル式の符号を考慮して構成される。
なお、ビデオエフェクトとは動画に付与する効果、オーディオエフェクトとは音に付与する効果を意味する。また、上記記載において各モデル式の符号を考慮するとは、符号が＋の場合には効果を増やす方向に作用させることを意味し、符号が−の場合には効果を減らす方向に作用させることを意味する。
【００３５】
以上説明したように、効果を付与した映像の印象の変化を直接、人に体験させ、人の感性による生理的反応に基づいて定量化された効果を映像に作用させることにより、シーンＳ１乃至Ｓ４に応じた臨場感のある映像を提供することができる。
【００３６】
図９は、映像記録最適化装置１のブロック図である。  図１０は、映像処理装置３の構成図である。図９に示すように、映像記録最適化装置１は、例えば、動画を撮影可能なカメラであって、撮影装置２と、映像処理装置３と、記録装置４と、表示出力装置５とを備える。
撮影装置２は、レンズを通して撮影された被写体の被写体像をＣＣＤ或はＣＭＯＳ等の撮像素子を通して記録する画像記録部２Ａと、被写体に向けられ撮影中の音声を記録する音声記録部２Ｂとを備える。
【００３７】
図１０に示すように、映像処理装置３は、撮影装置２から入力された映像に最適な処理を施して出力する装置であって、所謂コンピュータにより構成されており、ハードウェア資源として設けられた演算手段としてのＣＰＵ３１、ＲＯＭ，ＲＡＭ等を含む記憶手段３２、入力手段３３、映像を入出力するための入出力ＩＦ３４等を備える。記憶手段３２には、入力された映像を処理するためのプログラム及びデータベース７が格納される。ＣＰＵ３１が記憶手段３２に格納されたプログラムに従って後述の処理を実行することにより、映像処理装置３を後述の各手段として機能させる。
【００３８】
データベース７は、上述のように作成された複数の映像補正データで構成され、入力された映像のシーンに対応して映像に効果を付与する映像補正データベースと、各シーンＳ１乃至Ｓ４を識別するための動画特徴量を含む動画特徴量データベースとを備える。
映像補正データベースは、会話シーンＳ１を補正するための映像補正データ、風景シーンＳ２を補正するための映像補正データ、花火シーンＳ３を補正するための映像補正データ、スポーツシーンＳ４を補正するための映像補正データとを含んで構成される。
動画特徴量データベースは、会話シーンＳ１を識別するための動画特徴量、風景シーンＳ２を識別するための動画特徴量、花火シーンＳ３を識別するための動画特徴量、スポーツシーンＳ４を識別するための動画特徴量とを含んで構成される。各シーンＳ１乃至Ｓ４を示す動画特徴量は、例えば、予め上記シーンＳ１乃至Ｓ４それぞれに分類したサンプル映像に含まれる動画を、後述のシーン識別手段において用いられる画像分解と同じ手法により作成される。
【００３９】
映像処理装置３は、映像入力手段９と、映像分離手段１０と、動作モード切替手段１１と、シーン識別手段１２と、映像効果付与手段１３と、出力手段１４とを備える。
映像入力手段９は、撮影装置１で撮影された映像が入力される。
映像分離手段１０は、入力された映像を動画と、音とに分離する。即ち、映像分離手段１０は、入力された映像信号を動画信号と、音信号とに分離するフィルター処理を行う。
動作モード切替手段１１は、入力された映像の処理経路を切り替える。動作モード切替手段１０は、例えば、入力手段３３として映像処理装置３に設けられた切り替えスイッチの操作により、入力される映像の識別を自動で行う自動モード、又は、映像の識別を手動で行うマニュアルモード等の切り替えを実行する。マニュアルモードを選択した場合には、会話シーンＳ１、風景シーンＳ２、花火シーンＳ３、スポーツシーンＳ４等のシーンが選択される。
【００４０】
シーン識別手段１２は、例えば、映像分離手段１０により分離された動画に基づいて、シーンを個別に識別可能に構成される。シーン識別手段１２により識別される映像シーンは、例えば、一般的に撮影頻度の高い、パーティでの会話を撮影した「会話シーンＳ１」、海の光景を撮影した「風景シーンＳ２」、打ち上げ花火を撮影した「花火シーンＳ３」、スポーツの速い動きを撮影した「スポーツシーンＳ４」等を想定した。
シーン識別手段１２は、例えば動画識別部１２Ａを備え、記憶手段３２に格納された動画特徴量に基づいて動画のシーンを識別する。例えば、動画識別部１２Ａでは、動画を構成する各静止画像に含まれる色情報をＬ＊ａ＊ｂで示す色空間に分解し、動画特徴量と比較することで、対応するシーンを識別する。シーン識別手段１２は、識別したシーンの情報をシーン情報として映像効果付与手段１３に出力する。なお、シーンの識別は上記例に限定されず、音や、動画と音に基づいて識別するように構成しても良い。
【００４１】
映像効果付与手段１３は、シーン識別手段１２から入力されたシーン情報に対応する映像補正データを記憶手段３２に格納された映像補正データベースから読み出すとともに、当該映像補正データに基づいて入力された映像を補正する。映像効果付与手段１３は、動画を補正する動画補正部１３Ａと、音を補正する音補正部１３Ｂとを備え、映像補正データに含まれるビデオエフェクト、オーディオエフェクトを個別に作用させることで、入力された映像を補正する。
出力手段１４は、映像効果付与手段１３により補正された動画及び音を、記録装置４及び表示装置５に出力する。
【００４２】
記録装置４は、動画記録部４Ａと音記録部４Ｂとを備え、映像処理装置３により補正された動画及び音を個別に記録する。
表示出力装置５は、例えば液晶モニター及びスピーカーにより構成され、補正後の動画及び音を出力する。
【００４３】
図１１は、映像処理装置３の動作を示すフローチャートである。以下、映像を自動的に認識し、処理する場合について説明する。
まず、情報入力手段９に入力される映像を映像分離手段１０により動画と音とに分離する（Ｓ１０１）。
次に、シーン識別手段１２により、Ｓ１０１で分離された動画を動画空間に分解する（Ｓ１０２）。
次に、シーン識別手段１２により、Ｓ１０２で分解された動画のシーンを識別する（Ｓ１０３）。
次に、映像効果付与手段１３により、Ｓ１０３で識別されたシーンに基づいて映像補正データをデータベース７から読み込む（Ｓ１０４）。
次に、映像効果付与手段１３により、Ｓ１０４で読み込んだ映像補正データに基づいて、動画補正部１３Ａが動画を補正するとともに、音補正部１３Ｂが音を補正する（Ｓ１０５）。
次に、出力手段１４により、Ｓ１０５で補正された動画及び音を出力（Ｓ１０６）して終了する。
なお、上記入力手段５の操作によりマニュアルモードを選択した場合には、Ｓ１０３の処理が回避される。
【００４４】
映像処理装置１は、例えば、ビデオカメラ等の記録装置や、テレビ、ブルーレイディスクプレイヤー、ＤＶＤプレイヤー等の再生装置に搭載することにより、入力される映像のシーンに応じた臨場感のある映像を提供することができる。また、ビデオカメラの例に限定されず、被写体を連続的に撮像した動画像を記録可能な任意の電子機器であれば、例えば、動画撮像機能を有するデジタルスチルカメラ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、携帯型の映像／音楽プレイヤー、ゲーム機などにも適用できる。
【００４５】
上記実施形態では映像補正データを主観評価により作成するものとして説明したが、以下に示すように客観評価により作成することも可能である。客観評価には、例えば、脳血流量や心電図を計測することで、映像を見たときの人の生理的反応を取得することができる。
脳血流量の計測では、脳血流内の酸化ヘモグロビン濃度の変化量を非侵襲的に測定する近赤外分光法（以下、ＮＩＲＳという）が利用できる。この際、視覚及び聴覚刺激を捉える視覚野及び聴覚野が存在する後頭葉及び側頭葉に加え、情動をつかさどるとされる前頭前野が存在する前頭葉の活動が映像の好感度に大きく関連するものとし、各部の脳血流量測定により脳の活性状態を評価する。心電図では、心電波形からＬＦ成分（０．０５〜０．１５Ｈｚ）とＨＦ成分（０．１５〜０．４０Ｈｚ）を用いて交感神経と副交感神経の優位さの検討に有効な指標ＬＦ／ＨＦを算出する。なお、被験者に体験させる映像は、上述の主観評価と同内容とした。
【００４６】
図１２は、客観評価を実施する際のタイムプロトコルである。客観評価は、図１２に示すタイムプロトコルに従い、主観評価と同様に被験者に対して動画及び音効果に分けて行った。図中のＡには基準となる基準動画Ｎ又は基準音ＭＥを、Ｂ，Ｃ，Ｄでは、異なる効果を施した動画及び音を再生した。なお、動画効果による実験においては前頭葉及び後頭葉、音効果では前頭葉と側頭葉の脳血流を測定した。
【００４７】
図１３（ａ）は、ある被験者のＮＩＲＳによる動画効果での前頭葉における脳血流量変化を、図１３（ｂ）は、音効果での脳血流量変化を示している。図１３に示すように、Ｏｘｙ−Ｈｂの増加により脳の活性化が確認できるため、本結果では、映像の好感度が上昇したと判断し、全４シーンについて主観評価による印象変化における快適性の上昇と一致する。
【００４８】
図１４は、動画の効果及び音の効果により脳血流量が変化した部位を示す図である。図１４（ａ）に示すように、動画の効果を施したときには、前頭葉の上部中央において脳血流量が変化することが分かった。また、図１４（ｂ）に示すように、音の効果を施したときには、前頭葉下部右側で脳血流量が変化することが分かった。したがって、ＮＩＲＳによる客観評価では、それらの部位の血流量を測定することで、映像の好感度を取得することができる。
【００４９】
図１５（ａ）は、動画効果での心電計測によるＬＦ／ＨＦの算出結果、図１５（ｂ）は、音効果での心電計測によるＬＦ／ＨＦの算出結果である。本実施形態では、Ｂ〜ＤのＬＦ／ＨＦをＡにより正規化した変化比を算出し、値が大きいほどストレス負荷が減少するため、主観評価における高好感度と判断する。これにより、音の効果では、会話シーンＳ１でＩＣ、シーンＳ３でＬｏのストレス負荷が減少し、主観評価と同様の結果を得た。したがって、心電による客観評価では、音の効果に対して映像の好感度を取得することができる。
以上のことから、映像に効果を施した際に、効果に応じた生理的反応が主観評価及び客観評価により得られることが確認された。
【符号の説明】
【００５０】
３  映像処理装置、７  データベース、１０  映像分離手段、１２  シーン識別手段、
１３  映像効果付与手段、１００  効果体験工程、２００  印象評価工程、
３００  因子分析工程、４００  回帰分析工程、５００  効果生成工程。
【図１】
0006739761.tif 000002
【図２】
0006739761.tif 000003
【図３】
0006739761.tif 000004
【図４】
0006739761.tif 000005
【図５】
0006739761.tif 000006
【図６】
0006739761.tif 000007
【図７】
0006739761.tif 000008
【図８】
0006739761.tif 000009
【図９】
0006739761.tif 000010
【図１０】
0006739761.tif 000011
【図１１】
0006739761.tif 000012
【図１２】
0006739761.tif 000013
【図１３】
0006739761.tif 000014
【図１４】
0006739761.tif 000015
【図１５】
0006739761.tif 000016