(57)【要約】【課題】コンテンツから臨場感の高いシーンを抽出するシーン抽出装置を提供する。【解決手段】シーン抽出装置１は、時間区間ごとに、コンテンツの映像、音響特徴量を分析し、コンテンツを構成する信号の特徴量に対する臨場感の度合いを予め学習した臨場感学習データから臨場感推定値を算出する臨場感推定手段１０と、予め設定された閾値に基づいて、時間区間ごとに臨場感が高いか否かを判定する判定手段５０と、臨場感が高いと判定された時間区間に対応するシーンをコンテンツから抽出する抽出手段６０と、を備える。【選択図】図１
2018007134.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツの所定の特徴量の学習によって定義された臨場感により、コンテンツから臨場感の高いシーンを抽出するシーン抽出装置であって、
前記コンテンツを構成する信号の前記特徴量に対する臨場感の度合いを予め学習した臨場感学習データを記憶する臨場感学習データ記憶手段と、
少なくとも臨場感を分析するための前記信号の時間間隔および時間幅と、臨場感が高いか否かの判定基準となる閾値とを設定情報として記憶する設定情報記憶手段と、
重複区間を含んで所定の前記時間間隔だけずれた所定の前記時間幅の時間区間ごとに、前記コンテンツの前記特徴量を分析し、前記臨場感学習データから、前記臨場感の度合いを臨場感推定値として算出する臨場感推定手段と、
前記時間区間に対応付けて前記臨場感推定値を記憶する臨場感推定値記憶手段と、
予め設定された前記閾値に基づいて、前記臨場感推定値が対応付けられた前記時間区間のシーンの臨場感が高いか否かを判定する判定手段と、
この判定手段の判定結果を記憶する判定結果記憶手段と、
この判定結果記憶手段に記憶されている臨場感が高いと判定された時間区間に対応するシーンを前記コンテンツから抽出する抽出手段と、
を備えることを特徴とするシーン抽出装置。
【請求項２】
前記臨場感推定手段は、前記コンテンツを構成する信号ごとに個別臨場感推定値を算出し、それらの最大値、平均値または重み付け加算値を、前記臨場感推定値とすることを特徴とする請求項１に記載のシーン抽出装置。
【請求項３】
前記臨場感推定手段は、前記コンテンツを構成する信号ごとに個別臨場感推定値を算出して前記臨場感推定値記憶手段に記憶し、
前記判定手段は、前記時間区間ごとに、複数の前記個別臨場感推定値の最大値、平均値または重み付け加算値を前記臨場感推定値として算出し、予め設定された前記閾値に基づいて臨場感が高いか否かを判定することを特徴とする請求項１に記載のシーン抽出装置。
【請求項４】
前記設定情報として、前記コンテンツにおける前記臨場感が高いと判定するシーンの時間長または割合を予め前記設定情報記憶手段に記憶し、
前記判定手段は、前記臨場感推定値の高い時間区間から順に、前記時間長または前記割合に達する臨場感推定値を前記閾値とすることを特徴とする請求項１から請求項３のいずれか一項に記載のシーン抽出装置。
【請求項５】
前記閾値は、前記臨場感推定値を前記臨場感の高さに応じて予め定めた複数の値であって、
前記判定手段は、前記時間区間に、前記時間区間の臨場感推定値と複数の前記閾値とを比較することで、当該時間区間に前記臨場感の高さのレベルを設定し、
前記抽出手段は、外部から指定されたレベルが設定されている前記時間区間に対応するシーンを前記コンテンツから抽出することを特徴とする請求項１から請求項３のいずれか一項に記載のシーン抽出装置。
【請求項６】
前記設定情報として、最短シーン抽出時間を予め前記設定情報記憶手段に記憶し、
前記抽出手段は、前記臨場感の高いシーンとして、前記最短シーン抽出時間以上のシーンのみを抽出することを特徴とする請求項１から請求項５のいずれか一項に記載のシーン抽出装置。
【請求項７】
前記設定情報として、最大シーン抽出数を予め前記設定情報記憶手段に記憶し、
前記抽出手段は、前記臨場感の高いシーンとして、前記最大シーン抽出数を上限としてシーンを抽出することを特徴とする請求項１から請求項６のいずれか一項に記載のシーン抽出装置。
【請求項８】
前記設定情報として、糊代時間を予め前記設定情報記憶手段に記憶し、
前記抽出手段は、前記臨場感が高いと判定された時間区間に、前記糊代時間を付加した時間区間に対応するシーンを前記コンテンツから抽出することを特徴とする請求項１から請求項７のいずれか一項に記載のシーン抽出装置。
【請求項９】
前記臨場感推定手段は、前記コンテンツの特徴量と感情の度合いとを予め学習した学習データによって前記コンテンツから前記時間区間ごとの感情推定値を算出し、
前記判定手段は、前記臨場感推定値と前記感情推定値との重み付け加算値によって、前記臨場感が高いか否かを判定することを特徴とする請求項１から請求項８のいずれか一項に記載のシーン抽出装置。
【請求項１０】
コンピュータを、請求項１から請求項９のいずれか一項に記載のシーン抽出装置の各手段として機能させるためのシーン抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声コンテンツから、視聴者の主観的印象に基づいてシーンを抽出するシーン抽出装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来、映像音声コンテンツから、要約映像、ダイジェスト映像等、ある被写体を抽出する手法が存在する。
この従来の手法として、映像の動きの特徴量である動きベクトル等を用いて映像音声コンテンツから特定のシーンを抽出する手法、顔認識技術を用いて特定の人物が映っているシーンを抽出する手法等、映像特徴量に基づいてシーンを抽出する手法がある（例えば、特許文献１，２参照）。
また、従来の手法として、音声の音響特徴から発話を検出して、発話シーンを抽出する手法がある（例えば、特許文献３参照）。
このように、映像音声コンテンツから、要約映像、ダイジェスト映像等、部分的にシーンを抽出する手法は、映像あるいは音声の特徴量から、具体的な被写体を客観的に抽出する手法が一般的である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１０２６５号公報
【特許文献２】特開２００８−２８７５９４号公報
【特許文献３】特開２０１４−３３４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の手法は、映像音声コンテンツから客観的な特徴のみで具体的な被写体を抽出するため、抽象的な印象である臨場感の高いシーンを抽出することができないという問題がある。
ここで臨場感とは、あたかもその場にいるような感覚をいう。例えば、「井ノ上，超臨場感コミュニケーションにおける人の感じる臨場感評価，社団法人電子情報通信学会，信学技報，ＣＱ２００８−４７，ｐｐ．７−１２，２００８」では、臨場感は、質感等の空間要素、同時感等の時間要素、情感等の身体要素で構成され、視覚、聴覚等の外的要因や過去の経験等の内的要因の影響を受けて人が感じるものとされている。
すなわち、臨場感の高いシーンは、映像音声コンテンツの客観的な特徴では抽出することはできず、人の主観的な印象に基づいて抽出する必要がある。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、映像音声コンテンツから、主観的な印象を基準として、臨場感の高いシーンを抽出することが可能なシーン抽出装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明に係るシーン抽出装置は、コンテンツの所定の特徴量の学習によって定義された臨場感により、コンテンツから臨場感の高いシーンを抽出するシーン抽出装置であって、臨場感学習データ記憶手段と、設定情報記憶手段と、臨場感推定手段と、臨場感推定値記憶手段と、判定手段と、判定結果記憶手段と、抽出手段と、を備える構成とした。
【０００７】
かかる構成において、シーン抽出装置は、臨場感学習データ記憶手段に、コンテンツを構成する映像信号、音響信号等の信号の特徴量に対する臨場感の度合いを予め学習した臨場感学習データを記憶しておく。この臨場感学習データは、例えば、ニューラルネットワーク、機械学習等により学習したデータである。また、シーン抽出装置は、設定情報記憶手段に、少なくとも臨場感を分析するための前記信号の時間間隔および時間幅と、臨場感が高いか否かの判定基準となる閾値とを設定情報として予め記憶しておく。
【０００８】
そして、シーン抽出装置は、臨場感推定手段によって、コンテンツの特徴量を分析し、臨場感学習データから、臨場感の度合いを臨場感推定値として算出する。このとき、臨場感推定手段は、重複区間を含んで所定の時間間隔だけずれた所定の時間幅の時間区間ごとに、コンテンツの臨場感推定値を算出し、時間区間に対応付けて臨場感推定値を臨場感推定値記憶手段に記憶する。このように、重複区間を持たせることで、臨場感推定手段は、所定の時間間隔で臨場感を推定する際に、臨場感推定値を算出するために十分な時間を確保することができる。
これによって、シーン抽出装置は、人が主観的な印象として感じるコンテンツの時間の経過に伴って変化する臨場感の状態を、時間区間単位で、時系列の臨場感推定値として求めることができる。
【０００９】
そして、シーン抽出装置は、判定手段によって、予め設定された閾値に基づいて、臨場感推定値が対応付けられた時間区間のシーンの臨場感が高いか否かを判定し、判定結果を、判定結果記憶手段に記憶する。なお、閾値は、臨場感を判定する基準となる臨場感推定値そのもの（絶対閾値）であってもよいし、臨場感推定値の大きいものからどの程度の割合でシーンを抽出するのかを示す相対閾値であっても構わない。
これによって、シーン抽出装置は、時系列の時間区間において、臨場感が高いか否かを判定することができる。
【００１０】
そして、シーン抽出装置は、抽出手段によって、判定結果記憶手段に記憶されている臨場感が高いと判定された時間区間に対応するシーンをコンテンツから抽出する。すなわち、抽出手段は、臨場感が高いと判定された連続した時間区間のうちで、最初の時間区間の先頭時間から、最後の時間区間の終了時間までの時間に相当するシーンをコンテンツから抽出する。
これによって、シーン抽出装置は、視聴者の主観的な印象によって、コンテンツから臨場感の高いシーンを抽出することができる。
【００１１】
なお、シーン抽出装置は、コンピュータを、前記した各手段として機能させるためのシーン抽出プログラムで動作させることができる。
【発明の効果】
【００１２】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、従来のように、コンテンツの客観的な特徴ではなく、コンテンツに対する人が感じる主観的な印象に基づいて、コンテンツから臨場感の高いシーンを抽出することができる。
また、本発明によれば、コンテンツを構成する信号から、予め学習した臨場感学習データを用いて臨場感推定値を推定するため、高精度、かつ、自動的にコンテンツから臨場感の高いシーンを抽出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係るシーン抽出装置の構成を示すブロック構成図である。
【図２】図１の聴覚臨場感推定手段の構成を示すブロック構成図である。
【図３】図１の視覚臨場感推定手段の構成を示すブロック構成図である。
【図４】図１の感覚臨場感推定手段の構成を示すブロック構成図である。
【図５】臨場感を推定する時間区間を説明するための説明図である。
【図６】図１の臨場感推定値／判定結果記憶手段に記憶するデータの構造例を示すデータ構造図である。
【図７】本発明の第１実施形態に係るシーン抽出装置への設定装置による設定動作を示すフローチャートである。
【図８】本発明の第１実施形態に係るシーン抽出装置の動作を示すフローチャートである。
【図９】図８の臨場感推定動作の詳細を示すフローチャートである。
【図１０】図８の臨場感判定動作の詳細を示すフローチャートである。
【図１１】本発明の第２実施形態に係るシーン抽出装置の構成を示すブロック構成図である。
【図１２】図１１の臨場感推定値／判定結果記憶手段に記憶するデータの構造例を示すデータ構造図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。
≪第１実施形態≫
〔シーン抽出装置の構成〕
まず、図１を参照して、本発明の第１実施形態に係るシーン抽出装置１の構成について説明する。
【００１５】
シーン抽出装置１は、映像音声コンテンツ（以下、コンテンツ）Ｃから、臨場感の高いシーンを抽出するものである。このシーン抽出装置１は、抽出したシーンを表示装置２に出力する。
なお、コンテンツＣは、映像信号および音響信号以外にも、時系列の感覚信号を含んでいてもよい。この感覚信号は、例えば、ホームシアター、映画館等の椅子に与える振動を再現するための振動の大きさを振幅で表した振動信号とすることができる。あるいは、感覚信号は、椅子の傾きを表す時系列の角度信号であってもよい。
また、ここでは、シーン抽出装置１は、ＰＣ（パーソナルコンピュータ）等の設定装置３を外部に接続し、予め各種の設定情報を設定されるものとする。
図１に示すように、シーン抽出装置１は、臨場感推定手段１０と、臨場感学習データ記憶手段２０と、臨場感推定値／判定結果記憶手段３０と、設定情報記憶手段４０と、判定手段５０と、抽出手段６０と、を備える。
【００１６】
臨場感推定手段１０は、設定情報記憶手段４０から時間間隔、時間幅を読み込み、コンテンツＣから時間単位で臨場感の度合いを示す臨場感推定値を算出するものである。すなわち、臨場感推定手段１０は、重複区間を含んで所定の時間間隔だけずれた所定の時間幅の時間区間ごとに、コンテンツＣの特徴量を分析し、臨場感学習データ記憶手段２０に記憶されている臨場感学習データから、臨場感の度合いを臨場感推定値として算出する。
ここでは、臨場感推定手段１０は、聴覚臨場感推定手段１１と、視覚臨場感推定手段１２と、感覚臨場感推定手段１３と、臨場感特定手段１４と、を備える。
【００１７】
聴覚臨場感推定手段１１は、コンテンツＣの音響信号から、臨場感推定値を算出するものである。この聴覚臨場感推定手段１１は、図２に示すような構成とすることができる。
図２に示すように、聴覚臨場感推定手段１１は、音響信号分析手段１１０と、聴覚臨場感算出手段１１１と、を備える。
【００１８】
音響信号分析手段１１０は、所定の時間間隔ごとに、所定の時間幅で、コンテンツＣの音響信号を分析して音響特徴量を抽出するものである。ここでいう時間間隔は、音響特徴量を抽出する時系列の時間区間において、時間区間の先頭の時間と、次の時間区間の先頭の時間との間隔をいう。また、ここでいう時間幅は、音響特徴量を抽出する時間区間の長さをいう。
この音響信号分析手段１１０は、例えば、図５に示すように、所定の時間間隔として０．５秒間隔、所定の時間幅として３秒幅の音響信号を逐次分析する。
【００１９】
また、音響信号分析手段１１０は、音響特徴量として、例えば、ラウドネス、シャープネス、ラフネス、ダイナミックレンジ（９５％時間率音圧レベルに対する５％時間率音圧レベルの相対レベル）、音像の動き（動きの有無〔１，０〕、または、仰角・水平角の変化で表現）等を求める。また、音響信号が左右２チャンネルであれば、音響信号分析手段１１０は、両耳間相互相関度、両耳間レベル差、両耳間位相差を音響特徴量としてもよい。
【００２０】
なお、これら音響分析の手法は、一般的なものであるため説明を省略する。また、音響信号分析手段１１０が求める音響特徴量は、音響分析可能なものであれば、例示したものに限定されないことは言うまでもない。
ただし、音響信号分析手段１１０が求める音響特徴量は、後記する臨場感学習データ記憶手段２０に記憶されている臨場感学習データを学習する際に用いた音響特徴量と同じ特徴量とする。この音響信号分析手段１１０は、所定の時間間隔および所定の時間幅で求めた音響特徴量を、順次、聴覚臨場感算出手段１１１に出力する。
【００２１】
聴覚臨場感算出手段１１１は、臨場感学習データ記憶手段２０に記憶されている臨場感学習データに基づいて、音響信号分析手段１１０で分析された音響特徴量から聴覚臨場感推定値（個別臨場感推定値）を算出するものである。
ここでは、聴覚臨場感算出手段１１１は、臨場感学習データとして予め学習してある、複数の音響特徴量から聴覚臨場感推定値を算出するニューラルネットワークの関数により、入力した所定の時間幅の複数の音響特徴量から聴覚臨場感推定値を算出する。なお、聴覚臨場感推定値は、正規化（例えば、０〜１の範囲）された値とする。
この聴覚臨場感算出手段１１１は、算出した聴覚臨場感推定値を臨場感特定手段１４に出力する。
図１に戻って、シーン抽出装置１の構成について説明を続ける。
【００２２】
視覚臨場感推定手段１２は、コンテンツＣの映像信号から、視覚臨場感推定値を算出するものである。この視覚臨場感推定手段１２は、図３に示すような構成とすることができる。
図３に示すように、視覚臨場感推定手段１２は、映像信号分析手段１２０と、視覚臨場感算出手段１２１と、を備える。
【００２３】
映像信号分析手段１２０は、所定の時間間隔ごとに、所定の時間幅で、コンテンツＣの映像信号を分析して映像特徴量を抽出するものである。
この映像信号の分析を行う時間間隔は、音響信号分析手段１１０が音響信号を分析する時間と同じとする。
この映像信号分析手段１２０は、映像特徴量として、例えば、所定の時間幅のフレーム区間における輝度特徴（輝度の平均値、標準偏差、歪度）、彩度特徴（彩度の平均値、標準偏差、歪度）、色相特徴（赤、黄、青等の所定の色相値ごとの平均画素数）、移動物体特徴（移動物体が占める画素数の平均値、移動物体が占める画素数の９５パーセンタイル値と５パーセンタイル値との差）等を求める。
【００２４】
なお、これら映像分析の手法は、一般的なものであるため説明を省略する。また、映像信号分析手段１２０が求める映像特徴量は、映像分析可能なものであれば、例示したものに限定されないことは言うまでもない。
ただし、映像信号分析手段１２０が求める映像特徴量は、後記する臨場感学習データ記憶手段２０に記憶されている臨場感学習データを学習する際に用いた映像特徴量と同じ特徴量とする。
この映像信号分析手段１２０は、所定の時間間隔および所定の時間幅で求めた映像特徴量を、順次、視覚臨場感算出手段１２１に出力する。
【００２５】
視覚臨場感算出手段１２１は、臨場感学習データ記憶手段２０に記憶されている臨場感学習データに基づいて、映像信号分析手段１２０で分析された映像特徴量から視覚臨場感推定値（個別臨場感推定値）を算出するものである。
ここでは、視覚臨場感算出手段１２１は、臨場感学習データとして予め学習してある、複数の映像特徴量から視覚臨場感推定値を算出するニューラルネットワークの関数により、入力した所定の時間幅の複数の映像特徴量から視覚臨場感推定値を算出する。なお、視覚臨場感推定値は、正規化（例えば、０〜１の範囲）された値とする。
この視覚臨場感算出手段１２１は、算出した視覚臨場感推定値を臨場感特定手段１４に出力する。
図１に戻って、シーン抽出装置１の構成について説明を続ける。
【００２６】
感覚臨場感推定手段１３は、コンテンツＣの感覚信号から、感覚臨場感推定値を算出するものである。この感覚臨場感推定手段１３は、図４に示すような構成とすることができる。
図４に示すように、感覚臨場感推定手段１３は、感覚信号分析手段１３０と、感覚臨場感算出手段１３１と、を備える。
【００２７】
感覚信号分析手段１３０は、所定の時間間隔ごとに、所定の時間幅で、コンテンツＣの感覚信号を分析して感覚特徴量を抽出するものである。
この感覚信号の分析を行う時間間隔は、音響信号分析手段１１０が音響信号を分析する時間と同じとする。
この感覚信号分析手段１３０は、感覚信号として振動信号を用いる場合、例えば、所定の時間幅の振幅特徴（振幅の平均値、標準偏差、最大振幅と最小振幅との差）、周期情報（周期の平均値、標準偏差、最大周期と最小周期との差）等を求める。
また、感覚信号分析手段１３０は、感覚信号として角度信号を用いる場合、例えば、所定の時間幅の角度変位特徴として、水平からの角度の平均値、標準偏差、最大角度変位等を求める。
【００２８】
なお、これら分析手法は、一般的なものであるため説明を省略する。また、感覚信号分析手段１３０が求める感覚特徴量は、感覚として分析可能なものであれば、例示したものに限定されないことは言うまでもない。
ただし、感覚信号分析手段１３０が求める感覚特徴量は、後記する臨場感学習データ記憶手段２０に記憶されている臨場感学習データを学習する際に用いた感覚特徴量と同じ特徴量とする。
この感覚信号分析手段１３０は、所定の時間間隔および所定の時間幅で求めた感覚特徴量を、順次、感覚臨場感算出手段１３１に出力する。
【００２９】
感覚臨場感算出手段１３１は、臨場感学習データ記憶手段２０に記憶されている臨場感学習データに基づいて、感覚信号分析手段１３０で分析された感覚特徴量から感覚臨場感推定値（個別臨場感推定値）を算出するものである。
ここでは、感覚臨場感算出手段１３１は、臨場感学習データとして予め学習してある、複数の感覚特徴量から感覚臨場感推定値を算出するニューラルネットワークの関数により、入力した所定の時間幅の複数の感覚特徴量から感覚臨場感推定値を算出する。なお、感覚臨場感推定値は、正規化（例えば、０〜１の範囲）された値とする。
この感覚臨場感算出手段１３１は、算出した感覚臨場感推定値を臨場感特定手段１４に出力する。
【００３０】
臨場感特定手段１４は、聴覚臨場感推定手段１１、視覚臨場感推定手段１２および感覚臨場感推定手段１３でそれぞれ推定された時間区間の個別臨場感推定値から、当該時間区間の代表となる臨場感推定値（代表値）を特定するものである。
ここでは、臨場感特定手段１４は、個別臨場感推定値（聴覚臨場感推定値、視覚臨場感推定値、感覚臨場感推定値）のうちの最大値を当該時間区間における臨場感推定値とする。ただし、この臨場感特定手段１４は、必ずしも最大値で臨場感推定値を特定する必要はなく、例えば、平均値、重み付け加算等の統計量によって、臨場感推定値を特定することとしてもよい。
【００３１】
なお、重み付け加算で臨場感推定値を特定する場合、臨場感特定手段１４は、予め設定情報記憶手段４０に記憶させたそれぞれの個別臨場感推定値（聴覚臨場感推定値、視覚臨場感推定値、感覚臨場感推定値）の重み係数を読み込む。あるいは、コンテンツＣに予めコンテンツの内容を分類した情報をタグとして付加しておき、臨場感特定手段１４は、重み係数として、タグで示される分類ごとに予め定めた値を用いることとしてもよい。例えば、コンテンツＣの分類が「音楽番組」であれば、聴覚臨場感推定値の重みを大きくし、コンテンツＣの分類が「紀行番組」であれば、視覚臨場感推定値の重みを大きくする等である。
この臨場感特定手段１４は、特定した臨場感推定値を、コンテンツＣの先頭からの経過時間に対応付けて、順次、臨場感推定値／判定結果記憶手段３０に書き込み記憶する。
【００３２】
臨場感学習データ記憶手段２０は、コンテンツＣを構成する信号（音響信号、映像信号および感覚信号）の特徴量に対する臨場感の度合いを予め学習した学習データ（臨場感学習データ）を記憶するものである。この臨場感学習データ記憶手段２０は、ハードディスク等の一般的な記録媒体で構成することができる。
この臨場感学習データは、複数のコンテンツにおいて複数の被験者が主観評価した結果を予め学習したものであって、複数の特徴量から臨場感を推定するモデルとして、ニューラルネットワーク等で定義される。
【００３３】
例えば、臨場感学習データの学習は、評価用コンテンツに含まれる音響信号、映像信号および感覚信号をそれぞれ被験者に提示し、それぞれの信号ごとに、臨場感を「全く感じない」から「非常に感じる」までを複数のレベル（例えば、７段階）で時間の経過とともに評価してもらう。そして、音響信号、映像信号および感覚信号のそれぞれの所定の時間幅（例えば、０．５秒）ごとの特徴量と、その時間幅の区間における全被験者が感じた臨場感のレベルの平均値とから、ニューラルネットワークを学習する。ここでは、ニューラルネットの出力は、正規化（例えば、０〜１の範囲）された値とする。
【００３４】
なお、臨場感学習データの学習における音響信号の特徴量は、音響信号分析手段１１０（図２参照）で分析する音響特徴量と同じものである。また、臨場感学習データの学習における映像信号の特徴量は、映像信号分析手段１２０（図３参照）で分析する映像特徴量と同じものである。また、臨場感学習データの学習における感覚信号の特徴量は、感覚信号分析手段１３０（図４参照）で分析する感覚特徴量と同じものである。
このように、臨場感学習データをニューラルネットワークで学習することで、複数の特徴量から臨場感を推定するモデルを構築することができる。もちろん、この臨場感学習データは、ニューラルネットワークに限定されず、一般的な機械学習によって、複数の特徴量から臨場感を推定するモデルを構築することができる。
【００３５】
臨場感推定値／判定結果記憶手段（臨場感推定値記憶手段、判定結果記憶手段）３０は、臨場感推定手段１０で推定されたコンテンツＣの時間区間ごとの臨場感推定値を、コンテンツＣの先頭からの経過時間に対応付けて記憶するものである。
さらに、臨場感推定値／判定結果記憶手段３０は、各時間区間の臨場感推定値が視聴者に対して臨場感を与えるか否かについて、判定手段５０によって判定した結果（例えば、フラグ）を記録する領域を有する。
【００３６】
例えば、臨場感推定値／判定結果記憶手段３０は、図６に示すように、時間（先頭からの経過時間）、臨場感推定値、判定結果（総合判定結果、閾値判定結果、順位）を記録する領域を有する。時間および臨場感推定値は、臨場感推定手段１０によって書き込まれ、判定結果は、判定手段５０によって書き込まれる。この判定結果における総合判定結果、閾値判定結果、順位については、判定手段５０の説明において詳細に説明する。
【００３７】
この臨場感推定値／判定結果記憶手段３０は、半導体メモリ等の一般的な記録媒体で構成することができる。なお、臨場感推定値／判定結果記憶手段３０は、時間区間ごとに臨場感推定値を記憶する臨場感推定値記憶手段、時間区間ごとに判定結果を記憶する判定結果記憶手段のように個別の手段として構成してもよい。
【００３８】
設定情報記憶手段４０は、設定装置３で設定された各種情報を記憶するものであって、半導体メモリ等の一般的な記録媒体で構成することができる。ここでは、設定情報記憶手段４０は、設定装置３によって、閾値、抽出条件、糊代時間が書き込まれる。
【００３９】
閾値は、臨場感が高いか否かの判定基準となる値である。ここでは、設定装置３が、表示装置２に表示した設定画面を介して閾値を入力し、シーン抽出装置１に設定する。
この閾値は、固定の値である絶対閾値としてもよいし、コンテンツＣ内の時間長によって変動する値である相対閾値としてもよい。
例えば、閾値を絶対閾値とする場合、設定装置３は、臨場感推定値の範囲内（例えば、０〜１の範囲）で、閾値の設定を行う。すなわち、設定装置３は、表示装置２の画面上に表示した設定画面を介して視聴者によって設定される値（例えば、０．８）を閾値として設定する。
【００４０】
また、例えば、閾値を相対閾値とする場合、設定装置３は、コンテンツＣ全体のうちで臨場感推定値の高い方からシーンを抽出する時間長あるいは割合を設定する。すなわち、設定装置３は、表示装置２の画面上に表示した設定画面を介して視聴者によって設定される時間長（例えば、５分）または割合（例えば、８０％）を、閾値を算出するための情報として設定する。この時間長あるいは割合は、後記する判定手段５０において、相対閾値を算出する際に使用される。
【００４１】
抽出条件は、シーンを抽出するための条件である。この抽出条件は、例えば、最短シーン抽出時間、最大シーン抽出数、表示順序等である。
最短シーン抽出時間は、臨場感の高いシーンとして少なくともその臨場感が継続する最短時間である。すなわち、最短シーン抽出時間は、たとえ、臨場感が高いとして判定されたシーンであっても、その時間が短時間である場合には、抽出を行わないようにする制限時間である。
最大シーン抽出数は、抽出するシーンの最大数である。すなわち、最大シーン抽出数は、コンテンツＣに臨場感の高いシーンが多く含まれている場合、シーンを抽出する数の上限を示す。
表示順序は、臨場感の高いシーンとして表示装置２に抽出して表示するシーンの表示の順番を示す。例えば、表示順序は、コンテンツＣの再生時間に合わせた順番とする、臨場感推定値の高い順番とする等である。
【００４２】
ここでは、設定装置３が、表示装置２に表示した設定画面を介して、最短シーン抽出時間、最大シーン抽出数、表示順序等を識別する識別情報とともに、各情報の具体的な値（抽出時間、抽出数等）を入力し、シーン抽出装置１に設定する。また、表示順序は、再生時間順、臨場感推定値の高い順等に予め固有の値を定めておく。
【００４３】
糊代時間は、臨場感の高いシーンとして抽出するシーンの前後に余分に付加する糊代の時間である。この糊代時間は、臨場感の高いシーンだけを厳密に抽出するのではなく、前後の余韻を含めて抽出を行うための時間である。なお、糊代時間は、シーン前後で同じ時間を設定しても、異なる時間を設定してもよい。ここでは、設定装置３が、表示装置２に表示した設定画面を介して、糊代時間を入力し、シーン抽出装置１に設定する。
【００４４】
判定手段５０は、設定情報記憶手段４０に記憶されている設定情報に基づいて、臨場感推定手段１０で臨場感推定値が対応付けられた時間区間のシーンの抽出を行うか否かを判定するものである。
ここでは、判定手段５０は、図６に示すように、判定結果として、閾値判定結果と、順位と、総合判定結果とを臨場感推定値／判定結果記憶手段３０に書き込む。
【００４５】
「閾値判定結果」は、当該時間区間が、設定された閾値以上の臨場感推定値であるか否かの判定結果を示す。具体的には、判定手段５０は、設定情報記憶手段４０に記憶されている閾値と、臨場感推定値／判定結果記憶手段３０に記憶されている臨場感推定値とを比較し、臨場感推定値が閾値以上であれば、当該時間区間は臨場感が高いと判定し、フラグをセットする。一方、判定手段５０は、臨場感推定値が閾値未満であれば、当該時間区間は臨場感が高くないと判定し、フラグをリセットする。例えば、図６の例では、閾値として“０．７”が設定され、臨場感推定値が閾値以上の時間区間（ｔ１，ｔ２，ｔ１０）に対してフラグ（“１”）を設定した状態を示している。
【００４６】
なお、閾値として、相対閾値を用いる場合、判定手段５０は、コンテンツＣ全体のうちで臨場感推定値の高い方から設定情報記憶手段４０に設定されている時間長あるいは割合に達する臨場感推定値を閾値とする。すなわち、判定手段５０は、臨場感推定値／判定結果記憶手段３０に記憶されている臨場感推定値の上位から、設定される時間長（例えば、５分）または割合（例えば、８０％）に達する臨場感推定値を閾値とする。
【００４７】
「順位」は、「閾値判定結果」で臨場感が高いと判定された（フラグがセットされた）連続した時間区間ごとに、その区間に設定されている最も高い臨場感推定値に基づいて上位から順に順位を付けた番号である。具体的には、判定手段５０は、臨場感推定値／判定結果記憶手段３０に記憶されている閾値判定結果でフラグが連続する区間が、設定情報記憶手段４０に記憶されている最短シーン抽出時間以上である連続時間区間であるかを探索するとともに、それぞれの連続時間区間に設定されている最も高い臨場感推定値に基づいて、連続時間区間を臨場感の高い順番に順位付けする。
なお、最短シーン抽出時間が設定されていない場合、判定手段５０は、閾値判定結果でフラグが連続するすべての時間区間を順位付けの対象とする。もちろん、予め定めたデフォルト値を最短シーン抽出時間として設けておくこととしてもよい。
【００４８】
例えば、図６の例では、閾値以上の臨場感推定値が最短シーン抽出時間以上連続する時間区間（ｔ１，ｔ２）、時間区間（ｔ１０）に、臨場感推定値の上位から、それぞれ、順位“１”、順位“１０”を設定した例を示している。もちろん、ここでは、中間の順位は図示を省略している。
【００４９】
「総合判定結果」は、「順位」によって臨場感推定値の順に順位付けされた時間区間のシーンが、設定された最大シーン抽出数のシーンであるか否かの判定結果を示す。具体的には、判定手段５０は、順位付けされたシーンの順番に、設定情報記憶手段４０に記憶されている最大シーン抽出数までを、抽出対象のシーンとして、当該シーンに対応する時間区間のフラグをセットし、他の時間区間のフラグをリセットする。
なお、最大シーン抽出数が設定されていない場合、判定手段５０は、抽出数の制限を設けないこととする。もちろん、予め定めたデフォルト値を最大シーン抽出数として設けておくこととしてもよい。
例えば、図６の例で、最大シーン抽出数を“５”とした場合、順位“１”の時間区間（ｔ１，ｔ２）には、総合判定結果のフラグがセットされ、順位“１０”の時間区間（ｔ１０）にはフラグがセットされないことになる。
【００５０】
この総合判定結果によって、抽出手段６０が、抽出するシーンを特定することができる。ここで、設定情報記憶手段４０に設定情報として糊代時間が設定されている場合、判定手段５０は、総合判定結果のフラグがセットされたシーンの前後の糊代時間分の時間区間にフラグをセットすることとする。これによって、抽出手段６０で抽出されるシーンの時間の前後に糊代時間分拡張されることになる。
【００５１】
また、設定情報記憶手段４０に設定情報として表示順序が設定されている場合、判定手段５０は、表示順序を示す値を臨場感推定値／判定結果記憶手段３０の総合判定結果のフラグがセットされたシーンごとに、表示順序の番号を付加することする（不図示）。なお、表示順序が設定されていない場合、判定手段５０は、予め定めたデフォルトの表示順序、例えば、臨場感推定値の高い順番で、表示順序の番号を付加する。なお、この表示順序は、臨場感推定値／判定結果記憶手段３０の「順序」（図６参照）を上書きして利用することとしてもよい。
【００５２】
抽出手段６０は、コンテンツＣから、臨場感の高いシーンを抽出するものである。この抽出手段６０は、コンテンツＣにおいて、臨場感推定値／判定結果記憶手段３０で臨場感の高いシーンとして判定されたシーンを抽出する。
具体的には、抽出手段６０は、臨場感推定値／判定結果記憶手段３０に記憶されている判定結果（具体的には、総合判定結果）でフラグがセットされているシーンを、設定されている表示順序で、最初の時間区間の先頭時間から、最後の時間区間の終了時間までの時間に相当する区間ごとに、コンテンツＣから順次読み込み再生し、表示装置２に出力する。
【００５３】
このとき、判定手段５０が最短シーン抽出時間以上の連続時間区間に対してフラグを設定することで、抽出手段６０は、最短シーン抽出時間以上のシーンのみを抽出することができる。また、判定手段５０が最大シーン抽出数を上限として連続時間区間に対してフラグを設定することで、抽出手段６０は、抽出するシーンの数を制限してシーンを抽出することができる。
なお、コンテンツＣに振動信号のような感覚信号が付加されている場合、抽出手段６０は、コンテンツＣの抽出時間に対応する感覚信号を、図示を省略した再現装置（例えば、振動再現装置）に出力すればよい。
これによって、抽出手段６０は、視聴者が設定した抽出方法によって、コンテンツＣから、高臨場感のシーンを抽出することができる。
【００５４】
以上説明したようにシーン抽出装置１を構成することで、シーン抽出装置１は、コンテンツＣの客観的な特徴量ではなく、視聴者の主観的な感覚に基づいて、臨場感の高いシーンを抽出することができる。
【００５５】
〔シーン抽出装置の動作〕
次に、図７〜図１０を参照（構成については適宜図１参照）して、本発明の第１実施形態に係るシーン抽出装置１の動作について説明する。なお、臨場感学習データ記憶手段２０には、音響信号、映像信号および感覚信号の特徴量に対する臨場感を予め学習した学習データ（臨場感学習データ）を記憶しておくものとする。また、設定情報記憶手段４０には、設定装置３によって予め各種設定情報を設定しておく。この設定動作について、図７を参照して説明する。
【００５６】
図７に示すように、設定装置３は、臨場感が高いか否かの判定基準となる閾値をシーン抽出装置１に設定する（ステップＳ１００）。すなわち、ステップＳ１００では、設定装置３が、表示装置２に設定画面を表示し、視聴者による閾値の設定を受け付ける。この閾値は、設定情報記憶手段４０に記憶される。
なお、閾値として、相対閾値を用いる場合、設定装置３は、視聴者によって、コンテンツＣ全体のうちで臨場感推定値の高い方からシーンを抽出する時間長あるいは割合を受け付け、設定情報記憶手段４０に記憶する。
【００５７】
また、設定装置３は、臨場感の高いシーンとして表示装置２に表示するシーンの抽出条件をシーン抽出装置１に設定する（ステップＳ１０１）。すなわち、ステップＳ１０１では、設定装置３が、表示装置２に設定画面を表示し、視聴者による抽出条件の設定を受け付ける。この抽出条件は、例えば、最短シーン抽出時間、最大シーン抽出数、表示順序等である。この抽出条件は、設定情報記憶手段４０に記憶される。
【００５８】
また、設定装置３は、臨場感の高いシーンとして抽出するシーンの前後に余分に付加する糊代時間をシーン抽出装置１に設定する（ステップＳ１０２）。すなわち、ステップＳ１０２では、設定装置３が、表示装置２に設定画面を表示し、糊代時間の設定を受け付ける。この糊代時間は、設定情報記憶手段４０に記憶される。
なお、以上説明したステップＳ１００からステップＳ１０２までの動作は、どのような順番で行っても構わない。
【００５９】
次に、図８を参照（適宜図１参照）して、シーン抽出装置１の全体動作について説明する。
シーン抽出装置１は、まず、設定情報記憶手段４０から各種設定情報を読み込む（ステップＳ１）。
ステップＳ１による各種設定の読み込み後、シーン抽出装置１は、臨場感推定手段１０によって、コンテンツＣの所定の時間間隔ごとに、所定の時間幅における臨場感を推定する（ステップＳ２）。
このステップＳ２の動作については、図９を参照してさらに詳細に説明する。
【００６０】
図９に示すように、臨場感推定手段１０は、聴覚臨場感推定手段１１、視覚臨場感推定手段１２および感覚臨場感推定手段１３によって、複数の信号（映像信号、音響信号、感覚信号）ごとに、所定の時間間隔、所定の時間幅で臨場感推定値を算出する（ステップＳ２０）。
すなわち、聴覚臨場感推定手段１１は、コンテンツＣの音響信号から、臨場感学習データ記憶手段２０に記憶されている臨場感学習データに基づいて、聴覚臨場感推定値を算出する。また、視覚臨場感推定手段１２は、コンテンツＣの映像信号から、臨場感学習データに基づいて、視覚臨場感推定値を算出する。また、感覚臨場感推定手段１３は、コンテンツＣの感覚信号から、臨場感学習データに基づいて、感覚臨場感推定値を算出する。
【００６１】
そして、シーン抽出装置１は、臨場感推定手段１０の臨場感特定手段１４によって、ステップＳ２０で算出された複数の臨場感推定値（聴覚臨場感推定値、視覚臨場感推定値、感覚臨場感推定値）の最大値を、その時間区間における臨場感推定値（代表値）として特定する（ステップＳ２１）。なお、ステップＳ２１では、最大値の代わりに、平均値、重み付け加算等の統計量を、その時間区間における臨場感推定値として特定してもよい。
【００６２】
そして、臨場感特定手段１４は、ステップＳ２１で特定された時間区間ごとの臨場感推定値（代表値）を、その時間区間に対応付けて臨場感推定値／判定結果記憶手段３０に書き込み記憶する（ステップＳ２２）。
【００６３】
ここで、シーン抽出装置１は、臨場感推定手段１０において、コンテンツＣを終了まで読み込んだか否かを判定する（ステップＳ２３）。そして、コンテンツＣのデータがまだ残っている場合（ステップＳ２３でＮｏ）、シーン抽出装置１は、ステップＳ２０に戻って次の時間区間での臨場感を推定する。
一方、コンテンツＣのデータの読み込みが完了した場合（ステップＳ２３でＹｅｓ）、シーン抽出装置１は、臨場感推定の動作を終了する。
このステップＳ２０からステップＳ２３までの動作によって、臨場感推定値が時系列に臨場感推定値／判定結果記憶手段３０に記憶されることになる。
図８に戻って、シーン抽出装置１の全体動作について説明を続ける。
【００６４】
ステップＳ２による臨場感の推定の後、シーン抽出装置１は、判定手段５０によって、時間区間ごとに、視聴者に対して臨場感を与えるシーンであるか否かを判定し、その結果を記録する（ステップＳ３）。
このステップＳ３の動作については、図１０を参照してさらに詳細に説明する。
【００６５】
図１０に示すように、判定手段５０は、臨場感推定値／判定結果記憶手段３０に記憶されている臨場感推定値が、設定情報記憶手段４０に記憶されている閾値以上の時間区間に閾値判定結果（図６参照）のフラグをセットする（ステップＳ３０）。このとき、臨場感推定値が閾値未満の時間区間についてはフラグをリセットする。
なお、閾値として、相対閾値を用いる場合、判定手段５０は、コンテンツＣ全体のうちで臨場感推定値の高い方から設定情報記憶手段４０に設定されている時間長あるいは割合に達する臨場感推定値を閾値とする。
【００６６】
そして、判定手段５０は、臨場感推定値／判定結果記憶手段３０に記憶されているステップＳ３０でフラグが設定された時間区間で、設定情報記憶手段４０に記憶されている最短シーン抽出時間以上連続する連続時間区間を探索する（ステップＳ３１）。
その後、判定手段５０は、ステップＳ３１で探索された連続時間区間において、当該連続時間区間の最大臨場感推定値の高い方から順に順位付け（図６参照）を行う（ステップＳ３２）。
【００６７】
そして、判定手段５０は、ステップＳ３２で順位付けされた連続時間区間において、設定情報記憶手段４０に記憶されている最大シーン抽出数のシーン（連続時間区間）に対応する各時間区間に総合判定結果（図６参照）のフラグをセットする（ステップＳ３３）。
さらに、判定手段５０は、設定情報記憶手段４０に設定情報として糊代時間が設定されている場合、総合判定結果のフラグがセットされたシーンの前後の糊代時間分の時間区間に総合判定結果のフラグをセットする（ステップＳ３４）。
このステップＳ３０からステップＳ３４までの動作によって、コンテンツＣ中、時間区間単位で臨場感が高いか否かの判定結果が臨場感推定値／判定結果記憶手段３０に記録されることになる。
図８に戻って、シーン抽出装置１の全体動作について説明を続ける。
【００６８】
ステップＳ３による時間区間単位での臨場感の判定後、シーン抽出装置１は、抽出手段６０によって、コンテンツＣから臨場感の高いシーンを抽出する（ステップＳ４）。
すなわち、抽出手段６０は、臨場感推定値／判定結果記憶手段３０の判定結果（具体的には、総合判定結果）を参照して、臨場感が高いと判定された（フラグがセットされた）時間区間（連続時間区間）のシーンをコンテンツＣから抽出し、表示装置２に出力する。
以上説明した動作によって、シーン抽出装置１は、コンテンツＣの客観的な特徴量ではなく、視聴者の主観的な印象に基づいて、臨場感の高いシーンを抽出することができる。
【００６９】
≪第２実施形態≫
次に、図１１を参照して、本発明の第２実施形態に係るシーン抽出装置１Ｂの構成について説明する。
【００７０】
シーン抽出装置１Ｂは、コンテンツＣから、臨場感の高いシーンを抽出するものである。このシーン抽出装置１Ｂは、抽出したシーンを表示装置２に出力する。
図１で説明したシーン抽出装置１は、複数の臨場感推定値から１つの臨場感推定値を特定（算出）して、ある時間区間における臨場感推定値を１つ保持することとした。一方、シーン抽出装置１Ｂは、ある時間区間における臨場感推定値を複数保持し、外部から重みを設定されることで、高臨場感のシーンを抽出する際にどの臨場感を高めたシーンを抽出するかを設定可能としている。
【００７１】
シーン抽出装置１Ｂは、臨場感推定手段１０Ｂと、臨場感学習データ記憶手段２０と、臨場感推定値／判定結果記憶手段３０Ｂと、設定情報記憶手段４０Ｂと、判定手段５０Ｂと、抽出手段６０と、を備える。臨場感学習データ記憶手段２０および抽出手段６０は、シーン抽出装置１（図１参照）と同じ構成であるため、説明を省略する。
【００７２】
臨場感推定手段１０Ｂは、コンテンツＣから時間単位で臨場感の度合いを示す臨場感推定値を算出するものである。ここでは、臨場感推定手段１０Ｂは、臨場感推定手段１０（図１参照）から、臨場感特定手段１４を除いたものである。
この臨場感推定手段１０Ｂは、聴覚臨場感推定手段１１、視覚臨場感推定手段１２および感覚臨場感推定手段１３が、それぞれ推定した個別臨場感推定値（聴覚臨場感推定値、視覚臨場感推定値、感覚臨場感推定値）を、臨場感推定値／判定結果記憶手段３０Ｂに記憶する。
【００７３】
臨場感推定値／判定結果記憶手段３０Ｂは、臨場感推定手段１０Ｂで推定されたコンテンツＣの時間区間ごとの個別臨場感推定値を、コンテンツＣの先頭からの経過時間に対応付けて記憶するものである。
さらに、臨場感推定値／判定結果記憶手段３０Ｂは、各時間区間の個別臨場感推定値が視聴者に対して臨場感を与えるか否かについて、判定手段５０Ｂによって判定した結果（例えば、フラグ）を記録する領域を有する。
例えば、臨場感推定値／判定結果記憶手段３０Ｂは、図１２に示すように、時間（先頭からの経過時間）、臨場感推定値、判定結果（総合判定結果、閾値判定結果、順位）を記録する領域を有する。時間および臨場感推定値は、臨場感推定手段１０Ｂによって書き込まれ、判定結果は、判定手段５０Ｂによって書き込まれる。なお、臨場感推定値として、聴覚臨場感推定値、視覚臨場感推定値、感覚臨場感推定値が個別に記憶される。
この臨場感推定値／判定結果記憶手段３０Ｂは、半導体メモリ等の一般的な記録媒体で構成することができる。
【００７４】
設定情報記憶手段４０Ｂは、設定装置３で設定された各種情報を記憶するものであって、半導体メモリ等の一般的な記録媒体で構成することができる。ここでは、設定情報記憶手段４０Ｂは、設定装置３によって、閾値、抽出条件、糊代時間、重みが書き込まれる。
【００７５】
重みは、臨場感推定手段１０Ｂで臨場感を推定するコンテンツの信号（音響信号、映像信号、感覚信号）に対する重み係数である。この重みは、臨場感推定手段１０Ｂで臨場感を推定するコンテンツの信号（音響信号、映像信号、感覚信号）に対して、各重みの総和が“１”となるような値とする。ここでは、設定装置３が、表示装置２に表示した設定画面を介して、重みを入力し、シーン抽出装置１に設定する。
【００７６】
判定手段５０Ｂは、設定情報記憶手段４０Ｂに記憶されている設定情報に基づいて、臨場感推定手段１０Ｂで臨場感推定値が対応付けられた時間区間のシーンの抽出を行うか否かを判定するものである。この判定手段５０Ｂの機能は、基本的に、判定手段５０（図１参照）と同じである。ただし、判定手段５０Ｂは、時間区間ごとに臨場感を判定するために、設定情報記憶手段４０Ｂに記憶されている重みによって、個別臨場感推定値（聴覚臨場感推定値、視覚臨場感推定値、感覚臨場感推定値）を重み付け加算した値と閾値とを比較する点が異なる。
【００７７】
すなわち、判定手段５０Ｂは、臨場感推定値／判定結果記憶手段３０Ｂに記憶されている時間区間ごとの個別臨場感推定値（聴覚臨場感推定値、視覚臨場感推定値、感覚臨場感推定値）を、設定装置３で設定された重みによって重み付け加算した値を、当該時間区間の臨場感推定値とする。そして、判定手段５０Ｂは、この重み付け加算値を、臨場感推定値として、判定手段５０（図１参照）と同様の判定手法によって、臨場感が高いと判定された時間区間に判定結果として閾値判定結果のフラグをセットし、臨場感が高くないと判定された時間区間では閾値判定結果のフラグをリセットする（図１２参照）。
【００７８】
以上説明したようにシーン抽出装置１Ｂを構成することで、シーン抽出装置１Ｂは、コンテンツＣの客観的な特徴量ではなく、視聴者の主観的な印象に基づいて、臨場感の高いシーンを抽出することができる。さらに、シーン抽出装置１Ｂは、複数の臨場感の重みを、臨場感を推定した後に変えることができるため、コンテンツＣから、適宜重み付けを変えて、視聴者が所望のシーンを抽出することができる。
【００７９】
以上、本発明の実施形態について説明したが、シーン抽出装置１，１Ｂは、コンピュータを、前記した各手段として機能させるシーン抽出プログラムで動作させることができる。
また、本発明は、これらの実施形態に限定されるものではない。以下、本発明の変形例について説明する。
【００８０】
≪変形例１≫
シーン抽出装置１，１Ｂは、設定装置３で、臨場感が高いか否かの判定基準となる閾値を１つ設定することとした。しかし、この閾値は、臨場感の高さのレベルを設けて複数設定することとしてもよい。例えば、「臨場感が非常に高い」、「臨場感がやや高い」等のレベルによって、閾値を複数設定することとする。
【００８１】
この場合、判定手段５０，５０Ｂは、臨場感推定値／判定結果記憶手段３０に臨場感の判定結果を設定する際に、臨場感の高さのレベルに応じた判定結果（総合判定結果、閾値判定結果）を記憶すればよい。例えば、「臨場感が非常に高い」を示す閾値以上の臨場感推定値が推定された時間区間については、判定結果を“２”、「臨場感が非常に高い」を示す閾値未満で「臨場感がやや高い」を示す閾値以上の臨場感推定値が推定された時間区間については、判定結果を“１”のように区別する。
そして、設定装置３によってレベルを指定されることで、抽出手段６０が、そのレベルが設定されている時間区間に対応するシーンを抽出する。
これによって、視聴者は、臨場感の大きさをカテゴライズして、臨場感の異なるシーンを視聴することができる。
【００８２】
≪変形例２≫
シーン抽出装置１，１Ｂは、抽出手段６０によって、抽出したシーンを表示装置２に表示することとした。しかし、抽出手段６０は、一旦、抽出する各シーンの先頭フレームをサムネイル画像として、表示装置２に表示し、視聴者が選択したシーンのみを、コンテンツＣから抽出して表示することとしてもよい。また、このサムネイル画像を表示する順序は、時刻順であっても、臨場感推定値の高い順であってもよい。
これによって、視聴者は、高臨場感のシーンの中からシーンを選択して視聴することができる。
【００８３】
≪変形例３≫
シーン抽出装置１，１Ｂは、聴覚臨場感推定手段１１において、コンテンツＣの音響信号から、臨場感推定値を算出することとした。しかし、聴覚臨場感推定手段１１は、音響特徴量から、音響信号が主に人の音声であるか否かを判定し、設定により、人の音声の度合いが高い場合に聴覚臨場感推定値を高める、あるいは、人の音声の度合いが低い場合に聴覚臨場感推定値を低くすることとしてもよい。
これによって、シーン抽出装置１，１Ｂは、対人活動によって臨場感が高くなりシーンを抽出するのか、対人活動以外の環境によって臨場感が高くなるシーンを抽出するのかを区別してシーンを抽出することができる。
【００８４】
≪変形例４≫
シーン抽出装置１，１Ｂは、臨場感推定手段１０Ｂによって、臨場感推定値を臨場感推定値／判定結果記憶手段３０に記憶することとした。
しかし、臨場感推定手段１０Ｂは、臨場感以外にさらに感情の度合いを推定することとしてもよい。この場合、予め臨場感学習データ記憶手段２０に、学習によって、音響信号、映像信号、感覚信号ごとに、ワクワクするシーンの度合い、ジーンとするシーンの度合い、快適であるシーンの度合い、活動的であるシーンの度合い等を学習しておく。これによって、臨場感推定手段１０Ｂは、各推定手段１１，１２，１３において、臨場感以外に感情の度合い（感情推定値）を推定する。
そして、設定装置３によって、臨場感の重みに加え、感情の度合いの推定値に対する重みを設定されることで、判定手段５０Ｂは、臨場感推定値と感情推定値とを重み付け加算する。
これによって、シーン抽出装置１Ｂは、臨場感に加え、感情の高ぶりが高くなるシーンを抽出することができる。
【００８５】
≪変形例５≫
シーン抽出装置１，１Ｂは、臨場感推定手段１０，１０Ｂにおいて、聴覚臨場感、視覚臨場感および感覚臨場感を個別に推定した。
しかし、臨場感推定手段１０，１０Ｂは、臨場感を個別に推定するのではなく、一度に代表する臨場感を推定することとしてもよい。この場合、臨場感学習データ記憶手段２０には、複数の信号（音響信号、映像信号および感覚信号）の特徴量から１つの臨場感を推定するモデルを、ニューラルネットワーク等で予め学習しておく。そして、臨場感推定手段１０，１０Ｂは、コンテンツＣを構成する複数の信号（音響信号、映像信号および感覚信号）の特徴量から、ニューラルネットワークにより各信号を代表する臨場感を推定すればよい。
【符号の説明】
【００８６】
１      シーン抽出装置
１０    臨場感推定手段
１１    聴覚臨場感推定手段
１２    視覚臨場感推定手段
１３    感覚臨場感推定手段
１４    臨場感特定手段
２０    臨場感学習データ記憶手段
３０    臨場感推定値／判定結果記憶手段
（臨場感推定値記憶手段、判定結果記憶手段）
４０    設定情報記憶手段
５０    判定手段
６０    抽出手段
２      表示装置
３      設定装置
【図１】
2018007134.tif 000003
【図２】
2018007134.tif 000004
【図３】
2018007134.tif 000005
【図４】
2018007134.tif 000006
【図５】
2018007134.tif 000007
【図６】
2018007134.tif 000008
【図７】
2018007134.tif 000009
【図８】
2018007134.tif 000010
【図９】
2018007134.tif 000011
【図１０】
2018007134.tif 000012
【図１１】
2018007134.tif 000013
【図１２】
2018007134.tif 000014