(57)【要約】【課題】映像と静止画から部分的に静止画が挿入された編集映像を自動的に生成することを可能にする。【解決手段】本発明は、映像を一つ以上の区間に分割し、区間記憶手段に格納し、区間記憶手段の各区間に対して映像区間特徴量を算出し、特徴量記憶手段に格納し、各静止画に対して画像特徴量を算出し、特徴量記憶手段に格納し、特徴量記憶手段の映像区間特徴量と画像特徴量とを用いて映像を複数の部分区間に分割し、分割されたそれぞれの部分区間において編集映像に用いる部分及び画像挿入箇所を決定する。このとき、区間映像のカラーの平均値を求め、これと類似するカラーを持つ静止画をその区間の前後に挿入し、スライドショーのような映像を自動的に作成する。【選択図】図１
2009278202.tif 000002
【特許請求の範囲】
【請求項１】
映像と静止画を入力として、映像への静止画挿入箇所を決定する映像編集装置であって、
映像を一つ以上の区間に分割し、区間記憶手段に格納する区間分割手段と、
前記区間記憶手段の各区間に対して映像区間特徴量を算出し、特徴量記憶手段に格納する映像特徴量算出手段と、
各静止画に対して画像特徴量を算出し、前記特徴量記憶手段に格納する画像特徴量算出手段と、
前記特徴量記憶手段の映像区間特徴量と前記画像特徴量とを用いて画像挿入箇所を決定する画像挿入箇所決定手段と、
を有することを特徴とする映像編集装置。
【請求項２】
前記映像特徴量算出手段は、前記映像区間特徴量として映像区間のカラーの平均値を用い、
前記画像特徴量算出手段は、前記画像特徴量として静止画のカラーの平均値を用い、
前記画像挿入箇所決定手段は、前記各映像区間特徴量に最も近い値の画像特徴量を持つ画像をその映像区間に隣接する箇所に挿入することを決定する手段を含む
請求項１記載の映像編集装置。
【請求項３】
前記区間分割手段は、
入力手段から入力された一つ以上の映像と、一つ以上の静止画が格納されている映像記憶手段から該映像を読み出して、該映像の音声である映像音声を分析し、カット検出及び音声の連続性に基づいて映像音声を一つ以上の区間に分割し、前記区間記憶手段に格納する手段を含み、
テロップ表示、カメラワーク発生、顔の表示、笑顔の表示、動物体のアップショット発生、音声の強調、感情音声の発生、主要人物の発話、発話中の頻出フレーズの出現、音楽の発生する状態をイベントとし、該イベントの一つ以上について、該イベントが出現する確率を算出し、前記区間分割手段により分割された前記区間記憶手段の区間、または、該分割された区間且つ前記静止画に対して、該イベントが出現する確率を用いて優先順位を付与するイベント優先順位付与手段と、
前記イベント優先順位付与手段により優先順位が付与された一つ以上の区間と一枚以上の静止画を、優先順位に基づいて合計時間が所定の時間となるまで選択し、選択区間記憶手段に格納する選択手段と、
ＢＧＭからハイライト区間を抽出し、前記選択区間記憶手段に格納された一つ以上の区間において、音声の強調度の値が高くなる区間に、該ＢＧＭから抽出したハイライト区間が重畳されるように、ＢＧＭの再生開始位置及び再生時間長を算出し、該選択区間記憶手段の一つ以上の区間にＢＧＭを重畳するＢＧＭ重畳手段と、
を更に有する請求項１または２記載の映像編集装置。
【請求項４】
映像と静止画を入力として、映像への静止画挿入箇所を決定する映像編集方法であって、
区間分割手段が、映像を一つ以上の区間に分割し、区間記憶手段に格納する区間分割ステップと、
映像特徴量算出手段が、前記区間記憶手段の各区間に対して映像区間特徴量を算出し、特徴量記憶手段に格納する映像区間特徴量算出ステップと、
画像特徴量算出手段が、各静止画に対して画像特徴量を算出し、前記特徴量記憶手段に格納する画像特徴量算出ステップと、
画像挿入箇所決定手段が、前記特徴量記憶手段の映像区間特徴量と前記画像特徴量とを用いて画像挿入箇所を決定する画像挿入箇所決定ステップと、
を行うことを特徴とする映像編集方法。
【請求項５】
前記映像区間特徴量算出手ステップにおいて、
前記映像区間特徴量として映像区間のカラーの平均値を用い、
前記画像特徴量算出ステップにおいて、
前記画像特徴量として静止画のカラーの平均値を用い、
前記画像挿入箇所決定ステップにおいて、
前記各映像区間特徴量に最も近い値の画像特徴量を持つ画像をその映像区間に隣接する箇所に挿入することを決定する
請求項４記載の映像編集方法。
【請求項６】
前記区間分割ステップにおいて、
入力手段から入力された一つ以上の映像と、一つ以上の静止画が格納されている映像記憶手段から該映像を読み出して、該映像の音声である映像音声を分析し、カット検出及び音声の連続性に基づいて映像音声を一つ以上の区間に分割し、前記区間記憶手段に格納するステップを行い、
前記画像挿入箇所決定ステップにおいて、
イベント優先順位付与手段が、テロップ表示、カメラワーク発生、顔の表示、笑顔の表示、動物体のアップショット発生、音声の強調、感情音声の発生、主要人物の発話、発話中の頻出フレーズの出現、音楽の発生する状態をイベントとし、該イベントの一つ以上について、該イベントが出現する確率を算出し、前記区間記憶手段に格納されている区間、または、該区間且つ前記静止画に対して、該イベントが出現する確率を用いて優先順位を付与するイベント優先順位付与ステップと、
選択手段が、前記イベント優先順位付与ステップにより優先順位が付与された一つ以上の区間と一枚以上の静止画を、優先順位に基づいて合計時間が所定の時間となるまで選択し、選択区間記憶手段に格納する選択ステップと、
ＢＧＭ重畳手段が、ＢＧＭからハイライト区間を抽出し、前記選択区間記憶手段に格納された一つ以上の区間において、音声の強調度の値が高くなる区間に、該ＢＧＭから抽出したハイライト区間が重畳されるように、ＢＧＭの再生開始位置及び再生時間長を算出し、該選択区間記憶手段の一つ以上の区間にＢＧＭを重畳するＢＧＭ重畳ステップと、
を更に行う請求項４記載の映像編集方法。
【請求項７】
請求項１乃至３のいずれか１項記載の映像編集装置を構成する各手段としてコンピュータを機能させるための映像編集プログラム。
【請求項８】
請求項７記載の映像編集プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、映像、音声、静止画を解析し、ダイジェスト映像やスライドショー等に代表される編集済み映像（以下、「編集映像」と記す）を自動で生成し、生成された編集映像を電子写真盾に代表されるポータブル再生装置において再生するための映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【０００２】
なお、本発明における音声とは、音楽、ノイズ、環境音、人物の発話を含むものとする。
【背景技術】
【０００３】
ユーザが所有する膨大な映像コンテンツに対し、これらを自動編集し、電子写真盾などのポータブル再生機器を用いて映像を閲覧できるようにすると共に、編集映像を複数のユーザの間で手軽に共有したいという要求がある。この要求に対し、公知の技術として以下の例がある。
【０００４】
第１の例として、強調音声区間をもとに、ユーザの指定する任意の時間長でダイジェストを生成する手法がある（例えば、特許文献１参照）。
【０００５】
第２の例として、音声の感情状態に対応してダイジェストを生成する手法がある（例えば、特許文献２参照）。
【０００６】
第３の例として、動物体が大きく写っている映像区間を作成することができ、ダイジェスト的な映像区間閲覧のためのインデックスを利用者に提供する方法がある（例えば、特許文献３参照）。
【０００７】
第４の例として、複数のユーザが共有サーバにおける映像コンテンツを共有し、シーンに付与するコメントを活用して映像を効率的に検索・共有・閲覧する方法がある（特許文献４参照）。
【特許文献１】特開２００３−３１６３７８号公報
【特許文献２】特開２００５−３４５４９６号公報
【特許文献３】特開２００６−２４４０７４号公報
【特許文献４】特開２００３−８７８２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来提案されている技術は、パーソナルコンピュータ（ＰＣ）に代表されるクライアント端末上で手軽に映像を編集し、編集済みの映像をクライアント間で共有するために必要な技術である。しかしながら、ユーザが撮影済みの映像を自動編集し、編集済みの映像を電子写真盾等に代表されるポータブル再生機器を用いて再生し、編集映像を複数のユーザ間で共有する場合、以下のような問題がある。
【０００９】
・電子写真盾やポータブル再生機器で閲覧するための映像は、利用者が撮影した映像をそのまま使うのではなく、使いたいシーンを抽出する編集作業が必要となる。これに対し、シーンチェンジや音声の連続性に着目して映像を部分区間に区切り、さらに区切られた部分区間の中に含まれるイベント（例：テロップ挿入区間、カメラワーク区間、顔表示区間、笑顔表示区間、動物体アップショット区間、音声の強調区間、感情表現を含む区間、人物音声が含まれる区間、主要人物の発話区間、発話中の頻出フレーズ区間、音楽挿入区間）を頼りに映像を編集する方法が考えられるが、手作業で行うには極めてコストがかかり、自動処理で行うには一般に極めて高度な映像音声の解析技術が必要である。すなわち、映像自動編集することができなかった。
【００１０】
・電子写真盾やポータル再生機器において閲覧する映像は、イベントの検出によって編集された短時間の映像であるだけでなく、映像の再生時の画面切替におけるエフェクトの挿入や、ユーザ所有以外のコンテンツ（例：専門家が撮影した高品質な静止画等）の挿入によって、品質や付加価値を追求したいという要求が発生する場合がある。これに対し、映像編集ソフト等を用いて映像を加工することが可能であるが、一般に極めて高度な映像編集技術及び処理能力の高い端末を要する。すなわち、映像を自動加工できなかった。
【００１１】
・電子写真盾やポータブル再生機器は、ＰＣに比較して再生可能な画像フォーマット、ファイルサイズ、及び解像度といった、映像音声の再生に関わる機器の仕様（以降、「プロファイル」と記す）が多岐に亘る。すなわち、従来技術を用いて映像を編集しても、再生できないか、または、再生機器側での自動調整機能を利用する必要があり、この場合、著しく表示画質が劣化し、映像の品質を損なう場合があった。また、編集された映像を別のプロファイルを有するポータブル再生機器で再生する場合、プロファイルの違いにより、映像の再生ができないか、あるいは再生される映像の品質が著しく劣化する場合がある。これに対し、ユーザが予め電子写真盾やポータブル再生装置のプロファイルについて熟知し、編集映像のファイルサイズや画質を適宜調節しながら映像を編集することは可能であるが、一般に極めて高度な映像編集技術及び再生機器に関する事前知識が必要であるだけでなく、処理に多大なコストが掛かる。すなわち、映像の共有を自動化できなかった。
【００１２】
このように、従来の技術では、ユーザが多様なフォーマットからなる映像コンテンツを手軽に編集し、加工し、さらに電子写真盾に代表されるポータブル再生機器で編集された映像を手軽に共有することは困難である。
【００１３】
本発明は、上記の点に鑑みなされたもので、映像音声の自動解析により、電子写真盾やポータブル再生機器で閲覧するための編集映像を手軽に作成可能であり、編集する場合に必要となる編集情報を手軽に、かつ、映像の編集映像のコンテンツのフォーマット及び編集映像の再生機器の種類が多岐にわたる場合でも、ユーザが高品質な編集映像を手軽に生成し、共有することが可能な映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１４】
図１は、本発明の原理構成図である。
【００１５】
本発明（請求項１）は、映像と静止画を入力として、映像への静止画挿入箇所を決定する映像編集装置であって、
映像を一つ以上の区間に分割し、区間記憶手段１３６に格納する区間分割手段１３２と、
区間記憶手段１３６の各区間に対して映像区間特徴量を算出し、特徴量記憶手段１３３３に格納する映像特徴量算出手段１３３１ａと、
各静止画に対して画像特徴量を算出し、特徴量記憶手段１３３３に格納する画像特徴量算出手段１３３１ｂと、
特徴量記憶手段１３３３の映像区間特徴量と画像特徴量とを用いて画像挿入箇所を決定する画像挿入箇所決定手段１３３と、を有する。
【００１６】
また、本発明（請求項２）は、映像特徴量算出手段１３３１ａでは、映像区間特徴量として映像区間のカラーの平均値を用い、
画像特徴量算出手段１３３１ｂでは、画像特徴量として静止画のカラーの平均値を用い、
画像挿入箇所決定手段１３３では、各映像区間特徴量に最も近い値の画像特徴量を持つ画像をその映像区間に隣接する箇所に挿入することを決定する手段を含む。
【００１７】
また、本発明（請求項３）は、区間分割手段１３２において、
入力手段１３１から入力された一つ以上の映像と、一つ以上の静止画が格納されている映像記憶手段から該映像を読み出して、該映像の音声である映像音声を分析し、カット検出及び音声の連続性に基づいて映像音声を一つ以上の区間に分割し、区間記憶手段１３６に格納する手段を含み、
テロップ表示、カメラワーク発生、顔の表示、笑顔の表示、動物体のアップショット発生、音声の強調、感情音声の発生、主要人物の発話、発話中の頻出フレーズの出現、音楽の発生する状態をイベントとし、該イベントの一つ以上について、該イベントが出現する確率を算出し、区間分割手段１３２により分割された区間記憶手段の区間、または、該分割された区間且つ静止画に対して、該イベントが出現する確率を用いて優先順位を付与するイベント優先順位付与手段と、
イベント優先順位付与手段により優先順位が付与された一つ以上の区間と一枚以上の静止画を、優先順位に基づいて合計時間が所定の時間となるまで選択し、選択区間記憶手段に格納する選択手段と、
ＢＧＭからハイライト区間を抽出し、選択区間記憶手段に格納された一つ以上の区間において、音声の強調度の値が高くなる区間に、該ＢＧＭから抽出したハイライト区間が重畳されるように、ＢＧＭの再生開始位置及び再生時間長を算出し、該選択区間記憶手段の一つ以上の区間にＢＧＭを重畳するＢＧＭ重畳手段と、を更に有する。
【００１８】
図２は、本発明の原理を説明するための図である。
【００１９】
本発明（請求項４）は、映像と静止画を入力として、映像への静止画挿入箇所を決定する映像編集方法であって、
区間分割手段が、映像を一つ以上の区間に分割し、区間記憶手段に格納する区間分割ステップ（ステップ１）と、
映像特徴量算出手段が、区間記憶手段の各区間に対して映像区間特徴量を算出し、特徴量記憶手段に格納する映像区間特徴量算出ステップ（ステップ２）と、
画像特徴量算出手段が、各静止画に対して画像特徴量を算出し、特徴量記憶手段に格納する画像特徴量算出ステップ（ステップ３）と、
画像挿入箇所決定手段が、特徴量記憶手段の映像区間特徴量と画像特徴量とを用いて画像挿入箇所を決定する画像挿入箇所決定ステップ（ステップ４）と、を行う。
【００２０】
また、本発明（請求項５）は、映像区間特徴量算出手ステップ（ステップ２）において、
映像区間特徴量として映像区間のカラーの平均値を用い、
画像特徴量算出ステップ（ステップ３）において、
画像特徴量として静止画のカラーの平均値を用い、
画像挿入箇所決定ステップ（ステップ４）において、
各映像区間特徴量に最も近い値の画像特徴量を持つ画像をその映像区間に隣接する箇所に挿入することを決定する。
【００２１】
また、本発明（請求項６）は、区間分割ステップ（ステップ１）において、
入力手段から入力された一つ以上の映像と、一つ以上の静止画が格納されている映像記憶手段から該映像を読み出して、該映像の音声である映像音声を分析し、カット検出及び音声の連続性に基づいて映像音声を一つ以上の区間に分割し、区間記憶手段に格納するステップを行い、
画像挿入箇所決定ステップ（ステップ４）において、
イベント優先順位付与手段が、テロップ表示、カメラワーク発生、顔の表示、笑顔の表示、動物体のアップショット発生、音声の強調、感情音声の発生、主要人物の発話、発話中の頻出フレーズの出現、音楽の発生する状態をイベントとし、該イベントの一つ以上について、該イベントが出現する確率を算出し、区間記憶手段に格納されている区間、または、該区間且つ静止画に対して、該イベントが出現する確率を用いて優先順位を付与するイベント優先順位付与ステップと、
選択手段が、イベント優先順位付与ステップにより優先順位が付与された一つ以上の区間と一枚以上の静止画を、優先順位に基づいて合計時間が所定の時間となるまで選択し、選択区間記憶手段に格納する選択ステップと、
ＢＧＭ重畳手段が、ＢＧＭからハイライト区間を抽出し、選択区間記憶手段に格納された一つ以上の区間において、音声の強調度の値が高くなる区間に、該ＢＧＭから抽出したハイライト区間が重畳されるように、ＢＧＭの再生開始位置及び再生時間長を算出し、該選択区間記憶手段の一つ以上の区間にＢＧＭを重畳するＢＧＭ重畳ステップと、を更に行う。
【００２２】
本発明（請求項７）は、請求項１乃至３のいずれか１項記載の映像編集装置を構成する各手段としてコンピュータを機能させるための映像編集プログラムである。
【００２３】
本発明（請求項８）は、請求項７記載の映像編集プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２４】
上記のように本発明によれば、映像を入力し、映像を区間に分割し、当該区間のイベントとその優先順位を決定し、当該優先順位に基づいて自動で編集映像を生成することが可能となる。
【００２５】
また、編集済み映像の再生に利用する端末の情報を入力することができるため、編集映像を利用機器に応じた形式で出力することが可能となる。
【００２６】
また、映像中から編集映像に利用するための部分区間、及び、編集映像に利用するための部分区間を表す代表静止画を自動抽出することが可能となる。
【００２７】
また、複数の部分区間に対して優先度を自動的に付与することが可能となる。
【００２８】
また、編集映像において、ユーザの嗜好に応じて再生部分を選択するか、あるいは、ユーザの嗜好にあったエフェクトを付加することにより、ユーザの嗜好を満足する編集映像の生成が可能となる。
【００２９】
さらに、編集時に入力した出力機器の情報に基づいて、再生利用が可能な形式の編集映像を生成することが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、図面と共に本発明の実施の形態を説明する。
【００３１】
本実施の形態では、ユーザが映像及び編集映像の利用機器情報を入力すると、予め格納された広告コンテンツ及びエフェクト・BGMを用いて編集映像を自動生成する場合について説明する。
【００３２】
図３は、本発明の一実施の形態における編集装置の構成を示す。
【００３３】
同図に示す編集装置は、入力部１３１、区間分割部１３２、イベント優先順位付与部１３３、編集部１３４、出力部１３５、映像記憶部１４１、編集映像記憶部１４２、広告コンテンツ記憶部１４３、エフェクト・BGM記憶部１４４、出力機器情報記憶部１４５、表示装置（ディスプレイ）１５から構成される。
【００３４】
このうち、イベント優先順位付与部１３３は、図４に示すように、映像解析部１３３１、音声解析部１３３２、解析結果メモリ１３３３、優先順位決定部１３３５、優先順位決定メモリ１３３６を有する。詳細な動作は後述する。
【００３５】
編集部１３４は、図５に示すように、編集情報メモリ１３４１、ＢＧＭ重畳部１３４２、エフェクト重畳部１３４３、広告映像挿入部１３４４、マニュアル編集部１３４５から構成される。
【００３６】
上記の構成からなる装置の動作を以下に示す。
【００３７】
図６は、本発明の一実施の形態における全体動作のフローチャートである。
【００３８】
本実施の形態では、入力ステップ（ステップ１１）、区間分割ステップ（ステップ１２）、優先順位付与ステップ（ステップ１３）、編集ステップ（ステップ１４）、出力ステップ（ステップ１５）を行う。
【００３９】
ステップ１１）  入力ステップ：
映像入力部１３１から１つ以上の映像、または、音声と、一つ以上の静止画を入力する。以下、「映像」といった場合、映像、音声、静止画のいずれかを指すものとする。入力された映像は、映像記憶部１４１に出力する。本ステップでは、映像入力部１３１から映像と共に、編集映像の出力機器情報、広告映像、BGM、エフェクトのルール、編集映像における動画と静止画の構成比率、広告映像の挿入の可否を一つ以上入力してもよい。また、編集映像の出力機器情報を出力機器情報記憶部１４５に、広告映像を広告コンテンツ記憶部１４３に、BGM及びエフェクトのルールをエフェクト・BGM記憶部１４４に、編集映像における動画と静止画の構成比率を編集部１３４のメモリ（図示せず）にそれぞれ出力する。
【００４０】
ステップ１２）  区分分割ステップ：
区間分割部１３２は、映像記憶部１４１に格納された映像を読込み、区間分割を行い、分割された区間の番号と、分割された映像の時刻情報を出力する。区間分割部１３２における区間分割処理は、映像中のシーンチェンジ位置の検出及び音声の連続性の検出に基づいて実行することができる。シーンチェンジ位置の検出は、例えば、文献１「映像ショット切換え検出法とその映像アクセスインタフェースへの応用」、電子情報通信学会論文誌 Vol. J79-D2 No.4 (1996年4月)、谷口行信、外村佳伸、浜田洋著、社団法人電子情報通信学会発行」に記載の方法に基づいて実施可能である。また、音声の連続性の検出は、例えば、特許第３２０７３７８号公報（段落００１９〜００２０）、特開平１１−８５１８０号公報に記載の技術を用いて検出することができる。または、特許第３８０３３１１号公報、前述の特許文献１では、音声の有声区間に着目してシーン分割する手法が述べられており、これを用いてもよい。区分分割部１３２により出力される情報の例を図７に示す。図７に示す区間分割結果は、当該区間分割部１３２内のメモリ（図示せず）に格納される。
【００４１】
ステップ１３）  優先順位付与ステップ：
イベント優先順位付与部１３３は、区間分割部１３２のメモリに格納されている区間（図７）に対し、映像音声の処理によってイベントの生起確率を算出し、イベント種類、イベントの発生確率、イベントの開始時刻と終了時刻、イベントの代表静止画を取得し、優先順位メモリ１３３６に格納する。以下当該ステップの処理を詳細に説明する。図８は、本発明の一実施の形態における優先順位付与ステップの詳細動作のフローチャートである。
【００４２】
ステップ１３１）  映像解析部１３３１は、区分分割部１３２のメモリ（図示せず）に指定されている区間に基づいて、映像記憶部１４１から映像を読み出して、映像信号からフレーム画像を抽出し、ピクセルの輝度変化、動きベクトル、特徴点の位置情報、特徴点の移動情報を解析し、当該解析に基づいて、映像中からテロップ挿入区間、カメラワーク区間、顔表示区間、笑顔表示区間、動物体アップショット区間のうち一つ以上のイベントの発生確率を算出し、区間情報と共に解析結果メモリ１３３３に出力する。
【００４３】
このとき、具体的に次の処理によって実施することができる。
【００４４】
・テロップの挿入区間；
特許第３５６９３９０号公報、特開平１０−４０３９１号公報に記載の方法を用い、テロップの挿入されている確率とテロップ挿入区間の開始時刻と終了時刻を算出できる。また、当該開始時刻と終了時刻の中間の時刻のフレーム画像を、代表静止画として用いる。
【００４５】
・カメラワーク区間；
特許第３４０８１１７号公報、特開平１１−１５９５３号公報に記載の方法を用い、カメラパラメータの滑らかな変化が生じた部分をカメラワーク区間として検出することが可能であり、カメラワーク区間の確率とカメラワーク区間の開始時刻と終了時刻を算出できる。また、当該開始時刻と終了時刻の中間の時刻のフレーム画像を、代表静止画として用いる。
【００４６】
・顔表示区間；
特開平９−５０５２８号公報に記載の技術を用い、人物の顔画像が含まれている確率と、その人物の顔画像が含まれている区間の開始時刻と終了時刻を算出できる。また、当該開始時刻と終了時刻の中間の時刻のフレーム画像を、代表静止画として用いる。
【００４７】
・笑顔表示区間；
映像中から人間の笑い状態を検出し、笑い状態の確率を笑顔度として求め、笑顔度及び笑顔区間の開始時刻と終了時刻を算出する。また、当該開始時刻と終了時刻の中間の時刻のフレーム画像を、代表静止画として用いる。当該方法について以下に詳細に説明する。
【００４８】
図９は、笑顔検出装置の構成を示し、図１０は、表情検出処理のフローチャートである。
【００４９】
同図に示す表示検出装置は、動画入力部１０Ａ、顔画像領域抽出部２０Ａ、特徴点抽出部３０Ａ、特徴量抽出部４０Ａ、笑い状態検出部５０Ａ、特徴点記憶部３５Ａ、特徴量記憶部４５Ａから構成される。
【００５０】
ステップ１０１）  動画入力部１０Ａは、動画を入力する。
【００５１】
ステップ１０２）  顔画像領域抽出部２０Ａは、Adaboost学習によるHaar-like特徴を用いた識別器を用いるものとし、入力された動画像から人物の顔画像領域を抽出する。ここで、多数の弱識別器をカスケード型とし、該カスケード型識別器を識別対象の大きさ、位置を変化させて適用し、顔画像領域を特定する。これについては、例えば、文献「Paul Viola, Michael J. Jones. Robust Real-Time Face Detection. International Journal of Computer Vision. Vol. 57, No2 pp.137-154 (2004)」などに記載されている。
【００５２】
ステップ１０３）  特徴点抽出部３０Ａは、顔画像領域抽出部２０Ａで抽出された顔画像領域から鼻の先端、口角の左右の位置を特徴点として抽出し、特徴点記憶部３５Ａに格納する。特徴点抽出処理を行う際に、事前処理として、図１１に示す黒抜き丸で示す２５点の特徴点を抽出している。特徴点は、輪郭、目玉、眉毛、鼻、口に関連して割り振っている。この特徴点の抽出方法としては、例えば、文献「Lades M., Vorbruggen J., Buhmann J., Lange J., Konen W., von der Malsburg C., Wurtz R. Distortion Invariant Object Recognition in the Dynamic Link Architecture. IEEE Trans. Computers, Vol. 42, No. 3 pp.300-311(1993)」、「Wiskott L., Fellous J.-M., Kruger N., von der Malsburg C. Face Recognition by Elastic Bunch Graph Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19. Issue 7, pp. 775-779 (1997)」等の公知の方法を用いるものとする。これらの公知技術を参照することにより、例えば、人物が顔を動かすなどの行為を行ったとしても安定して、図１１に示す２５点の特徴を抽出可能である。この２５点の特徴のうち、図１２に示す二重丸の３点（ｈ，ｉ，ｊ）のみを抽出し、残りの点は必要としない。これらは、鼻の先端、口角の左右の位置に相当する点である。また、２５点の特徴を抽出することなく、必要な３点のみを直接抽出してもよい。このような方法により、不要な点の抽出処理を省くことができる。
【００５３】
ステップ１０４）  特徴量抽出部４０Ａは、鼻の先端を基準としたときの口角の左右位置との角度を計測して特徴とする。図１３の例では、鼻の先端ｈを基準としたときの左右の口角の位置ｉ，ｊの角度αを計測し、特徴量とし、特徴量記憶部４５Ａに格納する。
【００５４】
ステップ１０５）  笑い状態検出部５０Ａは、特徴量記憶部４５から特徴量（角度α）を読み出して、各度αの時間変化を求め、時間変化から平衡状態からの立ち上がり状態、最大角度状態、平衡状態への立ち下がり状態の３状態に分割し、笑い状態からの開始から終了までの連続的な変化を捉える。具体的には、角度の特徴量をαとしたときのその時間履歴を図１４のように計測する。更に、αの時間履歴から、同図に示すように、平衡状態からの立ち上がり、最大角度、平衡状態への立下りの３状態に分割する。実際には、人間が平衡状態にあるときに必ずしも口の形状が閉まっている状態ではないことが想定される。また、通常会話しているときも口の形状は開閉状態となる。このような場合においても、笑っているか否かを判断するためには、例えば、特徴量αの時間変化を観測すればよい。具体的には、図１５に示すように、特徴量の時間微分ｄα／ｄｔと、２つの閾値を用いる。２つの閾値については、高閾値「thupper」と低閾値「thlower」と呼ぶこととする。この閾値は静的に設定されるものでもよく、後述する方法により動的に設定されるものであってもよい。
【００５５】
以下に、笑い状態検出部５０Ａにおける、３状態に分割する方法について説明する。
【００５６】
平衡状態からの立ち上がり状態については、その開始時刻を時間微分ｄα／ｄｔが高閾値thupperを超えた時刻の時間微分ｄα／ｄｔから時間的に前方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ０とする。一方、終了時刻は、時間微分ｄα／ｄｔが高閾値thupper越えた時刻の時間微分ｄα／ｄｔから時間的に後ろ方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ１とする。この時刻ｔ１は最大角度状態の開始時刻にも相当する。
【００５７】
平衡状態への立下り状態については、最大角度状態以降で、低閾値thlowerを下回った時刻の時間微分ｄα／ｄｔから時間的に前方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ２を開始時刻とする。この時刻ｔ２は、最大角度状態の終了時刻にも相当する。一方、開始時刻は、時間微分ｄα／ｄｔが低閾値thlowerを下回った時刻の時間微分ｄα／ｄｔから時間的に後ろ方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ３とする。
【００５８】
前述のように、立上がり状態の開始時刻から平衡状態への立下り終了時刻までが一連の笑い状態として判別される。
【００５９】
次に、前述の高閾値thupperと低閾値thlowerを動的に設定する方法について述べる。
【００６０】
例えば、高閾値と低閾値の標準偏差と平均値をそれぞれσupperとμupper、σlowerとμlowerとした場合、
thupper＝ａ・σupper＋ｂ・μupper          式（１）
thlower＝ｃ・σlower＋ｄ・μlower           式（２）
としてもよい。ここで、ａ，ｂ，ｃ，ｄは、係数で任意の値とし、例えば、予め、試験用動画像を用意し、統計的な学習工程を経て設定するものであってもよい。具体的には、人手により本手法による笑い状態の上記の３状態の開始時刻と終了時刻の正解集合を設定し、これと本発明によって抽出された上記の３状態の開始時刻と終了時刻との時間差を最小限とするようにａ，ｂ，ｃ，ｄを設定してもよい。
【００６１】
人間は、発話を一切していない状態においても口の形状が微小に変化していることが想定される。例えば、唇を噛みしめたり、つばを飲み込む動作を考えるだけでもこれらは容易に想像できる。これらの微小な変化が、角度αに影響する。また、笑いを含む発声行為についても、人間は規則的に口を開閉するもではなく、ある程度の不規則さを伴って開閉することが想定される。いわゆるこのようなノイズの影響を軽減させるために、例えば、検出した角度にメディアンフィルタを適用する対策を施してもよい。
【００６２】
また、本発明による時間微分ｄα／ｄｔでは、笑い状態と、一般の発声と区別が付かない場合も想定される。例えば、illegalと発声した場合、"ille"の部分でｄα／ｄtが増加し、"gal"の部分でｄα／ｄｔが減少するため、笑い状態と似ている挙動となる可能性がある。そのような場合には、例えば、最大角度状態の時間に着目し、t2−t1＞ttimeなどの時間的な閾値ttimeを設定することで問題を回避可能となる。
【００６３】
当該笑い状態検出部５０Ａは、上記の処理により、時間、角度α、時間微分ｄα／ｄｔからなる情報、または、３状態に分割された時刻の情報を出力する。
【００６４】
これまで、本発明の基本的な例を述べてきたが、例えば、角度αのみに着目している場合、例えば、引きつった笑いや、いやみを発言するときなどに頻出する。鼻の稜線を基準線としたときの左右非対称の状態においても笑い状態と判別する可能性がある。このような問題に対しては、図１６に示すように、口角の左右の位置ｉ，ｊを結ぶ線分の中心と、鼻の先端ｈとを結ぶ線分を基準線とし、基準線に対する左右の口角位置との角度をそれぞれ、α１、α２としてこれらの値の差を考慮することで対象であるか否かを判定すればよい。
【００６５】
例えば、それぞれの時間微分ｄα１／ｄｔ、ｄα２／ｄｔの時間履歴を測定し、これらの相関係数を求め、例えば、０．５以上であるときに対象としてもよい。また、それぞれの時間微分がｄα１／ｄｔ＞０、ｄα２／ｄｔ＞０となる時刻をｔｓ１、ｔｓ２としたときの│ｔｓ１−ｔｓ２│に閾値を設定するなどしてもよい。
【００６６】
・動物体アップショット区間；
前述の特許文献３に記載の方法により、映像中から動物体がアップで表示されている部分を検出し、動物体被写体がアップで写されている確率と、動物体被写体がアップで写されている区間の開始時刻と終了時刻を算出できる。また、当該開始時刻と終了時刻の中間の時刻のフレーム画像を、代表静止画として用いる。
【００６７】
ステップ１３２）  音声解析部１３３２は、映像に付帯する音声を解析し、周波数の値、周波数の変化率、パワーの値、パワーの変化率、ピッチ、ピッチの変化、倍音、倍音のゆらぎの度合い、音響モデルとの類似度を解析し、当該解析により、音声の強調区間、感情表現を含む区間、人物音声が含まれる区間、主要人物の発話区間、発話中の頻出フレーズ区間、音楽挿入区間のうち一つ以上について、そのイベントの発生確率を算出し、区間情報と共に解析結果メモリ１３３３に出力する。
【００６８】
このとき、具体的には以下の処理によって実施することができる。
【００６９】
・音声区間の強調区間：
特許文献１により、音声の強調状態を強調度として算出することができる。強調度が所定の数値を上回る区間を、強調区間とし、前記強調区間の開始時刻と終了時刻の値を出力する。また、前記強調区間の強調度の値を確率値として出力する。また、開始時刻と終了時刻の中間の時刻のフレーム画像を、強調区間の代表静止画として用いる。
【００７０】
・感情表現を含む区間：
以下の方法により感情度と時刻情報を算出できる。感情度が所定の数値を上回る区間を、感情区間とし、感情区間の開始時刻と終了時刻の値を出力する。また、感情区間の感情度の値を確率値として出力する。また、開始時刻と終了時刻の中間の時刻のフレーム画像を、感情区間の代表静止画として用いる。
【００７１】
感情検出方法を図１７に基づいて説明する。図１７は、感情検出方法を説明するフローチャートである。
【００７２】
なお、データは、汎用的な記憶部（例えば、メモリやハードディス装置）あるいは記憶手段に記憶され、アクセスされるものとする。
【００７３】
まず、ステップ１１０Ｂ（統計モデル構築処理ステップ）は、本実施形態に係る感情検出方法によって、実際に感情的状態の判定を行う前に、予め行っておくステップであり、感情的状態確率を計算するために用いる統計モデルを構築するステップである。なお、統計モデルの実体とは、その統計を計算する関数、及び、統計量などのパラメータをプログラムとして記載したものである。なお、統計モデルのパラメータ及び関数型を表す符号は記憶部に格納されることになるが、それらのための記憶容量が比較的小さい。
【００７４】
次に、ステップ１２０Ｂ（音声特徴量抽出処理ステップ）では、取り込まれたコンテンツの音楽信号データから、所望の音声特徴量をベクトルとして分析フレーム（以下、単にフレームと呼ぶ）毎に計算し、抽出する。なお、この音声特徴量ベクトルは、基本周波数、基本周波数の時間変動特性の系列、パワー、パワーの時間変動特性の系列、発話速度の時間変動特性のうち１つ以上の要素で構成されるベクトルである。また、音声信号データは、音声信号データ入力手段（例えば、後述する図２４の入力部２１０）によって、入力されるものとする。抽出された音声特徴量は、記憶部に記憶される。ステップ１２０Ｂ〜Ｓ１５０Ｂは感情的状態確率を計算する処理である。
【００７５】
次に、ステップ１３０Ｂ（音声特徴量出現確率計算処理ステップ）では、ステップ１２０Ｂにおいて計算され記憶部に記憶された音声特徴量ベクトルに基づき、フレーム毎に感情的状態に対応する音声特徴量ベクトルが出現する確率を、ステップ１１０Ｂにおいて予め構成された統計モデルによって算出し、その算出結果を音声特徴量出現確率と見做す。
【００７６】
次に、ステップ１４０Ｂ（感情的状態遷移確率計算処理ステップ）では、フレーム毎に、ステップ１１０Ｂにおいて予め構成された統計モデルを用いて、感情的状態に対応する１つ以上の状態変数の時間方向への遷移確率を算出し、その算出結果を感情的状態遷移確率と見做す。
【００７７】
次に、ステップ１５０Ｂ（感情的状態確率計算処理ステップ）では、フレーム毎にステップ１３０Ｂで計算した音声特徴量出現確率及びＳ１４０Ｂで計算した感情的状態遷移確率に基づいて、感情状態確率を計算する。
【００７８】
そして、ステップ１６０Ｂ（感情的状態判定処理ステップ）では、フレーム毎に、ステップ１５０Ｂで計算した感情的状態確率に基づいて、該フレームの感情的状態を判定し、出力する。
【００７９】
必要であれば、ステップ１７０Ｂ（要約コンテンツ生成処理ステップ）において、ステップ１５０Ｂにおいて計算された感情的状態確率、判定された感情的状態、連続発話及び連続非発話時間、連続発話、連続非発話時間のうち１つ以上に基づいて、１つ以上のフレームで構成される区間を構成し、この区間を単位としたコンテンツの要約を生成し、出力する。
【００８０】
以下に、感情検出方法の各ステップを詳細に説明する。
【００８１】
まず、統計モデルを構成するステップ１１０Ｂの処理詳細を図１８に基づいて説明する。なお、統計モデルは、学習用音声信号データから学習を行うことによって獲得するものとする。
【００８２】
まず、ステップ１１１Ｂにおいて、学習用音声信号データを入力する。なお、学習用音声信号データは、音声信号データ入力手段から入力されても良いし、学習用音声信号データ専用の入力手段（学習用音声信号データ入力手段）から入力されても良い。
【００８３】
次に、ステップ１１２Ｂにおいて、この学習用音声信号データに対して、学習用音声信号データ全てに渡って、フレーム毎に、人間が実際に視聴して判断したそのフレームにおける感情的状態ｅを与える。ここで、この感情的状態ｅは、人間によって判定されたものをラベルと呼ぶこととし、判定行為をラベル付けと呼ぶこととする。
【００８４】
また、厳密にはフレーム毎に感情的状態ｅのラベルが与えられていない場合であっても、フレーム単位にラベル付けされるように変換できるものであれば、これに変換することで利用してもよい。ラベル付けの例としては、ある区間において感情的状態ｅのラベルが付与されている場合もある。この場合には、その区間に含まれるフレームに対して、区間に付与されたラベルと同じラベルを付与することによって、フレーム毎にラベル付けできる。より具体的には、音声のある時刻ｔ１〜ｔ２が感情的状態ｅとラベル付けされている場合は、該区間の全フレームはｅと与えられているものとして構成する。
【００８５】
次に、ステップ１１３Ｂにおいて、フレーム毎に、ステップ１２０Ｂと同様に、音声特徴量ベクトルｘを抽出する。以下では、フレーム番号ｔのフレームＦｔにおける音声特徴量ベクトルｘｔ、感情状態ｅｔと表す。
【００８６】
次に、ステップ１１４Ｂにおいて、音声特徴量出現確率を計算するための統計モデルと、感情的状態遷移確率を計算するための統計モデルをそれぞれ学習によって構成する。
【００８７】
まず、音声特徴量出現確率を計算するための統計モデルの学習方法の一例を説明する。
【００８８】
音声特徴量出現確率を計算するための統計モデルは、フレーム毎に与えられる音声特徴量ベクトルｘ空間上の確率分布であって、例えば、フレームＦｔにおいては、それ以前のある（ｎ−１）フレーム区間における感情的状態ｅｔ＝｛ｅｔ，ｅｔ−１，…，ｅｔ−ｎ＋１｝に依存してｘｔが出現する確率を表す、条件付き確率分布ｐＡ（ｘｔ│ｅｔ）として作成する。ｎは、例えば、２〜３程度とするものでよい。
【００８９】
この条件付確率分布ｐＡ（ｘｔ│ｅｔ）は、例えば、ｅｔの取りうる値毎に、正規分布、混合正規分布などといった、確率モデルを用いて構成してもよい。また、更に音声特徴量の種類別に、正規分布、混合正規分布、多項分布などといった、確率モデルを用いて構成するのでもよい。これらの確率モデルのパラメータを学習用音声信号データに基づいて推定することになる。
【００９０】
なお、パラメータの推定方法は、例えば、最尤推定方法や、ＥＭアルゴリズム、変分Ｂａｙｅｓ法などが公知のもの（例えば、『石井健一郎、上田修功、前田栄作、村瀬洋、「わかりやすいパターン認識」オーム社、第１版、１９９８年８月、pp. 52-54』、『汪金芳、手塚集、上田修功、田栗正章、「計算統計Ｉ 確率計算の新しい手法  統計科学のフロンティア１１第ＩＩＩ章３ＥＭ法４変分ベイズ法」、岩波書店、２００３年６月、pp. 157-186』等を参照）を用いることができる。
【００９１】
次に、感情的状態遷移確率を計算するための統計モデルを説明する。
【００９２】
感情的状態遷移確率を計算するための統計モデルは、音声特徴量出現確率を計算するための統計モデル同様、学習用音声信号データから学習を行うことによって獲得する。
【００９３】
ステップ１１１Ｂ〜Ｓ１１３Ｂにおいて、学習用音声信号データは、学習用音声信号データ全てに渡って、フレーム毎に、抽出された音声特徴量ベクトルｘと、人間が実際に視聴して判断したそのフレームにおける感情的状態ｅと、が与えられているという前提で、以下にステップ１１４Ｂの学習を行うステップの一例について説明する。なお、フレーム番号ｔにおける感情的状態をｅｔと表す。
【００９４】
感情的状態遷移確率計算のための統計モデルは、ｔ番目のフレームＦｔにおける感情的状態の系列ｅｔ空間上の確率分布であって、Ｆｔ以前の（ｎ−１）フレームにおける感情的状態系列ｅｔ−１＝｛ｅｔ−１，ｅｔ−２，…，ｅｔ−ｎ｝に依存して、ｅｔが出現する確率を表す条件付確率分布ｐＢ（ｅｔ│ｅｔ−１）として作成する。
【００９５】
なお、ｅｔは、例えば、喜び、怒り、哀しみ、などの感情的状態を表す変数であり、離散変数であるから、条件付確率分布ｐＢ（ｅｔ│ｅｔ−１）は、例えば、ｂｉ−ｇｒａｍ型のヒストグラムを作成することで構成することが考えられる。この場合は、学習用音声信号データに基づき、ｅｔ−１が与えられている時に、各感情的状態の系列ｅｔが何度出現するのかを計数することによってこれを構成することができる。
【００９６】
以上がステップ１１０Ｂの詳細処理である。
【００９７】
次に、ステップ１２０Ｂでは、取り込まれたコンテンツの音声信号データから、所望の音声特徴量ベクトルをフレーム毎に抽出する。なお、本発明における音声とは、人間による会話音声のみではなく、歌唱音声、または音楽なども含むものとする。
【００９８】
以下に、音声特徴量ベクトル抽出方法の一例を説明する。
【００９９】
まず、音声特徴量について説明する。本実施の形態における音声特徴量としては、音声スペクトルやケプストラム等と比較して、雑音環境下でも安定して得られ、かつ感情的状態を判定するにあたり、話者のプロフィールに依存しにくいものが好ましい。
【０１００】
上述のような条件を満たす音声特徴量として、基本周波数ｆ０、基本周波数の時間変動特性の系列｛ｒｆ０ｉ｝、パワーｐ、パワーの時間変動特性の系列｛ｒｐｉ｝、発話速度の時間変動特性等を抽出する。なお、ｉは時間変動特性のインデクスである。
【０１０１】
また、本実施の形態においては、系列とは１つ以上の要素を持つ集合であると定義する。時間変動特性の例としては、例えば、回帰係数、分析フレーム内変化量の平均値、最大値、最小値や、分析フレーム内変化量の絶対値の累積和、レンジなどが考えられ、必要に応じて選択すればよい。特に、回帰係数の場合には、インデクスは次数に対応づけることができる。回帰係数は、何次までを用いてもよいが、例えば、１〜３次程度としてもよい。
以下の例では、時間変動特性として回帰係数のみを採用した場合について説明する。パワーｐは、音声信号波形の振幅値を用いるものでもよいし、絶対値や平滑値、ｒｍｓ値を用いるのでもよい。また、ある周波数帯域、例えば、人間の聞き取り易い５００Ｈｚ（ヘルツ）〜３ＫＨｚ（キロヘルツ）などの領域におけるパワーの平均値などを用いるのでもよい。
【０１０２】
抽出すべき基本周波数ｆ０及びパワーｐの抽出法は様々である。それらの抽出方法は公知であり、その詳細については、例えば、『古井貞熙、「ディジタル音声処理第４章 4.9ピッチ抽出」、東海大学出版局、１９８５年９月、pp. 57-59』に記載の方法等を参照されたい。
【０１０３】
抽出すべき発話速度の時間変動特性は、既知の方法（例えば、『嵯峨山茂樹、板倉文忠、「音声の動的尺度の含まれる個人性情報」日本音響学会昭和５４年春季研究発表会後援論文集、３−２−７，１９７９年  pp.589-590』、『特開２００５−３４５４９６号公報『段落［００１１］〜［００１４］』等）によって、動的尺度ｍの時間変動特性ｒｍとして抽出する。
【０１０４】
例えば、動的尺度のピークを検出し、その数をカウントすることで発話速度を検出する方法をとってもよく、また、発話リズムに相当するピーク間隔の平均値、分散値を計算して発話速度の時間変動特性を検出する方法をとるのでもよい。
【０１０５】
以下の説明では、動的尺度のピーク間隔平均値を用いた、動的尺度の時間変動特性ｒｍについて説明することとする。
【０１０６】
抽出すべき基本周波数の時間変動特性の系列｛ｒｆ０ｉ｝、及びパワーの時間変動特性の系列｛ｒｐｉ｝として、回帰係数を抽出する方法の一例について説明する。
【０１０７】
分析する時刻をｔとしたとき、時刻ｔにおいて抽出された基本周波数ｆ０ｔ（例えば、図１９中の符号δのグラフ）または、ｐｔと、｛ｒｆ０ｉｔ｝または、｛ｒpｉｔ｝との関係は、次の近似式によって表される。
【０１０８】
【数１】
2009278202.tif 000003
ただし、Iは回帰関数の最大次数を表す。ｔの近傍でこの近似誤差が小さくなるように｛ｒｆ０ｉｔ｝及び｛ｒpｉｔ｝を決定すればよく、これを実現する方法として、例えば、最小自乗法を用いることが考えられる。
【０１０９】
Iは任意の値でよいが、ここでは、例として、Ｉ＝１である時のｒｆ０１ｔを求める場合についえ説明する。ｒｐ１ｊについても同様に計算できる。分析する時刻をｔとすると、ｔにおける基本周波数の時間変動特性ｒｆ０１ｔは、
【０１１０】
【数２】
2009278202.tif 000004
と求めることができる。ここで、ｄは時刻ｔ前後の計算に用いるサンプリング点の数で、ｔの近傍に対応する。例えば、ｄ＝２とする。
【０１１１】
以下では、例えば、Ｉ＝１の場合に求めたｒｆ０１ｔ、ｒｐ１ｊのみをそれぞれ基本周波数の時間変動特性ｒｆ０、パワーの時間変動特性ｒｐとして扱う場合について説明する。
【０１１２】
フレーム毎に音声特徴量を計算する方法の一例を説明する。1フレームの長さ（以下、フレーム長と呼ぶ）を１００ｍｓ（ミリセコンド）とし、次のフレームは現フレームに対して５０ｍｓの時間シフトによって形成されるものとする。
【０１１３】
これらのフレーム毎に、各フレーム内での各音声特徴量の平均値、つまり、平均基本周波数ｆ０'、基本周波数の平均時間変動特性ｒｆ０'、平均パワーp'、パワーの平均時間変動特性ｒｐ'、動的尺度の平均ピーク間隔平均値ｒｍ'を計算するものとする。あるいは、これらの平均値のみではなく、フレーム内での各音声特徴量の最大値、最小値、または変動幅などを計算して用いてもよい。以下では、平均値のみを用いた場合について説明する。
【０１１４】
各音声特徴量は予め規格化しておくことが好ましい。規格化は、例えば、ｆ０'について、例えば、処理対象となる音声信号データ全体に渡る基本周波数を差し引く、もしくは、平均基本周波数で割ることによって行うのでもよいし、標準正規化して平均０分散１にするのでもよい。その他の音声特徴量についても、同様に行うことが考えられる。
【０１１５】
感情的状態の判定においては、音声特徴量の時間的な挙動を捉えることが必要である。本例では、フレームごとに計算した音声特徴量から、１つ以上のフレームの音声特徴量を用いて音声特徴ベクトルを計算して、音声特徴量の時間的な挙動の捕捉を実現する。なお、この音声特徴量ベクトルを抽出する区間を、音声特徴量ベクトル抽出区間（例えば、図２０中の符号Ｗで示される区間）と呼ぶこととする。
【０１１６】
以下、その音声特徴量の時間的な挙動の捕捉方法の一例を図２０に基づいて説明する。
【０１１７】
現フレームＦについて、そのフレーム番号をｊとおき、Ｆｊと表す。Ｆｊに含まれるフレーム毎の音声特徴量をそれぞれ、基本周波数ｆ０'ｊ、基本周波数の時間変動特性ｒｆ０'ｊ、パワーｐ'ｊ、パワーの  時間変動特性ｒｐ'ｊ、動的尺度のピーク間隔平均値ｒｍ'ｊと表すものとする。
【０１１８】
以上で求めた音声特徴量に基づいた音声特徴量ベクトルの構成方法は、例えば、音声特徴量毎に遅延座標空間に埋め込むことで構成する方法が考えられる。すなわち、現フレームからＳフレーム分過去のフレームまでに含まれる音声特徴量をベクトル表記することで構成するものとする。
【０１１９】
例えば、基本周波数の場合、現フレーム番号をｔとおけば、ｆ０＝｛ｆ０'ｔ，ｆ０'ｔ−１，…，ｆ０'ｔ−Ｓ｝Ｔのように基本周波数の音声特徴ベクトルｆ０を求めるものとする。図２０中のフレームは、符号ｗ１で示すフレームＦｔ−Ｓ，符号ｗ２で示すフレームＦｔ−１、符号ｗ３で示すフレームＦｔである。
【０１２０】
あるいは、音声特徴量毎に現フレームからＳフレーム分過去のフレームまでのフレーム間差分量を計算し、これをベクトル表記することで構成する方法も考えられる。
【０１２１】
ここで、上記Sの値は、例えば、Ｓ＝５とする。同様に、基本周波数の時間変動特性ｒｆ０、パワーｐ、パワーの時間変動特性ｒｐ、動的尺度の時間変動特性ｒｍを計算する。
【０１２２】
予め、感情的状態を判定するために使用すると決定した全音声特徴量ベクトルを並べたものをｘと表記するものとする。例えば、抽出した音声特徴量全てを使用する場合は、
ｘ＝（ｆ０Ｔ、ｒｆ０Ｔ，ｐＴ，ｒｐＴ，ｒｍＴ）Ｔ
となる。そして、基本周波数の時間変動特性ｒｆ０、パワーの時間変動特性ｒｐ、動的尺度のピーク間隔平均値ｒｍを使用する場合には、
ｘ＝（ｒｆ０Ｔ，ｒｐＴ，ｒｍＴ）Ｔ
となる。
【０１２３】
本例においては、音声特徴量のうち１つ以上を使用すれば、感情的状態を判定することが可能である。ただし、感情的状態において特徴的に現れる発話においては、基本主は数ｆ０そのものの抽出が困難な場合が多く、しばしば欠損することがある。このため、そのような欠損を補完する効果を容易に得ることのできる、基本周波数の時間変動特性ｒｆ０は含むことが好ましい。更には、話者依存性を低く抑えたまま、判定制度を高めるため、パワーの時間変動特性ｒｐを更に含むことが好ましい。
【０１２４】
以上のように、フレームごとに行った音声特徴量、音声特徴量ベクトルの計算処理を、コンテンツが全てに渡るフレームに対して行うことで、全てのフレームにおいて音声特徴量ベクトルを得ることが可能である。
【０１２５】
以上がステップ１２０Ｂの詳細処理である。
【０１２６】
次に、ステップ１３０Ｂは、ステップ１２０Ｂにおいて抽出された各フレームの音声特徴量ベクトルと、ステップ１１０Ｂにおいて予め構成しておいた統計モデルとを用いて各感情的状態における音声特徴量ベクトルの出現確率（音声特徴量出現確率）を計算する。
【０１２７】
以下に、ステップ１３０Ｂで実行する処理の一例を説明する。
【０１２８】
ステップ１１０Ｂで作成した統計モデルに基づき、音声特徴量ベクトルの出現確率を計算する方法の一例を説明する。
【０１２９】
統計モデルは、フレーム毎に与えられる音声特徴量ベクトルｘｔ空間上の条件付確率分布ｐＡ（ｘｔ│ｅｔ）であるため、入力された音声特徴量ベクトルｘｔを、ステップ１１０Ｂによって予め作成した統計モデルｐＡ（ｘｔ│ｅｔ）に基づいて尤度計算する。この計算した尤度を、各感情的状態においてｘｔが出現する音声特徴量出現確率と見做す。
【０１３０】
以上の処理を、全てのフレームに渡って行うことで、全てのフレームに対して音声特徴量出現確率を計算することができる。
【０１３１】
以上がステップ１３０Ｂの詳細処理である。
【０１３２】
次に、ステップ１４０Ｂでは、統計モデルを用いて、感情的状態を判定するフレーム（現フレーム）直前の１つ以上遡ったフレームの感情的状態に依存して、現フレームで各感情的状態に遷移する遷移確率（すなわち、感情的状態遷移確率）が計算される。
【０１３３】
以下に、ステップ１４０Ｂを実行するための処理の一例を説明する。
【０１３４】
まず、ステップ１１０Ｂで作成した統計モデルに基づき、感情的状態遷移確率を計算する方法の一例を説明する。
【０１３５】
統計モデルは、感情的状態の系列ｅｔ空間上の条件付確率分布ｐＢ（ｅｔ│ｅｔ−１）である。そのため、ステップ１４０Ｂは、ｅｔ−１が既に判定され、決定されていれば、ステップ１１０Ｂにおける方法などによって予め作成した統計モデルｐＢ（ｅｔ│ｅｔ−１）に基づいて各感情的状態の系列ｅｔの起こりうる確率を計算する。その前計算した確率を、感情的状態遷移確率と見做す。
【０１３６】
なお、感情的状態の判定は、音声信号データの時間進行方向に沿って逐次的に行っていくため、フレーム番号ｔがこの時間軸に対して単調増大とすることで、ｅｔを判定する段階でｅｔ−１が既に判定されている状態を構成できる。
【０１３７】
以上の処理を、全てのフレームに渡って行うことで、全てのフレームに対して感情的状態遷移確率を計算することができる。
【０１３８】
以上がステップ１４０Ｂの詳細処理である。
【０１３９】
次に、ステップ１５０Ｂでは、ステップ１３０Ｂ及びステップ１４０Ｂにおいて計算された音声特徴量出現確率及び感情的状態遷移確率に基づいて、感情的状態確率が計算される。
【０１４０】
以下に、ステップ１５０Ｂで行う感情的状態確率を計算する処理の一例について説明する。
【０１４１】
統計モデルｐＡ（ｅｔ│ｅｔ）と、ｐＢ（ｅｔ│ｅｔ−１）の組は、合わせて一般化状態空間モデルと呼ばれる構造を有しており、音声認識などによく用いられるＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型のＨＭＭ（Hidden Markov Models）などと同様の因果構造（例えば、図２１中の符号Ｓｔ１で示される感情的状態ｅｔ−１、ｅｔと、符号Ｓｔ２で示される音声特徴量ｘｔ−１、ｘｔである）を有する。
【０１４２】
一般化状態空間モデルは、時刻ｔまでの観測系列（ｘ）を得た場合に、時刻ｔでの内部状態ｅｔの確率分布ｐ（ｅｔ│｛ｘｔ｝）は、ｐＡ（ｘｔ│ｅｔ）、とｐＢ（ｅｔ│ｅｔ−１）に基づき、以下の式を再帰的に計算することで求めることができる（例えば、『Kitagawa, G.,「Non-Gaussian state-space modeling of nonstationary time series」, Journal of the American Statistical Association, 1987年１２月，pp. 1032-1063』）。
【０１４３】
【数３】
2009278202.tif 000005
ただし、Ｅはｅｔが取りうる全ての値の集合である。
【０１４４】
一般に、一般化状態空間モデルにおいては、Ｅの値が非常に大きな値となるため、式を直接計算してｐ（ｅｔ│｛ｘｔ｝）の値を求めることは困難である。
【０１４５】
本実施の形態では、ｅｔが取りうる全ての値は、取り扱う感情的状態、つまり、喜び、怒り、哀しみ、恐怖、驚き、焦り等であるため、この数を│ｅ│とすると、ｅｔ＝｛ｅｔ，ｅｔ−１，…，ｅｔ−ｎ＋１｝におけるありうる全ての組み合わせを考えたとき、Ｅのサイズは│ｅ│ｎである。
【０１４６】
例えば、本例においては、想定する取り扱う感情的状態の数│ｅ│は、例えば、喜び、怒り、哀しみ、恐怖、驚き、焦り、平静、などが想定され、およそ１０程度である。このとき、例えば、ｎ＝３とすれば、Ｅのサイズオーダにして１０３程度であり、現在普及している汎用的なコンピュータであっても、表式を十分に直接計算可能な規模である。
【０１４７】
従って、本例では、この表式の確率分布ｐ（ｅｔ│｛ｘｔ｝）の値を直接計算することが可能であるので、直接計算すること感情的状態確率を計算するものとする。
【０１４８】
更に、ｅｔの要素からｅｔを除外したものをｅ'ｔ＝｛ｅｔ−１，…，ｅｔ−ｎ＋１｝とし、かつｅ'ｔが取りうる全ての値の集合Ｅ'と表すとすると、フレーム毎の感情的状態ｅｔの感情的状態確率は
【０１４９】
【数４】
2009278202.tif 000006
を計算することで求めることが可能である。図２２に、喜び、哀しみ、平静の感情的状態を扱ったばあいの感情的状態確率の例を示す。すなわち、図２２の符号Ｌ１で示す曲線が喜びの感情的状態確率、符号Ｌ２で示す曲線が平静の感情的状態確率、符号Ｌ３で示す曲線が哀しみの感情的状態確率である。
【０１５０】
以上の処理を全てのフレームに亘って行うことによって、全てのフレームに対して感情的状態確率を計算することが可能である。
【０１５１】
以上がステップ１５０Ｂの詳細処理である。
【０１５２】
ステップ１６０Ｂにおいて、ステップ１５０Ｂにおいて計算された感情的状態確率が感情判定手段に取り込まれ、感情的状態確率に基づいて感情的状態が判定される。
【０１５３】
以下、感情的状態を判定するステップ１６０Ｂの処理の一例を説明する。なお、以下の説明では、取り扱う感情的状態のカテゴリを順にｅ１，ｅ２，…，ｅ│ｅ│とインデクス付けする。例えば、喜び、怒り、哀しみ、恐怖、驚き、焦り、平静の感情的状態を取り扱う場合には、ｅ１：喜び、ｅ２：怒り、ｅ３：哀しみ、ｅ４：恐怖、ｅ５：驚き，ｅ６：焦り、ｅ７：平静等とすればよく、この場合は│ｅ│＝７である。
【０１５４】
ステップ１５０Ｂで、フレーム番号ｔのフレームＦｔにおける感情的状態がｅｋである感情的状態確率ｐｋｔ＝ｐ（ｅｔ＝ｅｋ│｛ｘｔ｝）を計算しているため、最も単純には、この確率ｐｋｔが最も高いｅｋに対応する感情的状態を、Ｆｔにおける感情的状態と判定することができる。あるいは、ｐｋｔが高い値をとるｅｋを、降順に１つ以上選出し、これらの複数の感情的状態を持って判定結果としてもよい。
【０１５５】
または、感情的状態によっては、同時刻に相互想起しやすいものとし、しにくいものとがある。例えば、喜びと哀しみは同時に想起しにくいことは容易に想像できる。このような現象を考慮して、ある感情的状態ｅｋに対応する感情的状態確率ｐｋｔから、その他の感情的状態｛ｅ１，ｅ２，…，ｅｋ−１，ｅｋ＋１，…，ｅ│ｅ│｝に対応する感情的状態確率｛ｐ１ｔ、ｐ２ｔ、…，ｐｋ−１ｔ，ｐｋ＋１ｔ，…，ｐ│ｅ│ｔ）の凸結合である、
【０１５６】
【数５】
2009278202.tif 000007
を減算し、規格化したものを新たなｐｋｔとして、これを比較してもよい。
【０１５７】
または、簡単に、予めある閾値を定め、これよりも値の大きなｐｋｔに対応する感情的状態ｅｋを、感情的状態としてもよい。
【０１５８】
以上の処理を全てのフレームに渡って行うことによって、フレーム毎に感情的状態を判定することが可能である。
【０１５９】
以上がステップ１６０Ｂの詳細処理である。
【０１６０】
以上のステップ１１０Ｂ〜Ｓ１６０Ｂによって、任意の音声信号データを含むコンテンツに対して、フレーム毎に感情的状態を判定することが可能となる。
【０１６１】
そして、ステップ１７０Ｂでは、ステップ１５０Ｂにおいて計算された感情的状態確率、ステップ１６０Ｂで判定した感情的状態に基づいて要約コンテンツを生成し出力する。
【０１６２】
以下、要約コンテンツを生成する処理の一例について説明する。
【０１６３】
本例の原理によれば、フレーム毎に感情的状態確率及び感情的状態が与えられるため、最小単位としてはフレーム単位での要約提示が可能であるが、要約されたコンテンツは、視聴者にとって意味が理解可能であることが好ましい。よって、本例においては、連続する発話であると考えられる発話区間の集合は１つの区間としてまとめる処理を行っておく。以下、この連続する発話で構成される発話区間集合のことを音声小段落と呼び、更にこれを単位として構成される発話音声区間を音声段落と呼ぶ。
【０１６４】
ここで、音声小段落を生成する方法の一例を説明する。
【０１６５】
まず、発話区間であると考えられる区間を抽出する。このような区間を抽出する方法の一例としては、音声波形における発話区間の周期性を利用して、自己相関関数の高い区間を発話区間であるとみなして、該当区間を抽出する方法がある。
【０１６６】
実際には、ある閾値よりも高い自己相関関数値を示す区間を、発話区間であると見做す。この閾値の与え方は、予め定数として与えてもよいし、要約するコンテンツ全体の自己相関関数値を計算した後、一般の場合の発話時間（または、有声時間）と非発話時間（または、無声時間）の割合を基準として、この基準に近い発話時間割合になるように閾値を決定してもよい。
【０１６７】
本例においては、発話区間を構成する単位はフレーム単位である。すなわち、音声特徴量ベクトルに基本周波数が含まれていれば、これがある閾値よりも高い区間を発話区間（即ち、発話フレーム）と見做してもよい。
【０１６８】
以上の処理によって、コンテンツ中からフレーム単位で発話フレームと非発話フレームを分離することが可能である。
【０１６９】
次に、抽出された発話フレームのうち、連続する発話であると考えられる発話フレーム集合を１つの区間としてまとめていくことで、音声小段落を生成する。
【０１７０】
このような音声小段落を生成する方法の一例について説明する。
【０１７１】
コンテンツ中の発話フレームＦ'の集合を時刻の早いものから順に｛Ｆ'１，Ｆ'２，…，Ｆ'Ｎ｝とする。ここで、Ｎは発話フレームの総数である。
【０１７２】
次に、時間軸上隣り合う発話フレームＦ'i，Ｆ'i+1の時間間隔、即ち、Ｆ'iの終了時刻Ｆ'iendと、次のフレームであるＦ'i+1の開始時刻F'i+1startについて、その時刻の差Ｆi+1start−Ｆiendを計算する。
【０１７３】
次に、その計算結果を予め決定したある閾値と比較して小さければ、ＦiとＦi+1は連続する発話フレームであると考え、1つの音声小段落を構成する。
【０１７４】
そして、これを全てのフレームに渡り繰り返すことで、連続発話と考えられるフレームは音声小段落にまとめることができる。
【０１７５】
また、音声小段落を生成する方法の他例としては、次のようなものが考えられる。
【０１７６】
まず、要約するコンテンツ全体に渡り発話フレーム毎に開始時刻、終了時刻を求め、これらを纏めて２次元のベクトルと見做す。
【０１７７】
そして、このベクトルについて、要約するコンテンツ全体の発話時間と非発話時間の比が、一般の場合の発話時間と非発話時間の割合と同じ程度になるようにボトムアップクラスタリング法を適用し、音声小段落を生成する。
【０１７８】
上述の他例においては、予め閾値を決定しておく方法とは異なり、コンテンツ間の発話速度の差を吸収し、適応的に音声小段落を構成できる。
【０１７９】
以上の処理により、各音声小段落は、１つ又は連続するフレームの集合を必ず含むこととになり、コンテンツ中に含まれる発話フレーム全体を、いくつかの音声小段落にまとめることが可能である。
【０１８０】
次に、構成した音声小段落単位での感情的状態である感情度を計算する。以下、この感情度を計算する方法の一例を図２３に基づいて説明する。
【０１８１】
コンテンツ中の音声小段落Ｓ'の集合を時刻の早いものから順に｛Ｓ１，ｓ２，…，ＳＮＳ｝とする。例えば、図２３中では、符号ｖ１で示される音声小段落Ｓi-1、符号ｖ２で示される音声小段落Sｉ、符号ｖ３で示される音声小段落Ｓi+1である。
【０１８２】
ここで、ＮＳは音声小段落の総数である。また、ある音声小段落Ｓｉに含まれる発話フレームを（ｆ１，ｆ２，…，ｆＮＦｉ）と置く。ＮＦｉは音声小段落Ｓｉに含まれる発話フレーム数である。
【０１８３】
各発話フレームｆｔは、感情的状態確率計算手段によって、感情的状態確率ｐ（ｅｔ│｛ｘｔ｝）が与えられている。音声小段落Ｓｉの感情的状態ｅが、ｅｋである感情度ｐＳｉ（ｅ＝ｅｋ）は、例えば、平均値を表す次式によって計算することが考えられる。
【０１８４】
【数６】
2009278202.tif 000008
また、例えば、最大値を表す次式によって計算することも考えられる。
【０１８５】
【数７】
2009278202.tif 000009
これら以外にも、例えば、音声小段落内で窓掛けを行ってから感情度を計算するなど、方法は様々考えられるが、音声小段落間で感情度を比較する場合があるため、感情度はある一定の値の範囲内、例えば、０〜1の間に収まるようにすることが好ましい。
【０１８６】
なお、図２３における感情度は、符号Ｈ１〜Ｈ３で示されている感情度である。
【０１８７】
学習工程において、一つ以上の感情を設定しておくことにより、該感情毎の感情度を抽出可能となる。あるいは、該区間について、一つ以上の感情度の最大値／和算／乗算／平均のいずれかを最終的な感情度として規定してもよい。
【０１８８】
・人物音声が含まれる区間：
文献「南憲一、他、"音情報を用いた映像インデクシングとその応用"信学論(D-II), vol. J81-D-II, no. 3, pp. 529-537, 1998」の方法により、当該音声が含まれている区間の開始時刻と終了時刻、及びその確率を算出できる。当該開始時刻と終了時刻の中間の時刻のフレーム画像を、人物音声が含まれる代表静止画として用いる。
【０１８９】
・主要人物発話区間；
文献「古井貞熙、「音響・音声工学」近代科学社、電子・情報工学入門シリーズ2、pp．１１９−１２１」に記載の方法により、発話区間のスペクトルの包絡を表現するケプストラム係数によるベクトルを生成し、これを所LBGアルゴリズム等で所定のクラスに到るまで量子化することにより、主要発話者の発話区間とその確率を算出できる。主要発話者の発話区間の開始時刻と終了時刻の中間の時刻のフレーム画像を、主要発話者の発話区間の代表静止画として用いる。
【０１９０】
・発話中の頻出フレーズ区間；
特開２０００−８９７９１号公報に記載の方法で、音声からキーワードを生成し、頻出するキーワードを発見し、該発見された区間を、発話中の頻出フレーズ区間として、頻度に応じて頻出フレーズ区間の発生確率と頻出フレーズ区間の開始時刻と終了時刻を求めることができる。
【０１９１】
・音楽挿入区間；
特許第３５１７３４９号公報、及び、特開平１１−２６５３９６号公報に記載の技術を用い、音楽挿入部分の確率及び時刻情報を求めることができる。
【０１９２】
上記の映像解析ステップ（ステップ１３１）及び音声解析ステップ（ステップ１３２）において解析結果メモリ１３３３に出力される情報の例を図２５に示す。同図に示すように、これらの解析結果は各イベントに対する開始時刻、終了時刻、代表画像位置、時間長、発生確率等である。
【０１９３】
ステップ１３３）  優先順位決定部１３３５は、ステップ１３１，１３２で求められたイベントの発生確率を入力とし、発生確率の値に基づいて、各イベントの区間に対し、優先順位を付与して出力する。
【０１９４】
優先順位については昇順、降順のいずれでもよいが、本実施の形態では、降順の場合について説明する。また、図２５を用いて、各イベントの発生確率から優先順位を算出する具体的な処理方法を説明する。図２５の発生確率カラムの値（０〜１の値）を、区間番号カラムのＩＤ毎（番号毎）に降順ソートし、これを優先順位とする。
【０１９５】
また，出力機器情報記憶部１４５の情報に基づいて、ステップ１２において、区間分割部１３２で分割された映像の部分区間について、映像の先頭側の部分区間から順に後方に向かって、所定の時間に到るまで、イベントの優先順位の高い順に、部分区間内で編集に用いる区間を選択し、選択された区間の時刻情報及びイベントの情報を、編集情報として編集部１３４に出力する。イベントの優先順位が高くとも、出力機器情報記憶部１４５の情報により再生できないイベントである場合には、選択の候補から外す。映像の最も終端に近い側の部分区間に到るまで、編集に用いる区間を選択した後、まだ所定の時間に達しない場合は、既に選択された区間と隣接する区間における、優先順位が次点のイベントを選択してもよい。また、選択すべきイベントはユーザが予め与えることもできる。また、優先順位を決定する際、優先順位の大小に関わらず、特定のイベントを選択し、上記の編集情報に加えて、編集部１３４に出力するような、所謂編集ルールやシナリオテンプレート等を、ユーザが事前に与えてもよい。
【０１９６】
また、上記のステップ１１において、入力部１３１から静止画及び編集映像における動画と静止画の構成比率が入力された場合には、出力機器情報記憶部１４５の情報に基づいて、所定の時間を構成比率に従って求めると共に、入力部１３１から映像と共に入力された静止画の、編集映像における挿入位置を、色や撮影日時の類似度により決定することにより、編集映像において、複数のチャプター（シーン）からなるスライドショーに代表されるような表現を可能にする編集情報を生成できる。例えば、入力部１３１において、入力された映像の時間長＝n［分］、静止画の枚数＝m［枚］、編集映像における動作と静止画の構成比率＝ｖ：ｐ、出力機器情報のうち、出力機器において再生可能な編集映像の長さ＝ｔ［分］という情報が入力された場合、上記の所定の時間Ｔは、
【０１９７】
【数８】
2009278202.tif 000010
となり、静止画１枚あたりに使われる編集映像の時間長は、
【０１９８】
【数９】
2009278202.tif 000011
となる。すなわち、時間Ｔに到るまで編集に用いる区間を選択したとき、トータルでｋ個の区間が選択されたとした場合、ｋ個の選択された区間のそれぞれについて、カラーの平均値を求め、ｍ枚の静止画のそれぞれのカラーと比較し、カラーの類似順に、ｋ個のそれぞれの区間の直後あるいは直前に、静止画１枚についての再生時間が
【０１９９】
【数１０】
2009278202.tif 000012
となるように、静止画の再生区間を挿入するように編集情報を生成し、これを編集部１３４に出力する。このとき、ｍとｋが異なる場合は、挿入される静止画の枚数が均等になるように調整する等してもよい。また。カラーの類似度でなく、撮影日時の順番や、静止画に付与されたメタ情報に基づいて挿入部分を決定することもできる。このように、動画と動画との間に、静止画を一定時間表示する区間を生成可能な編集情報を生成できる。また、入力部１３１において静止画が入力されずに、編集映像における動画と静止画の構成比率のみが入力された場合には、動画と動画の間に表示する静止画として映像解析ステップ１３１の解析処理によって生成された代表静止画を用いることにより、入力部１３１から静止画が入力された場合と同様の構造を持つ編集情報を生成できる。
【０２００】
ステップ１４）  編集ステップ；
編集部１３４は、優先順位付与部１３３から出力され、編集情報メモリ１３４１に格納された編集情報に基づいて、編集映像を生成する。
【０２０１】
図２６は、本発明の一実施の形態における編集処理のフローチャートである。
【０２０２】
編集処理（ステップ１４）は、ＢＧＭ重畳ステップ（ステップ１４１）、エフェクト重畳ステップ（ステップ１４２）、広告映像挿入ステップ（ステップ１４３）、マニュアル編集ステップ（ステップ１４４）からなるが、ＢＧＭ、エフェクト、広告映像が挿入されない場合は、優先順位決定ステップ（ステップ１３３）により生成された編集情報に基づいて、編集映像に用いる区間を映像記憶部１４１に格納された映像から抽出し、選択区間をマージし、編集映像を編集映像記憶部１４２に出力する。
【０２０３】
ステップ１４１）ＢＧＭ重畳ステップ；
ＢＧＭ重畳部１３４２は、ステップ１３３で出力された映像にＢＧＭを重畳させる。このとき、エフェクト・ＢＧＭ記憶部１４４中のＢＧＭを解析し、ＢＧＭから繰り返し部分を検出することにより、所謂サビ部分を抽出し、これをＢＧＭのハイライト部分とし、ＢＧＭのハイライト部分が、ステップ１３３で出力した映像の区間のうち優先度の値が最大となる区間に重畳されるよう、ＢＧＭの重畳させる位置を調整してもよい。あるいは、特許第３８０３３１１号公報に記載の技術によりＢＧＭを一つ以上の区間に分割し、当該区間に前述の手法により優先順位を付与し、この優先順位と該映像の該区間の優先順位を対応させる手法により重畳させてもよい。例えば、最尤の強調度となるＢＧＭの分析フレーム位置に、最も強調度の高い映像の該区間、もしくは、該区間中の最尤の強調度となる分析フレーム位置を重畳させてもよい。しかしながら、この場合は、映像の時間的構造が編集工程によって担保されないことが想定される。例えば、お正月の映像コンテンツなどで、新年を祝う乾杯のシーンが、団欒のシーンより後に来るなどが想定される。時間構造を保持したい場合、例えば、下記の方法を施せばよい。最終的に作成される映像コンテンツの内、映像が占有する割合ｒを設定する。このｒは、ステップ１１で入力部１３１からユーザにより入力された値でもよく、あるいは、映像の強調度の積算、平均、乗算、最大値、最小値のいずれかを映像値として、この映像値と、過去の映像値との比較により設定するものであってもよい。具体的には、当該映像の映像値がｖｎで過去の映像値がｖｐの場合、
ｖｎ／ｖｐ≧１  ∴ｒ＝１
ｖｎ／ｖｐ＜１  ∴ｒ＝ｖｎ／ｖｐ
としてもよい。このｒから、必要となる映像時間長ｔｖを求める。映像の全時間長がＬの場合、
ｔｖ＝Ｌ／ｒ
で算出する。このｔｖを満足する該区間に上記の優先順位から選択し、この選択数をｎとする。
【０２０４】
当該ＢＧＭをｎ分割し、１〜ｎ区間毎に、特許第３８０３３１１号に記載の技術により、最尤の強調度となる分析フレームを求め、その時刻に、上記の選択された映像の区間を時系列順に重畳していけばよい。これらの方法では、ｒ＜１の場合、ＢＧＭが当該区間の総計よりも長くなるため、隙間が開いた形となる。その場合、隙間に静止画を挿入するなどの処理を施してもよい。その静止画の選択は、最近接する映像との関連性の高い静止画とするなどとしてもよい。例えば、静止画の撮影時刻、静止画の画像情報と該映像の画像情報のカラーヒストグラムの類似度、あるいは、該映像に含まれる画像情報と該映像の画像情報のカラーヒストグラムの類似度、あるいは、該映像に含まれる頻出フレーズ区間を、前述の方法により求め、静止画の付帯情報から頻出フレーズに類するものを評価し、その類似度を用いる、などにより関連性を求めてもよい。
【０２０５】
ステップ１４２）  エフェクト重畳部１３４３は、エフェクト・ＢＧＭ記憶部１４４から、エフェクトのルールを参照し、ステップ１３３で出力された区間に対し、エフェクトを重畳する。エフェクトのルールの例を図２７に示す。
【０２０６】
ステップ１４３）  広告映像挿入部１３４４は、ステップ１３３で出力された区間に対して、ステップ１３１及びステップ１３２において生成された代表静止画のカラーヒストグラムを算出し、広告コンテンツ記憶部１４３に記録された広告映像画像と、カラーヒストグラムの類似度を比較し、類似度が所定の値を上回る広告画像を、ステップ１３３で出力された区間のイベントの間隔に挿入する。挿入する画像を選択する場合、カラーヒストグラムの類似度を用いる方法以外に、広告画像に付帯されているテキスト文字列、日時情報などを組み合わせて類似度を算出してもよい。
【０２０７】
ステップ１４４）  マニュアル編集部１３４４は、ユーザが手作業で映像を編集できるインタフェースを提供する。インタフェースは、エフェクト重畳機能、ＢＧＭ重畳機能、区間設定機能、イベント選択機能、編集映像プレビュー機能を具備する。インタフェース上で映像区間の表示に用いられる静止画は、ステップ１３１及びステップ１３２で生成された代表静止画を用い、各代表静止画はそのイベントの区間の映像の再生位置と対応付けられ、インタフェース上で代表静止画を選択することにより映像を再生する。
【０２０８】
ステップ１４５）  マニュアル編集部１３４４は、編集映像の編集情報を出力部１３５に出力する。出力する編集情報の例を図２８に示す。
【０２０９】
ステップ１５）  出力部１３５は、ステップ１４５から出力された編集情報と共に、ステップ１４（映像編集ステップ）で生成された編集映像を出力する。本ステップでは、出力機能情報記憶部１４５に格納された出力機器の解像度に対して、出力する編集映像の縦横サイズを自動的に最適化する。出力する編集映像は、インタフェース上でユーザが確認することが可能であって、最適化の結果、特定のイベントにおける画質が劣化する等場合があれば、ステップ１４４でユーザの手作業により編集に用いる映像の区間を任意に選択することもできる。
【０２１０】
ステップ１１，１２，１３，１３１，１３２，１３３，１４，１４１，１４２，１４３，１４４，１４５，１５の処理を行うことで、映像を編集し、加工し、共有することが可能となる。
【０２１１】
なお、上記の図３に示す編集装置の構成要素の動作をプログラムとして構築し、編集装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。
【０２１２】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【０２１３】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０２１４】
本発明は、映像編集装置一般に適用可能であり、特に部分的に静止画が挿入された映像を生成する映像編集技術に適応可能である。
【図面の簡単な説明】
【０２１５】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における編集装置の構成図である。
【図４】本発明の一実施の形態におけるイベント優先順位付与部の構成図である。
【図５】本発明の一実施の形態における編集部の構成図である。
【図６】本発明の一実施の形態における全体動作のフローチャートである。
【図７】本発明の一実施の形態における区間分割結果の例である。
【図８】本発明の一実施の形態における優先順位付与ステップの詳細動作のフローチャートである。
【図９】笑顔検出装置の構成図である。
【図１０】表示検出処理のフローチャートである。
【図１１】特徴点抽出の事前準備として抽出した特徴点の例である。
【図１２】特徴点の例である。
【図１３】特徴量の例１である。
【図１４】笑い状態を３状態に分割した模式図である。
【図１５】笑い状態を３状態に分割する方法を示した模式図である。
【図１６】左右対称性を考慮して笑い状態を抽出するために用いる特徴量である。
【図１７】感情検出処理のフローチャートである。
【図１８】統計モデル構築処理のフローチャートである。
【図１９】時刻ｔにおいて抽出された基本周波数である。
【図２０】音量特徴量の時間的な挙動の捕捉方法の例である。
【図２１】感情的状態と音声特徴量の関係を示す図である。
【図２２】感情的状態確率の例である。
【図２３】感情度計算の例である。
【図２４】感情検出のためのハードウェア構成を示す図である。
【図２５】本発明の一実施の形態における解析結果メモリの例である。
【図２６】本発明の一実施の形態における編集処理のフローチャートである。
【図２７】本発明の一実施の形態におけるエフェクトのルールの例である。
【図２８】本発明の一実施の形態における出力される編集情報の例である。
【符号の説明】
【０２１６】
１０Ａ  動画入力部
２０Ａ  顔画像領域抽出部
２０Ｃ  入力装置
３０Ａ  特徴点抽出部
３５Ａ  特徴点記憶部
４５Ａ  特徴量記憶部
４０Ａ  特徴量抽出部
５０Ａ  笑い状態検出部
１０Ｃ  Ｗｅｂ
１２  バス
１５  表示機器
１３１  入力手段、入力部
１３２  区間分割手段、区間分割部
１３３  画像挿入箇所決定手段、イベント優先順位付与部
１３４  編集部
１３５  出力部
１３６  区間記憶手段
１４１  映像記憶部
１４２  編集映像記憶部
１４３  広告コンテンツ記憶部
１４４  エフェクト・ＢＧＭ記憶部
１４５  出力機器情報記憶部
２１０  入力部
２１１  キーボード
２１２  ポインティングデバイス
２１３  ＣＤ，ＤＶＤ
２２１  ＣＰＵ
２２２  ハードディスク
２２３  ＲＯＭ
２２４  ＲＡＭ
２３０  表示部
２４０  出力部
１３３１  映像解析部
１３３１ａ  映像特徴量算出手段
１３３１ｂ  画像特徴量算出手段
１３３２  音声解析部
１３３３  特徴量記憶手段
１３３５  優先順位決定部
１３３６  優先順位メモリ
１３４１  編集情報メモリ
１３４２  ＢＧＭ重畳部
１３４３  エフェクト重畳部
１３４４  広告映像挿入部
１３４５  マニュアル編集部
【図１】
2009278202.tif 000013
【図２】
2009278202.tif 000014
【図３】
2009278202.tif 000015
【図４】
2009278202.tif 000016
【図５】
2009278202.tif 000017
【図６】
2009278202.tif 000018
【図７】
2009278202.tif 000019
【図８】
2009278202.tif 000020
【図９】
2009278202.tif 000021
【図１０】
2009278202.tif 000022
【図１１】
2009278202.tif 000023
【図１２】
2009278202.tif 000024
【図１３】
2009278202.tif 000025
【図１４】
2009278202.tif 000026
【図１５】
2009278202.tif 000027
【図１６】
2009278202.tif 000028
【図１７】
2009278202.tif 000029
【図１８】
2009278202.tif 000030
【図１９】
2009278202.tif 000031
【図２０】
2009278202.tif 000032
【図２１】
2009278202.tif 000033
【図２２】
2009278202.tif 000034
【図２３】
2009278202.tif 000035
【図２４】
2009278202.tif 000036
【図２５】
2009278202.tif 000037
【図２６】
2009278202.tif 000038
【図２７】
2009278202.tif 000039
【図２８】
2009278202.tif 000040