(57)【要約】【課題】個人の感性をより反映した要約映像を生成する。【解決手段】映像コンテンツを視聴したときの視聴者の顔の表情を撮像すると共に発した音声を集音しこれらに基づき視聴者の感情を推測する。同様に、映像コンテンツの出演者について顔の表情及び音声から出演者の感情を推測する。映像コンテンツの出演者及び視聴者の、顔の表情に基づく感情が一致するフレーム、及び音声に基づく感情が一致するフレームを視聴者が共感した箇所とし、この共感した箇所のフレームを抽出し、このフレームからなる映像を要約映像として、その元となる映像コンテンツのタイトルと対応付けて所定の記憶領域に格納する。【選択図】      図１
2007097047.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも人物が登場するコンテンツの要約を作成するコンテンツの編集装置であって、
前記コンテンツの出演者の感情を推測する出演者感情推測手段と、
前記コンテンツを視聴しているときの視聴者の感情を推測する視聴者感情推測手段と、
前記出演者感情推測手段及び前記視聴者感情推測手段で推測される前記出演者及び視聴者の感情情報に基づいて前記コンテンツのうち、前記視聴者の前記出演者に対する共感度の高いシーンを推測する高共感度シーン推測手段と、
当該高共感度シーン推測手段で推測した共感度の高いシーンを用いて前記コンテンツの要約コンテンツを生成する要約コンテンツ生成手段と、を備えることを特徴とするコンテンツの編集装置。
【請求項２】
前記高共感度シーン推測手段は、前記出演者感情推測手段で推測される前記出演者の感情と、前記視聴者感情推測手段で推測される前記視聴者の感情とが一致するシーンを共感度の高いシーンとして推測することを特徴とする請求項１記載のコンテンツの編集装置。
【請求項３】
前記コンテンツは、前記人物の映像信号及び音声信号の何れか一方を含み、
前記出演者感情推測手段は、前記映像信号及び音声信号の何れかに基づいて前記出演者の感情を推測することを特徴とする請求項１又は請求項２記載のコンテンツの編集装置。
【請求項４】
前記視聴者感情推測手段は、前記視聴者の表情を撮像する撮像手段、前記視聴者が発する音声を集音する集音手段、及び前記視聴者の生体情報を検出する生体情報検出手段の少なくとも何れか一つを備え、
前記撮像手段の撮像情報、前記集音手段の集音情報及び前記生体情報検出手段の検出情報の何れかに基づいて前記視聴者の感情を推測することを特徴とする請求項１から請求項３の何れか１項に記載のコンテンツの編集装置。
【請求項５】
前記コンテンツは、前記人物の映像信号及び音声信号を含み、
前記出演者感情推測手段は、前記出演者について、前記映像信号に基づく感情及び前記音声信号に基づく感情をそれぞれ推測し、
前記視聴者感情推測手段は、前記視聴者の表情を撮像する撮像手段及び前記視聴者が発する音声を集音する集音手段を備え、前記視聴者について、前記撮像手段の撮像情報に基づく感情及び前記集音手段の集音情報に基づく感情をそれぞれ推測し、
前記高共感度シーン推測手段は、前記出演者の映像信号に基づく感情及び前記視聴者の撮像情報に基づく感情が一致するシーン及び前記出演者の前記音声信号に基づく感情及び前記視聴者の集音情報に基づく感情が一致するシーンを共感度の高いシーンとして推測することを特徴とする請求項１又は請求項２記載のコンテンツの編集装置。
【請求項６】
前記出演者感情推測手段は、前記映像信号に基づき前記出演者の表情を認識する表情認識手段を備え、
当該表情認識手段で認識した出演者の表情から前記感情を推測することを特徴とする請求項３又は請求項５記載のコンテンツの編集装置。
【請求項７】
前記出演者感情推測手段は、前記音声信号に基づき前記出演者の喉頭原音の振動を表す振動周波数の解析を行う解析手段を備え、
当該解析手段の解析結果に基づいて前記出演者の感情を推測することを特徴とする請求項３、請求項５及び請求項６のうちの何れか１項に記載のコンテンツの編集装置。
【請求項８】
前記視聴者感情推測手段は、前記撮像情報に基づき前記視聴者の表情を認識する表情認識手段を備え、
当該表情認識手段で認識した視聴者の表情から前記感情を推測することを特徴とする請求項４又は請求項５記載のコンテンツの編集装置。
【請求項９】
前記視聴者感情推測手段は、前記集音情報に基づき前記視聴者の喉頭原音の振動を表す振動周波数の解析を行う解析手段を備え、
当該解析手段の解析結果に基づいて前記視聴者の感情を推測することを特徴とする請求項４、請求項５及び請求項８のうちの何れか１項に記載のコンテンツの編集装置。
【請求項１０】
少なくとも人物が登場するコンテンツの要約を作成するコンテンツの編集方法であって、
前記コンテンツの出演者の感情を推測すると共に、前記コンテンツを視聴しているときの視聴者の感情を推測し、
推測した前記出演者及び前記視聴者の感情に基づいて、前記コンテンツにおいて、前記視聴者が前記出演者に共感しているシーンを特定し、
特定したシーンを用いて前記コンテンツの要約コンテンツを作成することを特徴とするコンテンツの編集方法。
【請求項１１】
コンテンツの出演者の感情を推測するステップと、
前記コンテンツを視聴しているときの視聴者の感情を推測するステップと、
前記出演者及び視聴者の感情に基づいて、前記コンテンツにおいて、前記視聴者が前記出演者に共感しているシーンを特定するステップと、
前記特定したシーンを用いて前記コンテンツの要約コンテンツを作成するステップと、をコンピュータに実行させることを特徴とするコンテンツの編集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツの要約を作成するコンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラムに関する。
【背景技術】
【０００２】
従来、映像コンテンツを編集する方法として、コンテンツを要約するための切れ目を検出し、シーンの切り換わりに着目して編集するようにしたものや、コンテンツを管理するために映像内の人物等を自動的に認識しこれに基づいて編集を行うようにしたもの等が提案されている。また、上記に加えて、映像内容のキーワード（メタデータ）に基づいて、コンテンツの検索に活用するようにしたもの等も提案されている。そして、コンテンツの増加に伴って、効率の良い検索や、要約映像の生成等、各種編集方法のニーズは高まっている。
【０００３】
このように、各種編集方法が提案されているが、個人で撮影したホームビデオの場合、ユーザ自身が、映像内容を表現したキーワード（メタデータ）を付加することは稀であり、編集に用いるための情報量が限られている。そのため、様々な情報を付加することが考案されてきている。
例えば、特許文献１では、生体情報から解析された感情に基づいて映像や音声等の情報コンテンツの検索を行うようにした検索方法が提案されている。この検索方法では、センサ等を用いて視聴者の感情や気分等の心理状態等を分析し、感情情報によるコンテンツの検索を試みている。
【特許文献１】特開２００５−１２４９０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の方法においては、生体情報を感情情報として扱い、視聴者の興味のある場面で、視聴者の感情のみを評価しているだけである。このため、感情といった主観的な情報を用いた、より効果的な編集方法が望まれていた。
そこで、この発明は上記従来の未解決の問題に着目してなされたものであり、個人の感性を、より有効に活用したコンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記した課題を解決するために、本発明のコンテンツの編集装置は、少なくとも人物が登場するコンテンツの要約を作成するコンテンツの編集装置であって、前記コンテンツの出演者の感情を推測する出演者感情推測手段と、前記コンテンツを視聴しているときの視聴者の感情を推測する視聴者感情推測手段と、前記出演者感情推測手段及び前記視聴者感情推測手段で推測される前記出演者及び視聴者の感情情報に基づいて前記コンテンツのうち、前記視聴者の前記出演者に対する共感度の高いシーンを推測する高共感度シーン推測手段と、当該高共感度シーン推測手段で推測した共感度の高いシーンを用いて前記コンテンツの要約コンテンツを生成する要約コンテンツ生成手段と、を備えることを特徴としている。
【０００６】
上記構成によれば、コンテンツの出演者の感情と、コンテンツの視聴者の感情とを推測し、コンテンツの視聴者がコンテンツの出演者に共感している共感度の高いシーンを用いてコンテンツの要約コンテンツを生成するから、視聴者の感性に則したシーンからなる要約コンテンツを作成することができ、この要約コンテンツを参照することによりその元となるコンテンツの概要を容易且つ的確に認識することができる。
【０００７】
また、上記したコンテンツの編集装置において、前記高共感度シーン推測手段は、前記出演者感情推測手段で推測される前記出演者の感情と、前記視聴者感情推測手段で推測される前記視聴者の感情とが一致するシーンを共感度の高いシーンとして推測することを特徴としている。
上記構成によれば、コンテンツの出演者の感情と、コンテンツの視聴者の感情とが一致するシーンを共感度の高いシーンとして推測するから、視聴者の共感度の高いシーンを容易且つ的確に推測することができる。
【０００８】
また、上記したコンテンツの編集装置において、前記コンテンツは、前記人物の映像信号及び音声信号の何れか一方を含み、前記出演者感情推測手段は、前記映像信号及び音声信号の何れかに基づいて前記出演者の感情を推測することを特徴としている。
上記構成によれば、コンテンツに含まれる、出演者の映像信号及び音声信号の何れか一方に基づいて出演者の感情を推測するから、出演者の感情を容易に検出することができる。
【０００９】
また、上記したコンテンツの編集装置において、前記視聴者感情推測手段は、前記視聴者の表情を撮像する撮像手段、前記視聴者が発する音声を集音する集音手段、及び前記視聴者の生体情報を検出する生体情報検出手段の少なくとも何れか一つを備え、前記撮像手段の撮像情報、前記集音手段の集音情報及び前記生体情報検出手段の検出情報の何れかに基づいて前記視聴者の感情を推測することを特徴としている。
【００１０】
上記構成によれば、撮像手段で撮像した視聴者の表情、集音手段で集音した視聴者が発する音声、及び生体情報検出手段で検出した視聴者の生体情報の少なくとも何れか一つに基づいて視聴者の感情を推測するから、視聴者の感情を容易に推測することができる。
また、上記したコンテンツの編集装置において、前記コンテンツは、前記人物の映像信号及び音声信号を含み、前記出演者感情推測手段は、前記出演者について、前記映像信号に基づく感情及び前記音声信号に基づく感情をそれぞれ推測し、前記視聴者感情推測手段は、前記視聴者の表情を撮像する撮像手段及び前記視聴者が発する音声を集音する集音手段を備え、前記視聴者について、前記撮像手段の撮像情報に基づく感情及び前記集音手段の集音情報に基づく感情をそれぞれ推測し、前記高共感度シーン推測手段は、前記出演者の映像信号に基づく感情及び前記視聴者の撮像情報に基づく感情が一致するシーン及び前記出演者の前記音声信号に基づく感情及び前記視聴者の集音情報に基づく感情が一致するシーンを共感度の高いシーンとして推測することを特徴としている。
【００１１】
上記構成によれば、コンテンツの出演者の映像信号に基づく感情、コンテンツの視聴者の撮像情報に基づく感情といった外見からわかる感情が一致するシーンと、コンテンツの出演者の音声信号に基づく感情とコンテンツの視聴者の音声信号に基づく感情といったコンテンツの出演者及び視聴者が発する音声からわかる感情どうしが一致するシーンを共感度の高いシーンとして推測するから、同種の感情の表現どうしを比較することでより共感度の高いシーンを的確に推測することができると共に、外見だけから、或いは音声信号だけからは、感情がわからない場合であっても双方の感情を考慮する事で、共感度の高いシーンを的確に推測することができる。
【００１２】
また、上記したコンテンツの編集装置において、前記出演者感情推測手段は、前記映像信号に基づき前記出演者の表情を認識する表情認識手段を備え、当該表情認識手段で認識した出演者の表情から前記感情を推測することを特徴としている。
上記構成によれば、映像信号に基づいてコンテンツの出演者の顔の表情を認識し、これに基づき前記出演者の感情を推測するから、出演者の感情を容易的確に推測することができる。
【００１３】
また、上記したコンテンツの編集装置において、前記出演者感情推測手段は、前記音声信号に基づき前記出演者の喉頭原音の振動を表す振動周波数の解析を行う解析手段を備え、当該解析手段の解析結果に基づいて前記出演者の感情を推測することを特徴としている。
上記構成によれば、音声信号に基づいて、コンテンツの出演者が発する喉頭原音の振動周波数を解析し、これに基づいて出演者の感情を推測するから、出演者の感情を容易的確に推測することができる。
【００１４】
また、上記したコンテンツの編集装置において、前記視聴者感情推測手段は、前記撮像情報に基づき前記視聴者の表情を認識する表情認識手段を備え、当該表情認識手段で認識した視聴者の表情から前記感情を推測することを特徴としている。
上記構成によれば、視聴者を撮像した撮像情報に基づき、視聴者の表情を認識しこれに基づき視聴者の感情を推測するから、視聴者の感情を容易的確に推測することができる。
【００１５】
また、上記したコンテンツの編集装置において、前記視聴者感情推測手段は、前記集音情報に基づき前記視聴者の喉頭原音の振動を表す振動周波数の解析を行う解析手段を備え、当該解析手段の解析結果に基づいて前記視聴者の感情を推測することを特徴としている。
上記構成によれば、集音手段で集音した集音情報に基づき、視聴者が発する喉頭原音の振動周波数を解析し、これに基づいて視聴者の感情を推測するから、視聴者の感情を容易的確に推測することができる。
【００１６】
また、本発明のコンテンツの編集方法は、少なくとも人物が登場するコンテンツの要約を作成するコンテンツの編集方法であって、前記コンテンツの出演者の感情を検出すると共に、前記コンテンツを視聴しているときの視聴者の感情を推測し、推測した前記出演者及び前記視聴者の感情に基づいて、前記コンテンツにおいて、前記視聴者が前記出演者に共感しているシーンを特定し、特定したシーンを用いて前記コンテンツの要約コンテンツを作成することを特徴としている。
【００１７】
上記構成によれば、コンテンツの出演者に対して、コンテンツの視聴者が共感しているシーンを特定しこれを用いて前記コンテンツの要約コンテンツを作成するから、視聴者の感性に則した要約コンテンツを作成することができ、この要約コンテンツを参照することで、その元となるコンテンツの概要を容易的確に認識することができる。
また、本発明のコンテンツの編集プログラムは、コンテンツの出演者の感情を推測するステップと、前記コンテンツを視聴しているときの視聴者の感情を推測するステップと、前記出演者及び視聴者の感情に基づいて、前記コンテンツにおいて、前記視聴者が前記出演者に共感しているシーンを特定するステップと、前記特定したシーンを用いて前記コンテンツの要約コンテンツを作成するステップと、をコンピュータに実行させることを特徴としている。
【００１８】
上記構成によれば、コンテンツの出演者に対して、コンテンツの視聴者が共感しているシーンを特定しこれを用いて前記コンテンツの要約コンテンツを作成するから、視聴者の感性に則した要約コンテンツを作成することができ、この要約コンテンツを参照することで、その元となるコンテンツの概要を容易的確に認識することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を説明する。
図１は、本発明のコンテンツの編集装置の一例を示す機能ブロック図である。
図１に示すように、このコンテンツの編集装置は、補助記憶装置等、所定の記憶領域に格納されているホームビデオ等のコンテンツファイルのうち、指定された映像コンテンツのコンテンツ情報を読み出し、これを再生する再生手段１と、前記指定された映像コンテンツの出演者の感情を推測するコンテンツ出演者感情推測部２と、前記指定された映像コンテンツを視聴した視聴者の感情を推測する視聴者感情推測部３と、前記コンテンツ出演者感情推測部２で推測した出演者の感情と視聴者感情推測部３で推測した視聴者の感情とに基づいてその共感度を算出する共感度算出手段４と、共感度算出手段４で算出された共感度に基づいてその共感度が高い部分を抽出し、これをもとに要約映像を生成する要約映像作成手段５と、を備える。
【００２０】
前記出演者感情推測部２は、図１に示すように、補助記憶装置等の所定の記憶領域に格納されているホームビデオ等のファイルのうち視聴者が指定した映像コンテンツの映像信号及び音声信号を取り込むための映像・音声信号入力手段１１、この映像・音声信号入力手段１１で入力した映像信号から映像コンテンツの出演者の顔画像を抽出する顔検出手段１２、この顔検出手段１２で抽出した顔画像を解析しその表情を認識する表情認識手段１３、及び、前記映像・音声信号入力手段１１で入力した音声信号に基づいて映像コンテンツの出演者の感情を推測する音声感情推測手段１４を備える。
【００２１】
前記顔検出手段１２は、公知の手順で映像信号の中から顔画像を抽出する。例えば、顔を表現するには、輝度やエッジから生成される顔画像特徴量を用いる。そして、例えば、特開平９−５０５２８号公報に記載されているように、ある入力画像について、まず、人物肌色領域の有無を判定し、人物肌色領域に対して自動的にモザイクサイズを決定し、候補領域をモザイク化する。そして、人物顔辞書との距離を計算することにより、人物顔の有無を判定し、人物顔の切り出しを行うことによって、背景等の影響による誤抽出を減らし、効率的に画像中から人間の顔を自動的に見つける方法等を用いることができる。また、顔検出手段１２としては、例えば、公知の、多層ニューラルネットワーク、サポートベクトルマシンや判別分析等の統計的な手法により実現することができる。また、例えば、技術文献「背景と顔の方向に依存しない顔の検出と顔方向の推定」（信学技報，ＰＲＭＵ２００１−２１７，ｐｐ．８７−９４（２００２−０１），荒木祐一，島田伸敬，白井良明）に記載されているように、顔の部位を確率付きで求め、弛緩法を用いて顔の検出を行うようにしてもよい。なお、本実施の形態においては、顔方向の推定は不要である。
【００２２】
前記表情認識手段１３は、公知の判別分析等の統計的な手法により、前記顔検出手段１２で抽出した顔画像に対しその表情を分類する。例えば、Ｅｋｍａｎらの「怒り」、「恐れ」、「悲しみ」、「喜び」、「嫌悪」、「驚き」の基本６表情にあてはまる顔画像を予め多数収集しておき、これら収集した顔画像を元に、前記顔検出手段１２で抽出した顔画像に対し、その表情を分類し、コンテンツ出演者の感情情報を得る。
【００２３】
なお、この顔表情の検出は、ニューラルネットワークを用いた学習により、表情を分類する識別器を構成することで実現することも可能である。
なお、例えば、特開平８−２４９４５３号公報の「顔の表情認識装置」に記載されているように、顔画像の特徴ベクトルを抽出し、喜怒哀楽等のカテゴリ別に量子化し、各カテゴリの表情を認識するようにしてもよい。
【００２４】
前記音声感情推測手段１４は、喉頭原音の振動を表す振動周波数に基づいて公知の一般的な音声による感情解析を行う。すなわち、前記喉頭原音の振動を表す振動周波数は、一般に、興奮している場合には振動周波数が上がり、悲しみの表現や愛情の表現では低くなる傾向にあることから、前記振動周波数の平均値及び標準偏差をもとに、統計的な手法で分類する。また、例えば、特開平５−１２０２３号公報の「感情認識装置」に記載されているように、音声信号に基づきその特徴信号と、基準データとの正規化ずれ量を算出し、その継続時間や信号のずれ方向、信号レベルや立ち上がりの速さ等に基づいて感情を判断するようにしてもよい。
【００２５】
そして、前記表情認識手段１３で検出された映像信号に基づくコンテンツ出演者の感情及び音声感情推測手段１４で検出された音声信号に基づくコンテンツ出演者の感情は、前記映像コンテンツのどの時点における感情であるかを特定するタイミング情報と対応付けて管理される。
一方、前記視聴者感情推測部３は、前記指定された映像コンテンツを視聴しているときの視聴者の表情を撮像すると共に、視聴者が発生する音声を入力するための映像・音声信号入力手段２１、前記映像・音声信号入力手段２１で入力した映像信号から視聴者の顔画像を抽出する顔検出手段２２、この顔検出手段２２で抽出した顔画像を解析し表情を認識する表情認識手段２３、前記映像・音声信号入力手段２１で入力した音声信号に基づいて視聴者の感情を認識する音声感情推測手段２４を備える。
【００２６】
前記映像・音声信号入力手段２１は、例えば、視聴者の顔の表情を認識するためのＣＣＤ（Charge Coupled Device）等のイメージセンサといった撮像手段及び視聴者の音声を収集するためのマイク等の集音手段で構成される。
また、前記顔検出手段２２は、前記コンテンツ出演者感情推測部２の顔検出手段１２と同様に構成され、ＣＣＤ等の撮像手段で撮像して得た視聴者を撮像した映像信号の中から視聴者の顔画像を抽出する。そして、表情認識手段２３は、上記コンテンツ出演者感情推測部２の表情認識手段１３と同様の手順で、前記顔検出手段２２で検出した視聴者の顔画像からその表情を認識し、視聴者の感情情報を得る。
【００２７】
また、前記音声感情推測手段２４は、前記マイク等の集音手段で検出した視聴者が発する声や笑い声、泣き声等の音声信号に対して、上記コンテンツ出演者感情推測部２の音声感情推測手段１４と同様の手順で解析を行い、音声信号に基づく視聴者の感情を推測する。
そして、これら表情認識手段２３で認識した視聴者の表情から推測される感情及び音声感情推測手段２４で音声信号に基づき推測される視聴者の感情は、前記映像コンテンツのどの時点で生じたかを表すタイミング情報と対応付けて管理される。
【００２８】
前記共感度算出手段４は、前記コンテンツ出演者感情推測部２の表情認識手段１３及び音声感情推測手段１４で推測したコンテンツ出演者の感情情報と、前記視聴者感情推測部３の表情認識手段２３及び音声感情推測手段２４で推測した視聴者の感情情報とを比較し、コンテンツ出演者の感情と視聴者の感情との一致度合、すなわち共感度を算出する。この共感度の算出は、コンテンツ出演者の感情情報及び視聴者の感情情報においてそのタイミング情報が一致するときのコンテンツ出演者の感情と視聴者の感情とが一致するとき、共感度が一致し共感度は高いと判断する。逆に、顔画像に基づく感情及び音声信号に基づく感情のいずれも一致しないときには共感度は低いと判断する。
【００２９】
前記要約映像作成手段５は、前記共感度算出手段４での共感度の算出結果に基づき、その共感度が高いと判断される時点における映像コンテンツの映像信号を抽出し、共感度が高いときの映像信号からなるファイルを生成しこれを要約映像とし、これを、補助記憶装置等所定の記憶領域に格納する。
そして、前記コンテンツの編集装置は、具体的には、図２に示すように、コンピュータ１００及びこれに実行させるプログラムとして実現することができる。
【００３０】
図２は、コンピュータ１００の構成を示すブロック図である。
コンピュータ１００は、図２に示すように、制御プログラムに基づいて演算及びシステム全体を制御する演算処理部（ＣＰＵ）１０１と、演算処理部１０１で実行される制御プログラム等が格納されるＲＯＭ１０２と、ＲＯＭ１０２等から読み出したデータや、演算処理部１０１の演算過程で必要な演算結果を格納するためのＲＡＭ１０３と、外部装置に対してデータの入出力を媒介するＩ／Ｆ１０４とで構成されており、これらはデータを転送するための信号線であるバス１０５で相互に且つデータ授受可能に接続されている。
【００３１】
前記Ｉ／Ｆ１０４には、外部装置として、ホームビデオファイル等の映像コンテンツが格納されると共に、コンテンツの編集装置で生成したコンテンツの要約映像を記憶するためのＨＤＤ等の補助記憶装置１０６、ヒューマンインタフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置１０７、映像信号に基づいて映像表示を行い、映像コンテンツやその要約映像の表示を行うディスプレイ等の出力装置１０８が接続されると共に、前述の視聴者の表情を撮像するための撮像手段及び視聴者の発する音声を収集するための集音手段からなる視聴者センサ１１０が接続されている。
【００３２】
前記演算処理部１０１は、マイクロプロセッシングユニット（ＭＰＵ）等からなり、ＲＯＭ１０２の所定領域に格納されている所定の処理プログラムを起動させ、映像コンテンツの要約映像を生成する。
図３は、コンテンツ信号或いは視聴者の撮像画像から顔画像を抽出しその感情を推測する際の処理手順の一例を示すフローチャートであって、前記コンテンツ出演者感情推測部２での顔画像に基づく感情の推測と視聴者感情推測部３での顔画像に基づく感情の推測とは同じ手順で行われるので、ここでは、コンテンツ信号に対する処理について説明する。
【００３３】
まず、入力装置１０７で指定された映像コンテンツの映像信号を補助記憶装置１０６から読み込み、連続するフレームから１フレームずつ取り出す（ステップＳ１）。
そして、取り出した１フレームについて、顔検出手段１２によって、顔画像の検出を行い、フレーム内の顔を検出する。この際、検出された“顔”として、そのフレームにおける位置（Ｘ，Ｙ座標）や、輪郭を含めたサイズ等を検出する（ステップＳ２）。
【００３４】
次いで、ステップＳ３に移行し、ステップＳ２での顔画像の検出結果に基づいて、そのフレーム内に顔画像が存在するかどうかを判断し、顔画像が存在しない場合には、ステップＳ１に戻って次のフレームについて同様に処理を行う。
一方、フレーム内に顔画像が存在する場合にはステップＳ４に移行し、ステップＳ２で検出した顔画像のフレーム内での位置及びそのサイズ等に基づいて、フレーム内のどの辺りの位置に顔画像が存在するかを推測し、推測した位置の画像に対して、表情認識手段１３により表情認識を行う。例えば、怒り、恐れ、悲しみ、喜び、嫌悪、驚き等の表情に分類する。そして、このフレームを特定する識別情報を前記タイミング情報とし、このタイミング情報と表情の認識結果とを対応付けて、このフレームの感情情報として所定の記録領域に格納する（ステップＳ５）。
【００３５】
次いで、ステップＳ６に移行し、指定された映像コンテンツの全てのフレームについてその感情情報を検出していなければステップＳ１に戻って次のフレームについて、上記と同様の手順で感情情報の検出を行う。そして、指定された映像コンテンツの全てのフレームについてその感情情報の検出が終了したならば処理を終了する。
以上の処理によって、指定された映像コンテンツに登場する出演者の映像信号に基づく表情認識が終了する。例えば、図４に示すように、一連のフレーム（図４（ａ））のうち、フレームｆ２〜ｆ４、ｆ６及びｆ７に顔画像がある場合には（図４（ｂ））、これら顔画像のあるフレームについてのみ、その感情情報の検出が行われ、例えば、フレームｆ２〜ｆ４のコンテンツ出演者の感情は、“喜び”、フレームｆ６、ｆ７のコンテンツ出演者の感情は“驚き”として特定される（図４（ｃ））。
【００３６】
なお、図４は、フレームにおける感情の変化状況を模式的に表したものであって、図４（ｂ）において、ハッチングがなされたフレームは顔画像があるフレームを表している。また、図４（ｃ）において、ハッチングがなされたフレームは、感情推測が行われたフレームを表し、ハッチングの種類で感情の種類を表している。
同様の手順で、ＣＣＤ等の撮像手段で撮像した、この映像コンテンツを視聴したときの視聴者の表情を撮像した映像信号に対し、同様の手順で１フレームずつ感情情報を検出する。
【００３７】
図５は、コンテンツ信号或いは視聴者の音声信号からその感情を検出する際の処理手順の一例を示すフローチャートであって、前記コンテンツ出演者感情推測部２での音声信号に基づく感情の検出と視聴者感情推測部３での音声信号に基づく感情の推測とは同じ手順で行われるので、ここでは、コンテンツ信号に対する処理について説明する。
まず、入力装置１０７で指定された映像コンテンツについて補助記憶装置１０６からその音声信号を全フレームについて一度に読み込む（ステップＳ１１）。ここでは、音声信号の周波数について解析を行うため全ての音声信号を一度に読み込んでいる。
【００３８】
次いで、ステップＳ１２に移行し、音声信号を周波数成分として扱い、前記音声感情推測手段１４により、感情情報を解析する。すなわち、その喉頭原音の振動周波数の高低に基づいてその感情を推測する。このとき、その感情が生じたときの開始時刻及び終了時刻も検出する。
次いで、ステップＳ１３に移行し、ステップＳ１２で検出した音声信号に基づく感情の開始時刻及び終了時刻をタイミング情報とし、各感情とそのタイミング情報とを対応付けて所定の記憶領域に格納する。
【００３９】
以上によって、コンテンツ出演者の音声信号に基づく感情情報が検出されたことになる。例えば、図６に示すように、時点ｔ１〜ｔ２、時点ｔ３〜ｔ４で、振動周波数に感情情報を表す特徴的な周波数成分が現れたときには（図６（ａ））、その感情情報を特定し、例えば、“喜び”として認識する（図６（ｂ））。なお、図６（ａ）において横軸は時間、縦軸は振幅を表す。また、図６（ｂ）において、ハッチングの種類により感情の種類を表す。
【００４０】
同様の手順で、マイク等の集音手段で収集した、このコンテンツを視聴した視聴者の感情を、音声信号に基づき推測し、その感情が生じたときの開始時刻及び終了時刻と対応付けて所定の記憶領域に格納する。
図７は、顔画像及び音声信号に基づいて推測した感情情報に基づいて要約映像を作成するための、要約映像作成処理の処理手順の一例を示すフローチャートである。
【００４１】
この要約映像作成処理では、まず、ステップＳ２１で顔画像及び映像信号に基づいて推測した、コンテンツ出演者及び視聴者の感情情報を所定の記憶領域から読み出す（ステップＳ２１）。次いで、ステップＳ２２に移行し、顔画像に基づく感情情報に対応付けられているタイミング情報、すなわちフレームの識別情報に基づいて、コンテンツ出演者及びその視聴者の、顔の表情から読み取れる感情情報が一致するフレームを特定する。同様に、音声信号に基づく感情情報に対応付けられたタイミング情報、すなわち、感情の開始時刻及び終了時刻に基づいて、コンテンツ出演者とその視聴者の、音声信号から読み取れる感情情報が一致する時点を特定する。
【００４２】
次いで、ステップＳ２３に移行し、顔画像に基づくコンテンツ出演者及び視聴者の感情情報が一致する時点及び音声信号に基づくコンテンツ出演者及び視聴者の感情情報が一致する時点を特定し、この時点の共感度は高いと判断する。
そして、顔画像に基づくコンテンツ出演者及び視聴者の感情情報が一致するフレームの識別情報で特定されるタイミングと、音声信号に基づくコンテンツ出演者及び視聴者の感情情報が一致するときの、感情の開始時刻及び終了時刻で特定されるタイミングとが一致するとき、この時点の共感度は最も高いと判断する。
【００４３】
また、顔画像に基づくコンテンツ出演者及び視聴者の感情情報どうし及び音声信号に基づくコンテンツ出演者及び視聴者の感情情報どうしのいずれも一致しないとき、この時点の共感度は低いと判断する。
次いで、ステップＳ２４に移行し、ステップＳ２３で共感度が高いと判断された時点のフレームを、コンテンツ信号からそのフレームの並び順に抽出する。そして、この抽出したフレームからなる映像信号を生成し、これを指定されたコンテンツの要約映像として補助記憶装置１０６に格納し、処理を終了する。
【００４４】
次に、上記実施の形態の動作を説明する。
まず、入力装置１０７によって、要約の作成対象の映像コンテンツを指定し、これを再生手段１によって再生する。このとき、撮像手段及び集音手段を備えた視聴者センサ１１０によって、視聴中の視聴者の顔の表情を撮像すると共に視聴者が発する音声を集音し所定の記憶領域に格納しておく。
【００４５】
次に、要約の作成対象のコンテンツについてそのコンテンツ出演者の感情情報を獲得する。具体的には、入力装置１０７で対象の映像コンテンツを指定し、前記図３及び図５の処理を実行させて映像信号及び音声信号についてその感情情報を獲得する。
演算処理部１０１では、映像コンテンツの連続するフレームのうち１フレームずつ読み込み（図３ステップＳ１）、顔画像の検出を行う（ステップＳ２）。そして、顔画像が検出されたフレームについて、表情認識を行う（ステップＳ４）。
【００４６】
これによって、例えば、図８の模式図に示すように、顔画像が検出されたフレームについて、怒り、恐れ、悲しみ、喜び、嫌悪、驚き、といった６つの表情に分類され（図８（ａ））、これがフレームの識別情報と対応付けられて所定の記憶領域に格納される。図８（ａ）の場合、フレームｆ１２〜ｆ１４，ｆ１６〜ｆ１７、ｆ２１〜ｆ２５、ｆ２７〜ｆ２９が顔画像のあるフレームとして検出され、フレームｆ１２〜ｆ１４及びｆ２１〜ｆ２５は“喜び、フレームｆ１６〜ｆ１７及びｆ２７〜ｆ２９は、“驚き”として認識される。
【００４７】
また、音声信号に基づき、図８（ｂ）に示すように、時点ｔ１２〜ｔ１６及び時点ｔ２８〜ｔ３０は“喜び”、時点ｔ２０〜ｔ２３は“驚き”として認識される。なお、図８において、各フレームと各時点とは、タイミングを一致させて表示しており、図８（ａ）〜（ｅ）の各タイミングは一致している。
次に、この映像コンテンツを視聴した視聴者の感情情報を同様にして検出する。この場合には、先に収集して所定の記憶領域に格納している視聴者の映像信号及び音声信号に対して処理を行い、その感情情報をそのタイミング情報と対応付けて所定の記憶領域に格納する。
【００４８】
これによって、例えば、図８（ｃ）に示すように、映像信号については、フレームｆ１３〜ｆ１６及びｆ２０〜ｆ２３は“喜び”、フレームｆ２６〜ｆ３０は“驚き”として認識され、音声信号については、図８（ｄ）に示すように、時点ｔ１４〜ｔ１５及び時点ｔ３０は“喜び”、時点ｔ２２〜ｔ２３は“驚き”として認識される。
そして、これら映像信号及び音声信号に基づく感情情報の検出結果に対し、図７に示す要約映像作成処理が実行され、コンテンツ出演者の感情と、その視聴者の感情とが一致する箇所が特定される。
【００４９】
図８の場合、映像信号に基づく感情情報は、図８（ａ）及び図８（ｃ）に示すように、フレームｆ１３〜ｆ１４、フレームｆ２１〜ｆ２３が“喜び”、フレームｆ２７〜ｆ２９が“驚き”で一致する。また、音声信号に基づく感情情報は図８（ｂ）及び図８（ｄ）に示すように、時点ｔ１４〜ｔ１５、時点ｔ２２〜ｔ２３が“喜び”、時点ｔ３０が“驚き”で一致する。したがって、映像信号について、コンテンツ出演者の感情とその視聴者の感情とが“喜び”で一致するフレームｆ１３〜ｆ１４及びｆ２１〜ｆ２３と、“驚き”で一致するフレームｆ２７〜ｆ２９が共感度の高いフレームとして特定される。同様に、音声信号について、コンテンツ出演者の感情とその視聴者の感情とが“喜び”で一致する時点ｔ１４〜ｔ１５及び時点ｔ３０と、“驚き”で一致する時点ｔ２２〜ｔ２３が共感度の高い箇所として特定される。
【００５０】
したがって、コンテンツ出演者とその視聴者とで、映像信号に基づく感情が一致するフレーム及び音声信号に基づく感情が一致する時点が、共感度の高い箇所として抽出され、すなわち、図８（ｅ）に示すように、“喜び”の感情を有するフレームｆ１３〜ｆ１５、“喜び”と“驚き”の感情を有するフレームｆ２１〜ｆ２３及びｆ２７〜ｆ３０が抽出され、これに基づき、要約映像が生成される。そして、この要約映像は、指定された映像コンテンツの要約映像として、補助記憶装置１０６に格納される。この要約映像は、例えば、図９に示すように、要約を作成した映像コンテンツを特定する番組タイトルとその録画日時が付加されて補助記憶装置１０６に格納される。
【００５１】
利用者は、補助記憶装置１０６に格納された各要約映像を読み出し、これを再生手段１で再生することにより、その映像コンテンツの概要を把握することができる。
ここで、前述のように、前記要約映像を、コンテンツ出演者と視聴者との感情が一致したフレームから構成している。したがって、視聴者がその映像コンテンツに対して感情移入している程度が大きい箇所、すなわち、視聴者側の感受性に応じた特徴的な要約映像を作成することができる。したがって、この要約映像を参照することによって、その元となる映像コンテンツの内容を速やかに認識させることができ、映像コンテンツの検索を速やかに行うことができる。
【００５２】
このとき、コンテンツ出演者及びその視聴者の感情情報を、顔の表情及び音声信号に基づいて推測しているから、共感度の高い箇所を容易に抽出することができる。
また、共感度の高い箇所を抽出することにより、コンテンツ出演者の感情が大きく変化した箇所等、特徴ある場面を抽出して要約映像を作成することができるから、映像コンテンツの内容を効率良く把握することができ、所望の映像コンテンツを容易に検索することができる。
【００５３】
また、人間の感情は、顔及び音声に共に現れず、顔或いは音声の何れか一方にのみ現れる場合もあるが、上述のように、顔画像に基づく感情だけでなく音声信号に基づく感情も検出しこれら両方から得られる感情に基づいて視聴者が共感している箇所を抽出するようにしているから、感情が顔及び音声に共に現れない場合であっても、視聴者が共感している箇所を的確に抽出することができる。
【００５４】
また、特に、家庭で個人的に撮像したホームビデオ等の場合には、コンテンツの検索に用いるための、映像内容のキーワード等のメタデータを付加することは面倒な作業である。しかしながら、上述のように、自動的に要約映像を作成することができるから、この要約映像を参照することによって容易に所望のホームビデオを検索することができる。
なお、上記実施の形態においては、顔画像から得られる感情及び音声信号から得られる感情の何れか一方について、コンテンツ出演者と視聴者の感情が一致するとき共感度が高いとしてこの箇所を抽出して要約映像を形成する場合について説明したが、例えば、顔画像から得られる感情及び音声信号から得られる感情について、コンテンツ出演者及び視聴者の感情が共に一致する、共感度が最も高い箇所のみを、要約映像として抽出するようにしてもよい。
【００５５】
また、上記実施の形態においては、視聴者の顔の表情及び視聴者が発する音声信号に基づいて視聴者の感情を推測する場合について説明したが、視聴者の感情を推測することが可能な感情推測手段であればどのような情報に基づいて視聴者の感情を推測するようにしてもよく、例えば、視聴者の、心拍、脈拍、血圧、脳波、呼吸、発汗、瞬目といった、生体情報を検出する生体情報検出手段を設け、これによって、前記生体情報を獲得し、これに基づいて視聴者の感情を推測するようにしてもよい。この場合、例えば、特許第３３１０４９８号の「生体情報解析装置及び生体情報解析方法」に記載されているように、脳波のゆらぎ信号を入力としてニューラルネットワークにより、脳波等の生体情報から快適度等の感情情報を定量的に計測すればよい。そして、これら複数の感情推測手段の推測結果を視聴者の感情として用いるようにしてもよく、また、これら複数の感情推測手段による推測結果の何れか一つ或いは複数の感情推測手段の推測結果を組み合わせてもよい。
【００５６】
また、上記実施の形態においては、顔画像に基づく感情と音声信号に基づく感情とを推測し、これらに基づいてコンテンツ出演者の感情と視聴者の感情とが一致する箇所を抽出する場合について説明したが、顔画像に基づく感情及び音声信号に基づく感情の何れか一方のみを推測し、コンテンツ出演者及び視聴者の感情が一致する箇所を抽出するようにしてもよく、また、前記生体情報のみに基づいて、コンテンツ出演者及び視聴者の感情が一致する箇所を抽出するようにしてもよい。
【００５７】
また、上記実施の形態においては、共感度が一致するフレームのみから要約映像を生成するようにした場合について説明したが、例えば、共感度が一致するフレームを含むその前後所定量のフレーム、或いは共感度が一致するフレームから所定量のフレームを抽出しこれを要約映像としてもよい。
また、上記実施の形態においては、ホームビデオの映像コンテンツの要約映像を生成した場合について説明したがこれに限らず、ドラマ等、その他の映像コンテンツであっても適用することができる。また、映像コンテンツに限らず、映像を含まない音声コンテンツであっても適用することができる。この場合には、音声コンテンツの出演者の音声信号に基づく感情とこの音声コンテンツを視聴した視聴者が発する音声に基づく感情とが一致する箇所を共感度が高い箇所として抽出し、これを要約音声とすればよい。
【００５８】
ここで、上記実施の形態において、図１のコンテンツ出演者感情推測部２が出演者感情推測手段に対応し、視聴者感情推測部３が視聴者感情推測手段に対応し、共感度算出手段４が高共感度シーン推測手段に対応し、要約映像作成手段５が要約コンテンツ生成手段に対応している。
また、図１の顔検出手段１２及び表情認識手段１３、顔検出手段２２及び表情認識手段２３がそれぞれ表情検出手段に対応し、音声感情推測手段１４及び２４が振動周波数の解析手段に対応している。
【図面の簡単な説明】
【００５９】
【図１】本発明を適用したコンテンツ編集装置の一例を示す機能ブロック図である。
【図２】本発明のコンテンツ編集装置を実現するハードウェア構成を示す図である。
【図３】顔画像に基づく感情情報の検出方法の処理の流れを示すフローチャートである。
【図４】顔画像に基づく感情情報の検出方法を説明するための説明図である。
【図５】音声信号に基づく感情情報の検出方法の処理の流れを示すフローチャートである。
【図６】音声信号に基づく感情情報の検出方法を説明するための説明図である。
【図７】要約映像生成処理の、処理の流れを示すフローチャートである。
【図８】要約映像の生成方法を説明するための説明図である。
【図９】補助記憶装置に記憶された要約映像の一例である。
【符号の説明】
【００６０】
２  コンテンツ出演者感情推測部、３  視聴者感情推測部、４  共感度算出手段、５  要約映像作成手段、１１、２１  映像・音声信号入力手段、１２、２２  顔検出手段、１３、２３  表情認識手段、１４、２４  音声感情推測手段、１０１  演算処理部、１０６  補助記憶装置、１１０  視聴者センサ
【図１】
2007097047.tif 000003
【図２】
2007097047.tif 000004
【図３】
2007097047.tif 000005
【図４】
2007097047.tif 000006
【図５】
2007097047.tif 000007
【図６】
2007097047.tif 000008
【図７】
2007097047.tif 000009
【図８】
2007097047.tif 000010
【図９】
2007097047.tif 000011