(57)【要約】【課題】検索要求を満足するダイジェストを同定し、該ダイジェストをユーザに提示する。【解決手段】本発明は、映像を入力し、映像コンテンツ記憶手段に格納し、映像コンテンツ記憶手段から映像を読み出して解析し、キーワードを抽出し、検索ダイジェスト記憶手段に格納し、映像コンテンツ記憶手段から映像を読み出して、該映像を分割した区間のダイジェストを生成するための情報である要約情報として検索ダイジェスト記憶手段に格納する。ユーザから指定された検索語に対応するキーワードを検索ダイジェスト記憶手段から取得し、該キーワードに対応する要約情報を該検索ダイジェスト記憶手段から取得し、映像コンテンツ記憶手段から該要約情報の区分の映像をダイジェストとして取得して該ユーザの表示手段に出力する。【選択図】図１
2009259167.tif 000002
【特許請求の範囲】
【請求項１】
音声データを含む映像を検索してダイジェストを生成して提供する映像検索ダイジェスト生成装置であって、
映像を入力し、記憶手段に格納する映像入力手段と、
前記記憶手段から前記映像を読み出して解析し、キーワードを抽出し、該記憶手段に格納するキーワード抽出手段と、
前記記憶手段から前記映像を読み出して、該映像を分割した区間のダイジェストを生成するための情報である要約情報として該記憶手段に格納するダイジェスト生成手段と、
ユーザから指定された検索語に対応するキーワードを前記記憶手段から取得し、該キーワードに対応する要約情報を該記憶手段から取得する、または、前記記憶手段から該要約情報の区分の映像をダイジェストとして取得して出力する検索提示手段と、
を有することを特徴とする映像検索ダイジェスト生成装置。
【請求項２】
前記キーワード抽出手段は、
前記映像と同梱されたメタデータ、映像を公開したサイトにおける該映像の表示位置付近のテキスト、該映像に付帯する音声を解析して求めた音素列、の少なくとも１つから、該映像のキーワードを抽出する手段を含む
請求項１記載の映像検索ダイジェスト生成装置。
【請求項３】
前記キーワード抽出手段は、
ネットワーク上のテキストと、前記映像に付帯する音声を解析して求めた音素列を対応付けて該映像のキーワードを抽出する手段を含む
請求項１記載の映像検索ダイジェスト生成装置。
【請求項４】
前記ダイジェスト生成手段は、
前記映像を一つ以上の区間に分割し、該区間について、ダイジェストに利用する優先順位を、音声特徴量、画像特徴量の少なくとも１つを用いて付与し、該優先順位を用いて複数の長さの要約情報を生成する手段を含む
請求項１記載の映像検索ダイジェスト生成装置。
【請求項５】
音声データを含む映像を検索してダイジェストを生成して提供する映像検索ダイジェスト生成方法であって、
映像入力手段が、映像を入力し、記憶手段に格納する映像入力ステップと、
キーワード抽出手段が、前記記憶手段から前記映像を読み出して解析し、キーワードを抽出し、該記憶手段に格納するキーワード抽出ステップと、
ダイジェスト生成手段が、前記記憶手段から前記映像を読み出して、該映像を分割した区間のダイジェストを生成するための情報である要約情報として該記憶手段に格納するダイジェスト生成ステップと、
検索提示手段が、ユーザから指定された検索語に対応するキーワードを前記記憶手段から取得し、該キーワードに対応する要約情報を該記憶手段から取得する、または、該記憶手段から該要約情報の区分の映像をダイジェストとして取得して出力する検索提示ステップと、
を行うことを特徴とする映像検索ダイジェスト生成方法。
【請求項６】
前記キーワード抽出ステップにおいて、
前記映像と同梱されたメタデータ、映像を公開したサイトにおける該映像の表示位置付近のテキスト、該映像に付帯する音声を解析して求めた音素列、の少なくとも１つから、該映像のキーワードを抽出するステップを行う
請求項５記載の映像検索ダイジェスト生成方法。
【請求項７】
前記キーワード抽出ステップにおいて、
ネットワーク上のテキストと、前記映像に付帯する音声を解析して求めた音素列を対応付けて該映像のキーワードを抽出するステップを行う
請求項５記載の映像検索ダイジェスト生成方法。
【請求項８】
前記ダイジェスト生成ステップにおいて、
前記映像を一つ以上の区間に分割し、該区間について、ダイジェストに利用する優先順位を、音声特徴量、画像特徴量の少なくとも１つを用いて付与し、該優先順位を用いて複数の長さの要約情報を生成するステップを行う
請求項５記載の映像検索ダイジェスト生成方法。
【請求項９】
請求項１乃至４のいずれか１項に記載の映像検索ダイジェスト生成装置を構成する各手段としてコンピュータを機能させるための映像検索ダイジェスト生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像検索ダイジェスト生成装置及び方法及びプログラムに係り、特に、音声、音楽を含む映像を検索してダイジェストを生成する映像検索ダイジェスト生成装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
映像数の増加に伴い、効率的な映像視聴方法が求められる。このためには、映像のダイジェストを視聴することが効果的な手法としてあげられる。例えば、強調音声区間を基に、ユーザの指定する任意の時間長でダイジェストを生成する手法がある（例えば、特許文献１参照）。
【０００３】
また、音声の感情状態に対応してダイジェストを生成する手法がある（例えば、特許文献２参照）。
【０００４】
また、動物体が大きく写っている映像区間を作成することができ、ダイジェスト的な映像区間閲覧のためのインデックスを利用者に提供することが可能な技術がある（例えば、特許文献３参照）。
【特許文献１】特許第３８０３３１１号公報
【特許文献２】特開２００５−２４５４９６号公報
【特許文献３】特開２００６−２４４０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来提案されている方法は、装置、または、プログラムがダイジェストを生成するものである。各映像をダイジェスト視聴することにより、１映像あたりの視聴時間を短縮することはできても、映像数の増加、例えば、１００００コンテンツを視聴するには、１映像を１０秒でダイジェスト視聴したとしても、１０００００秒、約２７時間以上を要してしまう。この問題を解決するには、ダイジェスト視聴技術に加え、検索技術が必要となる。
【０００６】
本発明は、上記の点に鑑みなされたもので、検索要求を満足するダイジェストを同定し、該ダイジェストをユーザに提示する映像検索ダイジェスト生成装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
図１は、本発明の原理構成図である。
【０００８】
本発明（請求項１）は、音声データを含む映像を検索してダイジェストを生成して提供する映像検索ダイジェスト生成装置であって、
映像を入力し、記憶手段１４に格納する映像入力手段と１３１、
記憶手段１４から映像を読み出して解析し、キーワードを抽出し、該記憶手段１４に格納するキーワード抽出手段１３２と、
記憶手段１４から映像を読み出して、該映像を分割した区間のダイジェストを生成するための情報である要約情報として記憶手段１４に格納するダイジェスト生成手段１３３と、
ユーザから指定された検索語に対応するキーワードを前記記憶手段１４から取得し、該キーワードに対応する要約情報を該記憶手段１４から取得する、または、記憶手段１４から該要約情報の区分の映像をダイジェストとして取得して出力する検索提示手段１３４と、を有する。
【０００９】
また、本発明（請求項２）は、キーワード抽出手段１３２において、
映像と同梱されたメタデータ、映像を公開したサイトにおける該映像の表示位置付近のテキスト、該映像に付帯する音声を解析して求めた音素列、の少なくとも１つから、該映像のキーワードを抽出する手段を含む。
【００１０】
また、本発明（請求項３）は、キーワード抽出手段１３２において、
ネットワーク上のテキストと、映像に付帯する音声を解析して求めた音素列を対応付けて該映像のキーワードを抽出する手段を含む。
【００１１】
また、本発明（請求項４）は、ダイジェスト生成手段１３３において、
映像を一つ以上の区間に分割し、該区間について、ダイジェストに利用する優先順位を、音声特徴量、画像特徴量の少なくとも１つを用いて付与し、該優先順位を用いて複数の長さの要約情報を生成する手段を含む。
【００１２】
図２は、本発明の原理を説明するための図である。
【００１３】
本発明（請求項５）は、音声データを含む映像を検索してダイジェストを生成して提供する映像検索ダイジェスト生成方法であって、
映像入力手段が、映像を入力し、記憶手段に格納する映像入力ステップ（ステップ１）と、
キーワード抽出手段が、記憶手段から映像を読み出して解析し、キーワードを抽出し、検記憶手段に格納するキーワード抽出ステップ（ステップ２）と、
ダイジェスト生成手段が、記憶手段から映像を読み出して、該映像を分割した区間のダイジェストを生成するための情報である要約情報として該記憶手段に格納するダイジェスト生成ステップ（ステップ３）と、
検索提示手段が、ユーザから指定された検索語に対応するキーワードを記憶手段から取得し、該キーワードに対応する要約情報を該記憶手段から取得する、または、記憶手段から該要約情報の区分の映像をダイジェストとして取得して出力する検索提示ステップ（ステップ４）と、を行う。
【００１４】
また、本発明（請求項６）は、キーワード抽出ステップ（ステップ２）において、
映像と同梱されたメタデータ、映像を公開したサイトにおける該映像の表示位置付近のテキスト、該映像に付帯する音声を解析して求めた音素列、の少なくとも１つから、該映像のキーワードを抽出するステップを行う。
【００１５】
また、本発明（請求項７）は、キーワード抽出ステップ（ステップ２）において、
ネットワーク上のテキストと、映像に付帯する音声を解析して求めた音素列を対応付けて該映像のキーワードを抽出するステップを行う。
【００１６】
また、本発明（請求項８）は、ダイジェスト生成ステップ（ステップ３）において、
映像を一つ以上の区間に分割し、該区間について、ダイジェストに利用する優先順位を、音声特徴量、画像特徴量の少なくとも１つを用いて付与し、該優先順位を用いて複数の長さの要約情報を生成するステップを行う。
【００１７】
本発明（請求項９）は、請求項１乃至４のいずれか１項に記載の映像検索ダイジェスト生成装置を構成する各手段としてコンピュータを機能させるための映像検索ダイジェスト提示プログラムである。
【発明の効果】
【００１８】
本発明によれば、映像のダイジェストとキーワードを抽出して保存しておくことにより、ユーザの指定した検索語を満足するダイジェストを高速に提示することが可能となる。
【００１９】
また、映像のキーワードを抽出することが可能となる。
【００２０】
さらに、ダイジェストに利用される一つ以上の区間について、ダイジェストに利用する優先順位を付与し、複数の長さのダイジェストを生成することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面と共に本発明の実施の形態を説明する。
【００２２】
図３は、本発明の一実施の形態における映像検索ダイジェスト生成装置の構成を示す。
【００２３】
同図に示す映像検索ダイジェスト生成装置は、中央処理ユニット（ＣＰＵ：Central Processing Unit）１１を備える。当該ＣＰＵ１１には、バス１２を介して、プログラムメモリ１３、データメモリ１４、通信インタフェース（通信Ｉ／Ｆ）１５がそれぞれ接続されている。
【００２４】
プログラムメモリ１３には、映像入力部１３１、キーワード抽出部１３２、ダイジェスト生成部１３３、検索要求検索提示部（以下、「検索提示部」と記す）１３４が格納されている。
【００２５】
データメモリ１４には、コンテンツ記憶部１４１と検索ダイジェスト記憶部１４２が設けられている。
【００２６】
通信Ｉ／Ｆ１５は、ＣＰＵ１１の制御の下、インターネット上のサーバ及びインターネットサイトとの間で、通信ネットワークにより規定される通信プロトコルに従い通信を行う。通信プロトコルとしては、例えば、TCP/IP(Transmission Control Protocol/Internet Protocol)が使用される。
【００２７】
プログラムメモリ１３の映像入力部１３１は、映像ファイルが入力されると、コンテンツ記憶部１４１に記憶する。
【００２８】
キーワード抽出部１３２は、コンテンツ記憶部１４１から映像ファイルを読み出して、当該映像ファイルの映像を解析してキーワードを抽出する。キーワードを抽出する際に、映像と同梱されたメタデータ、映像を公開したサイトにおける映像の表示付近のテキスト、映像に付帯する音声を解析して求めた音素列のいずれかまたは両方から映像のキーワードを抽出し、検索ダイジェスト記憶部１４２に格納する。また、ネットワーク上のテキストと映像に付帯する音声を解析して求めた音素列を対応付けて映像のキーワードを抽出してもよい。
【００２９】
ダイジェスト生成部１３３は、映像を一つ以上の区間に分割し、各区間について、ダイジェストに利用する優先順位を、音声特徴量、画像特徴量のいずれか一つ以上を用いて付与して、優先順位を用いて複数の長さのダイジェストを生成するためのダイジェスト要約情報を生成し、キーワード抽出部１３２で抽出されたキーワードと対応付けて検索ダイジェスト記憶部１４２に格納する。
【００３０】
検索提示部１３４は、ユーザから指定された検索語に対応するダイジェストをダイジェスト記憶部１４２から検索して、当該ダイジェスト要約に対応するコンテンツをコンテンツ記憶部１４１からダイジェストとして取得して、ユーザの表示手段（図示せず）に通信Ｉ／Ｆ１５を介して表示する。
【００３１】
図４は、本発明の一実施の形態における映像検索ダイジェスト生成装置の動作のフローチャートである。
【００３２】
ステップ１０１）  映像が入力されると、映像入力部１３１は、データメモリ１４のコンテンツ記憶部１４１に格納する。
【００３３】
ステップ１０２）  次に、キーワード抽出部１３２において、コンテンツ記憶部１４１から映像を読み込んで、当該映像と同梱されたメタデータ、映像を公開したサイトにおける映像の表示付近のテキスト、映像に付帯する音声を解析して求めた音素列のいずれかまたは両方から映像のキーワードを抽出し、検索ダイジェスト記憶部１４２に格納する。
【００３４】
ステップ１０３）  ダイジェスト生成部１３３において、コンテンツ記憶部１４１から映像を読み込んで、当該映像を複数の区間に分割し、各区間について、ダイジェストを提示するための優先度、その区間の時間長等を含めた要約情報として、ステップ１０２で抽出されたキーワードに対応付けて検索ダイジェスト記憶部１４２に格納する。
【００３５】
ステップ１０４）  検索提示部１３４は、ユーザから検索語が入力されると、当該検索語に基づいて、検索ダイジェスト記憶部１４２を検索し、当該検索語に対応するキーワードを取得し、当該キーワードに対応するダイジェスト要約情報を取得し、当該要約情報の優先度に基づいてN件の区間の映像をダイジェスト映像としてコンテンツ記憶部１４１から読み出して、ユーザの表示手段（図示せず）に通信Ｉ／Ｆ１５を介して出力する。
【００３６】
以下に、上記の構成の各要素について詳細に説明する。
【００３７】
＜キーワード抽出部１３２＞
まず、キーワード抽出部１３２について説明する。
【００３８】
キーワード抽出部１３２は、入力された映像データと共に、コンテンツについての説明が、映像ファイルに梱包されていれば、それを利用してキーワードを抽出する。例えば、mpeg7(http://www.itscj.ipsj.or.jp/mpeg7/)形式で記述された文書などが想定される。あるいは、映像ファイルには、ヘッダ部分と呼ばれる映像圧縮形式などが記された領域がある。その領域に、映像を説明する内容が記されていれば、それを利用してもよい。
【００３９】
あるいは、映像が公開されたネットワーク上のサイトのＨＴＭＬなどを解析することにより、映像と関連したキーワードを抽出してもよい。例えば、特開２００５−１１５７２１号公報"植松幸生、竹野浩、小長井俊介、「画像検索方法、画像検索装置及び画像検索プログラム」"では、周辺テキストを、該画像のリンクについて記述するタグ前後の文字列として、該文字列と該画像を関連付ける方法が述べられている。この方法を該画像から該映像のリンクと変更することにより、該映像と該文字列を関連付けることが可能となる。さらに、該文字列からキーワードを抽出するには、例えば、特許第３５７５２４２号公報"別所克人、岩瀬成人、「キーワード抽出方法及び装置及びキーワード抽出プログラムを格納した記憶媒体」"を用いればよい。
【００４０】
あるいは、映像に付帯する音声を解析して音素列を得て、それを利用するものであってもよい。例えば、音素列は、特許第３３６８９８９号公報"野田喜昭、嵯峨山茂樹、「音声認識方法」"、もしくは、特開２０００−８９７９１号公報"宮崎昇、川端豪「音声認識応答方法、その装置及びプログラム記録媒体」"の技術を用いて抽出すればよい。この音素列を上記の特許第３３６８９８９号公報に記載の技術により音声認識し、結果を上記の特許第３５７５２４２号公報に記載の技術により、キーワード抽出すればよい。
【００４１】
あるいは、映像ファイルから音声を抽出し、当該音声から音素列を求め、音素記号と無音区間情報からなるシンボル列を取得し、Ｗｅｂ情報から取得した記事情報の音素列と文節情報からなるシンボル列とを用いて、音声シンボル集合に対する類似度を求め、映像ファイルと類似度が最大となる関連記事ＩＤに対応する記事の文章を取得する。当該関連記事のテキストを前述の特許第３５７５２４２号の方法により、キーワード抽出すればよい。
【００４２】
これまで述べてきたキーワードは、一つである必要はなく、例えば、前述の特許第３５７５２４２号の技術によれば、複数のキーワードを抽出できる。上記の一つ以上のキーワードを検索ダイジェスト記憶部１４２に記憶する方法については後述する。
【００４３】
＜ダイジェスト生成部１３３＞
次に、ダイジェスト生成部１３３について詳細に説明する。
【００４４】
ダイジェスト生成部１３３は、コンテンツ記憶部１４１から映像を読み込んで、当該映像を１つ以上の区間に分割し、ダイジェストに利用可能な区間に優先順位を付与する。
【００４５】
優先順位の付与方法としては、例えば、特許第３８０３３１１号公報"日高浩太、水野理、中嶌信弥「音声処理方法及びその方法を使用した装置及びそのプログラム」"に記載の技術を用いてもよい。音声の強調状態を確率的、すなわち、強調度として抽出する手法は、区間の優先順位を当該区間の強調度を降順にすることで付与することが可能となる。
【００４６】
また、区間の音声の感情度を求め、感情度の降順に優先順位を付与する技術を用いてもよい。例えば、WO 2008/032787 A1に記載の技術を用いることが可能である。学習行程において、一つ以上の感情を設定しておくことにより当該感情毎の感情度を抽出する可能となる。あるいは、当該区間について、一つ以上の感情度の最大値／和算／乗算／平均のいずれかを最終的な感情度として規定し、優先順位を付与するものであってもよい。
【００４７】
または、下記の表情検出装置を用いて行ってもよい。以下の表情検出装置により、区間の画像情報を用いて、人間の笑い状態を検出し、感情度の降順に優先順位を付与する。
【００４８】
図５は、本発明の一実施の形態における表情検出装置の構成を示し、図６は、本発明の一実施の形態における基本的な表情検出処理のフローチャートである。
【００４９】
同図に示す表情検出装置は、動画入力部１０、顔画像領域抽出部２０、特徴点抽出部３０、特徴量抽出部４０、笑い状態検出部５０、特徴点記憶部３５、特徴量記憶部４５から構成される。
【００５０】
ステップ１）  動画入力部１０は、動画を入力する。
【００５１】
ステップ２）  顔画像領域抽出部２０は、Adaboost学習によるHaar-like特徴を用いた識別器を用いるものとし、入力された動画像から人物の顔画像領域を抽出する。ここで、多数の弱識別器をカスケード型とし、該カスケード型識別器を識別対象の大きさ、位置を変化させて適用し、顔画像領域を特定する。これについては、例えば、文献「Paul Viola, Michael J. Jones. Robust Real-Time Face Detection. International Journal of Computer Vision. Vol. 57, No2 pp.137-154 (2004)」などに記載されている。
【００５２】
ステップ３）  特徴点抽出部３０は、顔画像領域抽出部２０で抽出された顔画像領域から鼻の先端、口角の左右の位置を特徴点として抽出し、特徴点記憶部３５に格納する。特徴点抽出処理を行う際に、事前処理として、図７に示す黒抜き丸で示す２５点の特徴点を抽出している。特徴点は、輪郭、目玉、眉毛、鼻、口に関連して割り振っている。この特徴点の抽出方法としては、例えば、文献「Lades M., Vorbruggen J., Buhmann J., Lange J., Konen W., von der Malsburg C., Wurtz R. Distortion Invariant Object Recognition in the Dynamic Link Architecture. IEEE Trans. Computers, Vol. 42, No. 3 pp.300-311(1993)」、「Wiskott L., Fellous J.-M., Kruger N., von der Malsburg C. Face Recognition by Elastic Bunch Graph Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19. Issue 7, pp. 775-779 (1997)」等の公知の方法を用いるものとする。これらの公知技術を参照することにより、例えば、人物が顔を動かすなどの行為を行ったとしても安定して、図７に示す２５点の特徴を抽出可能である。この２５点の特徴のうち、図８に示す二重丸の３点（ｈ，ｉ，ｊ）のみを抽出し、残りの点は必要としない。これらは、鼻の先端、口角の左右の位置に相当する点である。また、２５点の特徴を抽出することなく、必要な３点のみを直接抽出してもよい。このような方法により、不要な点の抽出処理を省くことができる。
【００５３】
ステップ４）  特徴量抽出部４０は、鼻の先端を基準としたときの口角の左右位置との角度を計測して特徴とする。図９の例では、鼻の先端ｈを基準としたときの左右の口角の位置ｉ，ｊの角度αを計測し、特徴量とし、特徴量記憶部４５に格納する。
【００５４】
ステップ５）  笑い状態検出部５０は、特徴量記憶部４５から特徴量（角度α）を読み出して、各度αの時間変化を求め、時間変化から平衡状態からの立ち上がり状態、最大角度状態、平衡状態への立ち下がり状態の３状態に分割し、笑い状態からの開始から終了までの連続的な変化を捉える。具体的には、角度の特徴量をαとしたときのその時間履歴を図１０のように計測する。更に、αの時間履歴から、同図に示すように、平衡状態からの立ち上がり、最大角度、平衡状態への立下りの３状態に分割する。実際には、人間が平衡状態にあるときに必ずしも口の形状が閉まっている状態ではないことが想定される。また、通常会話しているときも口の形状は開閉状態となる。このような場合においても、笑っているか否かを判断するためには、例えば、特徴量αの時間変化を観測すればよい。具体的には、図１１に示すように、特徴量の時間微分ｄα／ｄｔと、２つの閾値を用いる。２つの閾値については、高閾値「thupper」と低閾値「thlower」と呼ぶこととする。この閾値は静的に設定されるものでもよく、後述する方法により動的に設定されるものであってもよい。
【００５５】
以下に、笑い状態検出部５０における、３状態に分割する方法について説明する。
【００５６】
平衡状態からの立ち上がり状態については、その開始時刻を時間微分ｄα／ｄｔが高閾値thupperを超えた時刻の時間微分ｄα／ｄｔから時間的に前方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ０とする。一方、終了時刻は、時間微分ｄα／ｄｔが高閾値thupper越えた時刻の時間微分ｄα／ｄｔから時間的に後ろ方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ１とする。この時刻ｔ１は最大角度状態の開始時刻にも相当する。
【００５７】
平衡状態への立下り状態については、最大角度状態以降で、低閾値thlowerを下回った時刻の時間微分ｄα／ｄｔから時間的に前方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ２を開始時刻とする。この時刻ｔ２は、最大角度状態の終了時刻にも相当する。一方、開始時刻は、時間微分ｄα／ｄｔが低閾値thlowerを下回った時刻の時間微分ｄα／ｄｔから時間的に後ろ方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ３とする。
【００５８】
前述のように、立上がり状態の開始時刻から平衡状態への立下り終了時刻までが一連の笑い状態として判別される。
【００５９】
次に、前述の高閾値thupperと低閾値thlowerを動的に設定する方法について述べる。
【００６０】
例えば、高閾値と低閾値の標準偏差と平均値をそれぞれσupperとμupper、σlowerとμlowerとした場合、
thupper＝ａ・σupper＋ｂ・μupper          式（１）
thlower＝ｃ・σlower＋ｄ・μlower           式（２）
としてもよい。ここで、ａ，ｂ，ｃ，ｄは、係数で任意の値とし、例えば、予め、試験用動画像を用意し、統計的な学習工程を経て設定するものであってもよい。具体的には、人手により本手法による笑い状態の上記の３状態の開始時刻と終了時刻の正解集合を設定し、これと本発明によって抽出された上記の３状態の開始時刻と終了時刻との時間差を最小限とするようにａ，ｂ，ｃ，ｄを設定してもよい。
【００６１】
人間は、発話を一切していない状態においても口の形状が微小に変化していることが想定される。例えば、唇を噛みしめたり、つばを飲み込む動作を考えるだけでもこれらは容易に想像できる。これらの微小な変化が、角度αに影響する。また、笑いを含む発声行為についても、人間は規則的に口を開閉するもではなく、ある程度の不規則さを伴って開閉することが想定される。いわゆるこのようなノイズの影響を軽減させるために、例えば、検出した角度にメディアンフィルタを適用する対策を施してもよい。
【００６２】
また、本発明による時間微分ｄα／ｄｔでは、笑い状態と、一般の発声と区別が付かない場合も想定される。例えば、illegalと発声した場合、"ille"の部分でｄα／ｄtが増加し、"gal"の部分でｄα／ｄｔが減少するため、笑い状態と似ている挙動となる可能性がある。そのような場合には、例えば、最大角度状態の時間に着目し、t2−t1＞ttimeなどの時間的な閾値ttimeを設定することで問題を回避可能となる。
【００６３】
当該笑い状態検出部５０は、上記の処理により、時間、角度α、時間微分ｄα／ｄｔからなる情報、または、３状態に分割された時刻の情報を出力する。
【００６４】
これまで、本発明の基本的な例を述べてきたが、例えば、角度αのみに着目している場合、例えば、引きつった笑いや、いやみを発言するときなどに頻出する。鼻の稜線を基準線としたときの左右非対称の状態においても笑い状態と判別する可能性がある。このような問題に対しては、図１２に示すように、口角の左右の位置ｉ，ｊを結ぶ線分の中心と、鼻の先端ｈとを結ぶ線分を基準線とし、基準線に対する左右の口角位置との角度をそれぞれ、α１、α２としてこれらの値の差を考慮することで対象であるか否かを判定すればよい。
【００６５】
例えば、それぞれの時間微分ｄα１／ｄｔ、ｄα２／ｄｔの時間履歴を測定し、これらの相関係数を求め、例えば、０．５以上であるときに対象としてもよい。また、それぞれの時間微分がｄα１／ｄｔ＞０、ｄα２／ｄｔ＞０となる時刻をｔｓ１、ｔｓ２としたときの│ｔｓ１−ｔｓ２│に閾値を設定するなどしてもよい。
【００６６】
または、以下の方法によって行ってもよい。顔領域が画像中に支配的であるか否かの支配度度合いを求め、区間の支配度合いを降順に優先順位とする。このためには、例えば、特開２００６−２４４０７４号公報"鳥井陽介、紺谷精一、森元正志「動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体」"に記載された技術を用いることが可能である。
【００６７】
上記の強調度、感情度、笑顔度、支配度を０〜１の範囲内で表現し、いずれか一つ以上について、和算、乗算、平均、最大のいずれかの値を降順に、優先順位を付与してもよい。
【００６８】
区間毎の優先度の結果を検索ダイジェスト記憶部１４２に格納する。その際、例えば、特開２００７−１４０９５１号公報"日高浩太、佐藤隆「データ編集装置都そのプログラム」"で述べられている要約管理情報の形式で記憶してもよい。さらに、キーワードについても併記してもよい。例えば、図１３に示すように記述してもよい。本発明では、図４に示す（ａ）キーワード情報記述パートと、（ｂ）要約管理情報記述パートを最低限列挙した記述方式を「検索ダイジェスト記述文書」と呼ぶ。図１３（ｂ）の開始時間、終了時間はダイジェスト生成部１３３について示した、区間の開始時刻、終了時刻に対応すればよく、これらから時間長を求めることができる。尤度は、上記の強調度、感情度、笑顔度、支配度を０〜１の範囲内で表現したものとすればよい。同図では、検索ダイジェスト記述文書の（ｂ）要約管理情報パートについて、区間の時系列として記述しているが、図１４に示すように、ダイジェスト時間長毎に記述するものであってもよい。図１４では、例えば、ダイジェスト時間長を超えるまで優先順位の降順に区間を繋ぎ合わせる。例えば、ダイジェスト時間長５秒の時は区間番号"１"のみ、１５秒のときは区間番号"１"と"３"が選択されている例を示している。このようにすることで、複数のダイジェストの生成方法を記述することが可能となる。あるいは、各ダイジェストが予め生成されている場合は、その保管場所を映像ファイル名、ダイジェスト時間長と対応付けて記述しておけばよい。図１４では、映像ファイル名を"Ｃ１"とし、ダイジェスト時間長５秒のダイジェスト保管場所を、「http://www.abc.d.e.jp/C1/d05.mpg」で示している。
【００６９】
次に、検索提示部１３４について説明する。
【００７０】
検索提示部１３４は、ユーザから検索条件が入力されると、当該検索条件と検索ダイジェスト記憶部１４２に格納された検索ダイジェスト記述文書とを対応付けることにより検索条件を満足する映像をユーザへ提示する。対応付けについては、例えば、特許第３３７１９８３号公報"小澤英昭、中川透「不完全文字列と文字列の照合方法及び装置」"に記載の技術を用いればよい。
【００７１】
例えば、ユーザの検索条件「行政改革」が図１３の検索ダイジェスト記憶部１４２の（ｂ）要約情報記述パートの区間番号"１"に存在していたとする。その際の、ダイジェストは優先順位を考慮して区間"３"、"２"を繋ぎ合わせたものを提示する。
【００７２】
あるいは、ユーザの検索条件「衆議院」に対して、図１３の（ｂ）要約情報記述パートの区間番号"３"が該当すれば、ダイジェストは区間番号３のみで作成する。
【００７３】
また、ユーザの検索条件「行政改革」が複数のコンテンツに存在していたとする。例えば、図１５に示すようなコンテンツがあったとする。図１５の（ｂ）要約情報記述パートの区間番号"３"に「行政改革」があり、当該優先順位が"１"だった場合、図１５と図１３の優先順位を比較し、図１３のコンテンツよりも優先的に図１５のコンテンツのダイジェストを作成して、ユーザに提示すればよい。
【００７４】
このように複数のコンテンツを比較する場合、例えば、優先順位"１"の区間に検索条件が該当する複数のコンテンツが存在する場合も想定される。その場合は、コンテンツに付与されている映像作成、公開、改訂日時、または、検索ダイジェスト記憶部１４２に映像作成、公開、改訂日時設定しておくことにより比較し、より最近のコンテンツを優先してユーザに提示してもよい。
【００７５】
上記では、ダイジェスト生成において、映像の区間の優先順位付与を強調度、感情度、笑顔度、支配度のいずれか一つ以上によって行ってきたが、これ以外にキーワードが出現する区間の優先順位を昇順にすることも可能である。
【００７６】
例えば、映像に付帯する音声を解析して音素列を求める手法では、その後のキーワードが存在する時刻を知ることが可能となる。当該時刻と図１３の（ｂ）要約情報記述パートを対応付け、例えば、区間番号"２"に「内閣改造」というキーワードが含まれていることによって、当該区間の優先順位を"１"に変更するなどしてもよい。
【００７７】
あるいは、図１３の（ａ）キーワード情報記述パートのキーワードの含まれる個数に応じて、例えば、「内閣改造」「首相」「更迭」の３キーワードに含まれる当該区間の優先順位を"１"とし、「首相」「組閣」の２つのキーワードが含まれる区間の優先順位を"２"とするなどしてもよい。
【００７８】
あるいは、検索条件を鑑みて、例えば「マニフェスト」と入力された場合は、当該キーワードを含む区間を優先順位"１"としてもよい。
【００７９】
また、ユーザ検索条件に該当する区間については、図１３、図１５の（ｂ）の要約情報記述パートに示される区間だけではなく、その優先順位に対応して前後の区間を追加してダイジェスト生成に用いてもよい。これは、ユーザが意図的に検索している当該区間をより理解できるように時系列的に伸張するものであり、例えば、検索要求「行政改革」が図１３の（ｂ）の要約情報記述パートの区間番号"３"に存在する場合、その前後の区間の優先順位を比較し、大の優先順位の前／後区間を追加する。例えば、最大で、当該区間の時間長と同長だけ前後に追加することを想定すれば、優先順位ｙと時間長ｄについて、２ｄ×１／ｙだけ追加すると予め設定しておけばよい。例えば、検索要求「行政改革」が図１３の（ｂ）要約情報記述パートの区間番号"３"に存在する。すなわち、優先順位"１"の場合、２ｄとなるように、まず「区間２」と「区間４」との尤度を比較し、大となる「区間４」を追加し、次に、２ｄとなるまで、あるいは超えるまで、次は「区間２」、次は「区間１」と「区間５」の比較のうちどちらか、のように追加してもよい。
【００８０】
また、図１３に示すキーワード情報記述パートと図１４に示すダイジェストを作成しておくことで、高速に映像数が増加した場合でも、高速にダイジェストを生成することが可能となる。
【００８１】
なお、図３に示す映像検索ダイジェスト生成装置の構成要素の動作をプログラムとして構築し、映像検索ダイジェスト生成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００８２】
また、構築されたプログラムをハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００８３】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００８４】
本発明は、映像を検索してダイジェストを提供する技術に適用可能である。
【図面の簡単な説明】
【００８５】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における映像検索ダイジェスト生成装置の構成図である。
【図４】本発明の一実施の形態における映像検索ダイジェスト生成装置の動作のフローチャートである。
【図５】本発明の一実施の形態における表情検出装置の構成図である。
【図６】本発明の一実施の形態における基本的な表情検出処理のフローチャートである。
【図７】本発明の一実施の形態における特徴点抽出の事前準備として抽出した特徴点の例である。
【図８】本発明の一実施の形態における特徴点の例である。
【図９】本発明の一実施の形態における特徴量の例である。
【図１０】本発明の一実施の形態における笑い状態を３状態に分割した模式図である。
【図１１】本発明の一実施の形態における笑い状態を３状態に分割する方法を示した模式図である。
【図１２】本発明の一実施の形態における左右対称性を考慮して笑い状態を抽出するために用いる特徴量である。
【図１３】本発明の一実施の形態における検索ダイジェスト記憶部に格納される検索ダイジェスト記述文書の例（その１）である。
【図１４】本発明の一実施の形態における要約情報記述パートをダイジェスト時間長毎に記述した例である。
【図１５】本発明の一実施の形態における検索ダイジェスト記憶部に格納される検索ダイジェスト記述文書の例（その２）である。
【符号の説明】
【００８６】
１１  ＣＰＵ
１２  バス
１３  プログラムメモリ
１４  データメモリ
１０  入力手段、入力部
２０  顔画像領域抽出部
３０  特徴店抽出部
３５  特徴点記憶部
４０  特徴量抽出部
４５  特徴量記憶部
５０  笑い状態検出部
１３１  映像入力手段、映像入力部
１３２  キーワード抽出手段、キーワード抽出部
１３３  ダイジェスト生成手段、ダイジェスト生成部
１３４  検索提示手段、検索提示部
１４１  映像コンテンツ記憶手段、コンテンツ記憶部
１４２  検索ダイジェスト記憶手段、検索ダイジェスト記憶部
【図１】
2009259167.tif 000003
【図２】
2009259167.tif 000004
【図３】
2009259167.tif 000005
【図４】
2009259167.tif 000006
【図５】
2009259167.tif 000007
【図６】
2009259167.tif 000008
【図７】
2009259167.tif 000009
【図８】
2009259167.tif 000010
【図９】
2009259167.tif 000011
【図１０】
2009259167.tif 000012
【図１１】
2009259167.tif 000013
【図１２】
2009259167.tif 000014
【図１３】
2009259167.tif 000015
【図１４】
2009259167.tif 000016
【図１５】
2009259167.tif 000017