(57)【要約】【課題】ワードスポッティング技術を用いてキーワード部分を検索し、キーワード近辺の情報によって、コンテンツの縮約表現を実現させ、さらにワードスポッティングの検索精度があまり高くない場合にも、検索時のスコア値を利用して使用する検索結果を選択することにより、検索精度が低いことを感じる程度を軽減させること。【解決手段】音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約装置において、ワードスポッティングを用いて入力音声から必要なキーワードを検索するワードスポッティング部１０４、キーワード抽出部１０５と、キーワードの検索時におけるスコア値を用いて使用する検索結果を選択する検索スコア選択部１０８と、選択された検索結果を複数組み合わせて縮約コンテンツを作成する縮約コンテンツ作成部１０９と、を備える。【選択図】        図１
2005173731.tif 000002
【特許請求の範囲】
【請求項１】
音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約装置において、
入力音声にマッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索手段と、
前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択手段と、
前記選択された検索結果を複数組み合わせて縮約コンテンツを作成する縮約コンテンツ作成手段と、
を備えたことを特徴とするコンテンツ縮約装置。
【請求項２】
音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約装置において、
入力音声にマッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索手段と、
前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択手段と、
切り出す１単位の長さを、検索部分からの時間で決定するかまたは音声が途切れる部分までの一つとし、当該切り出した部分を繋ぎ合わせて縮約コンテンツを作成する縮約コンテンツ作成手段と、
を備えたことを特徴とするコンテンツ縮約装置。
【請求項３】
さらに、前記縮約コンテンツ全体の長さを、縮約率またはコンテンツの時間長で指定するコンテンツ長さ指定手段を備えたことを特徴とする請求項１または２に記載のコンテンツ縮約装置。
【請求項４】
前記コンテンツ群は、音声に対応する映像情報およびイベント情報を含み、前記縮約コンテンツ作成手段は、当該情報を同時に縮約することを特徴とする請求項１または２に記載のコンテンツ縮約装置。
【請求項５】
前記キーワード検索手段は、前記ワードスポッティングによって検索したキーワードを随時出力することを特徴とする請求項１または２に記載のコンテンツ縮約装置。
【請求項６】
前記縮約コンテンツ作成手段は、コンテンツの部分に対応してキーワードを変更して検索を実行することを特徴とする請求項１または２に記載のコンテンツ縮約装置。
【請求項７】
前記キーワード検索手段は、関連する他のデータからキーワードの選択を行なうための基準値にしたがってキーワードを選択することを特徴とする請求項１または２に記載のコンテンツ縮約装置。
【請求項８】
前記縮約コンテンツ作成手段は、キーワードの重要度と前記検索スコアとを組み合わせ、検索結果から使用部分を選択することを特徴とする請求項１または２に記載のコンテンツ縮約装置。
【請求項９】
前記縮約コンテンツ作成手段は、縮約されたコンテンツ結果と縮約前のコンテンツとを対応付けて出力することを特徴とする請求項１または２に記載のコンテンツ縮約装置。
【請求項１０】
前記縮約コンテンツ作成手段は、縮約されたコンテンツ結果と縮約前のコンテンツの対応関係を有し、縮約前と縮約後とを出力することを特徴とする請求項５に記載のコンテンツ縮約装置。
【請求項１１】
前記縮約コンテンツ作成手段は、前記検索結果から縮約したコンテンツの目次を、指示動作にしたがって当該目次に対応する箇所を出力することを特徴とする請求項５に記載のコンテンツ縮約装置。
【請求項１２】
音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法において、
入力音声マッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索ステップと、
前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択ステップと、
前記選択された使用部分を組み合わせて縮約コンテンツを作成する縮約コンテンツ作成ステップと、
を含むことを特徴とするコンテンツ縮約方法。
【請求項１３】
音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法において、
入力音声にマッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索ステップと、
前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択ステップと、
切り出す１単位の長さを、検索部分からの時間で決定するかまたは音声が途切れる部分までの一つとし、当該切り出した部分を繋ぎ合わせて縮約コンテンツを作成する縮約コンテンツ作成ステップと、
を含むことを特徴とするコンテンツ縮約方法。
【請求項１４】
音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法をコンピュータに実行させるコンテンツ縮約プログラムであって、
入力音声にマッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索ステップと、
前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択ステップと、
前記選択された使用部分を組み合わせて縮約コンテンツを作成する縮約コンテンツ作成ステップと、
を有することを特徴とするコンテンツ縮約プログラム。
【請求項１５】
音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法をコンピュータに実行させるコンテンツ縮約プログラムであって、
入力音声にマッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索ステップと、
前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択ステップと、
検索部分からの時間で決定するかまたは音声が途切れる部分までの一つを、縮約するコンテンツの長さとして縮約コンテンツを作成する縮約コンテンツ作成ステップと、
を有することを特徴とするコンテンツ縮約プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ縮約装置、コンテンツ縮約方法およびコンテンツ縮約プログラムに関するものである。
【背景技術】
【０００２】
従来、音声認識を利用して、ユーザが音声メッセージの内容を聞くことなしに、自動的に要約、分類、検索、情報抽出などの処理を行なう技術が開示されている（たとえば、特許文献１参照）。また、音声認識技術の一つとして、音声データの中から指定された言葉が発声されている部分を検索するワードスポッティング技術が知られている。さらに、講演などの音声をディクテーションソフトウェアで文字列に変換し、それを文章の要約ソフトウェアを用いて自動的に要約することも知られている。
【０００３】
また、電子文書による様々な情報をインターネットにおけるホームページなどの関連情報の中から必要な部分を容易に取得可能なように、それらの情報を要約することが行なわれる。たとえば、要約対象の文書中に現れる単語の頻度を計算し、その順に重要度を定義する方法が開示されている（たとえば、非特許文献１参照）。
【０００４】
【特許文献１】特開２０００−１０５７８号公報
【非特許文献１】石崎俊・岡本潤「要約ソフトの現状と将来展望」、インターネット＜ＵＲＬ：ｈｔｔｐ／／ｗｗｗ．ｍｅｄｉａｃｏｍ．ｋｅｉｏ．ａｃ．ｊｐ／ｐｄｆ２００１／ｉｓｈｉｚａｋｉ．ｐｄｆ＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記に示されるような従来の技術にあっては、音声認識関係の技術を実用に利用する場合、現状の音声認識技術の認識性能では認識の誤りが多いために、ユーザに使いにくさを感じさせてしまうことになる。たとえば、ワードスポッティングによる音声認識の場合、これをユーザが検索したい言葉を指定して音声データ中から直接検索させるという使い方をしたとき、検索された結果に多くの検索誤りを含むため、検索結果に間違いがないテキスト検索に慣れた現在のユーザには、使い難さを感じさせてしまうという問題点があった。
【０００６】
また、ディクテーションソフトウェアで文字列に変換し、それを文章の要約ソフトウェアを用いて自動的に要約する技術を実際に行なうと、コンピュータを前にして人間の側がディクテーションソフトウェアに認識されやすい話し方をしている場合と異なり自然な話し方のため、現在のディクテーションソフトウェアではかなり低い認識率しか得られず、多くの認識誤りが生じてしまうため、実用的な要約を作成することができないという問題点もあった。
【０００７】
なお、非特許文献１に開示されている要約を作成する技術は、インターネットなどのホームページ上で関連情報を検索し、その検索の頻度や重要度から要約するものである。
【０００８】
本発明は、上記に鑑みてなされたものであって、ワードスポッティング技術を用いてキーワード部分を検索し、キーワード近辺の情報によって、コンテンツの縮約表現を実現させ、さらに、ワードスポッティングの検索精度があまり高くない場合にも、検索時のスコア値を利用して使用する検索結果を選択することにより、検索精度が低いことを感じる程度を軽減させることを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約装置において、入力音声にマッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索手段と、前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択手段と、前記選択された検索結果を複数組み合わせて縮約コンテンツを作成する縮約コンテンツ作成手段と、を備えたことを特徴とする。
【００１０】
この請求項１にかかる発明によれば、音声を含むコンテンツ群からワードスポッティングによりキーワード検索を行ない、当該検索時におけるスコア値を用いて検索結果を選択し、さらにその選択された検索結果を複数組み合わせて出力して、コンテンツ全体として視聴者に見せるように構成することで、１個ずつ見せる場合に比べて認識誤りに対する注意を減らすことが可能になる。さらに、検索時のスコア値の高いものから順に利用して使用する検索結果を選択することで、検索精度が低いと感じる程度を軽減することが可能になる。
【００１１】
また、請求項２にかかる発明は、音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約装置において、入力音声にマッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索手段と、前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択手段と、切り出す１単位の長さを、検索部分からの時間で決定するかまたは音声が途切れる部分までの一つとし、当該切り出した部分を繋ぎ合わせて縮約コンテンツを作成する縮約コンテンツ作成手段と、を備えたことを特徴とする。
【００１２】
また、この請求項２にかかる発明によれば、縮約のために切り出す１単位の長さを、検索部分からの時間で決定するかまたは音声の切れ目までを一つとすることにより、音声が単語の途中で途切れることを回避することが可能になる。
【００１３】
また、請求項３にかかる発明は、さらに、前記縮約コンテンツ全体の長さを、縮約率またはコンテンツの時間長で指定するコンテンツ長さ指定手段を備えたことを特徴とする。
【００１４】
また、この請求項３にかかる発明によれば、請求項１または２にかかる発明において、縮約コンテンツ全体の長さを、縮約率またはコンテンツの時間長で指定する手段を設けることにより、所望とする視聴時間に応じた縮約コンテンツの作成が可能になる。
【００１５】
また、請求項４にかかる発明は、前記コンテンツ群は、音声に対応する映像情報およびイベント情報を含み、前記縮約コンテンツ作成手段は、当該情報を同時に縮約することを特徴とする。
【００１６】
また、この請求項４にかかる発明によれば、請求項１または２にかかる発明において、音声に対応する映像情報およびイベント情報を含むコンテンツを同時に縮約することにより、効率的な縮約処理が可能になる。
【００１７】
また、請求項５にかかる発明は、前記キーワード検索手段は、前記ワードスポッティングによって検索したキーワードを随時出力することを特徴とする。
【００１８】
また、この請求項５にかかる発明によれば、請求項１または２にかかる発明において、ワードスポッティング検索したキーワードを随時出力することにより、ワードスポッティングの検索精度を人間が確認することが可能になる。たとえば、検索の精度が低い場合にはキーワードが目立たない全体の印象をつかむためのコンテンツを作成し、精度が高い場合にはあるテーマのキーワードに集中した縮約コンテンツを作成するというように、ワードスポッティングの精度に合わせた縮約コンテンツの作り分けが可能になる。
【００１９】
また、請求項６にかかる発明は、前記縮約コンテンツ作成手段は、コンテンツの部分に対応してキーワードを変更して検索を実行することを特徴とする。
【００２０】
また、この請求項６にかかる発明によれば、請求項１または２にかかる発明において、たとえば、コンテンツの前半、中盤、後半あるいはページ毎などの部分に応じてキーワードを変更して検索を行なうことにより、コンテンツの内容に合わせた縮約が可能になる。
【００２１】
また、請求項７にかかる発明は、前記キーワード検索手段は、関連する他のデータからキーワードの選択を行なうための基準値にしたがってキーワードを選択することを特徴とする。
【００２２】
また、この請求項７にかかる発明によれば、請求項１または２にかかる発明において、関連する他のデータから、たとえば、検索頻度、最大相互情報量、ＴＦ−ＩＤＦ重み付け量による基準値を求め、この検索基準にしたがってキーワードを検索することで、視聴者にとって有用なキーワードによる縮約が可能になる。
【００２３】
また、請求項８にかかる発明は、前記縮約コンテンツ作成手段は、キーワードの重要度と前記検索スコアとを組み合わせ、検索結果から使用部分を選択することを特徴とする。
【００２４】
また、この請求項８にかかる発明によれば、請求項１または２にかかる発明において、キーワードの重要度と検索スコアとを組み合わせ、検索結果から使用部分を選択することにより、重要な部分を視聴させることが可能になる。
【００２５】
また、請求項９にかかる発明は、前記縮約コンテンツ作成手段は、縮約されたコンテンツ結果と縮約前のコンテンツとを対応付けて出力することを特徴とする。
【００２６】
また、この請求項９にかかる発明によれば、請求項１または２にかかる発明において、縮約されたコンテンツ結果と縮約前のコンテンツとを対応付けて出力することにより、縮約により省略された部分の中で視聴者が視聴したいと思った部分を、対応付けられた視聴前のコンテンツで視聴することが可能になる。
【００２７】
また、請求項１０にかかる発明は、前記縮約コンテンツ作成手段は、縮約されたコンテンツ結果と縮約前のコンテンツの対応関係を有し、縮約前と縮約後とを出力することを特徴とする。
【００２８】
また、この請求項１０にかかる発明によれば、請求項５にかかる発明において、縮約されたコンテンツ結果と縮約前のコンテンツの対応関係を有し、相互に出力したりあるいはそれぞれを必要に応じて出力させることにより、特定部分の縮約前後におけるコンテンツの様子を必要に応じて確認することが可能になる。
【００２９】
また、請求項１１にかかる発明は、前記縮約コンテンツ作成手段は、前記検索結果から縮約したコンテンツの目次を、指示動作にしたがって当該目次に対応する箇所を出力することを特徴とする。
【００３０】
また、この請求項１１にかかる発明によれば、請求項５にかかる発明において、検索結果から縮約したコンテンツの目次を表示し、この目次の指示動作にしたがって当該目次に対応する箇所を出力することにより、所望のコンテンツ部分を特定して出力することが可能になる。
【００３１】
また、請求項１２にかかる発明は、音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法において、入力音声マッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索ステップと、前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択ステップと、前記選択された使用部分を組み合わせて縮約コンテンツを作成する縮約コンテンツ作成ステップと、を含むことを特徴とする。
【００３２】
また、この請求項１２にかかる発明によれば、音声を含むコンテンツ群からワードスポッティングによりキーワード検索を行ない、当該検索時における検索スコア値を用いて検索結果を選択し、さらにその選択された検索結果を複数組み合わせて出力して、コンテンツ全体として視聴者に見せるという手順の処理を行なうことにより、１個ずつ見せる場合に比べて認識誤りに対する注意を減らすことが可能になる。さらに、検索時のスコア値の高いものから順に利用して使用する検索結果を選択することで、検索精度が低いと感じる程度を軽減することが可能になる。
【００３３】
また、この請求項１３にかかる発明は、音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法において、入力音声にマッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索ステップと、前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択ステップと、切り出す１単位の長さを、検索部分からの時間で決定するかまたは音声が途切れる部分までの一つとし、当該切り出した部分を繋ぎ合わせて縮約コンテンツを作成する縮約コンテンツ作成ステップと、を含むことを特徴とする。
【００３４】
また、この請求項１３にかかる発明によれば、音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法において、縮約のために切り出す１単位の長さを、検索部分からの時間で決定するかまたは音声の切れ目までを一つとすることにより、音声が単語の途中で途切れることを回避することが可能になる。
【００３５】
また、請求項１４にかかる発明は、音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法をコンピュータに実行させるコンテンツ縮約プログラムであって、入力音声にマッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索ステップと、前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択ステップと、前記選択された使用部分を組み合わせて縮約コンテンツを作成する縮約コンテンツ作成ステップと、を有することを特徴とする。
【００３６】
また、この請求項１４にかかる発明によれば、コンピュータに実行させるコンテンツ縮約プログラムにおいて、音声を含むコンテンツ群からワードスポッティングによりキーワード検索を行ない、当該検索時におけるスコア値を用いて検索結果を選択し、さらにその選択された検索結果を複数組み合わせて出力して、コンテンツ全体として視聴者に見せるという手順の処理を行なうことにより、１個ずつ見せる場合に比べて認識誤りに対する注意を減らすことが可能になる。さらに、検索時のスコア値の高いものから順に利用して使用する検索結果を選択することで、検索精度が低いと感じる程度を軽減することが可能になる。
【００３７】
また、この請求項１５にかかる発明は、音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法をコンピュータに実行させるコンテンツ縮約プログラムであって、入力音声にマッチングする部分を音声認識するワードスポッティングを用いて必要なキーワードを検索するキーワード検索ステップと、前記キーワードに対する検索スコアを用いて使用する検索結果を選択する検索結果選択ステップと、検索部分からの時間で決定するかまたは音声が途切れる部分までの一つを、縮約するコンテンツの長さとして縮約コンテンツを作成する縮約コンテンツ作成ステップと、を有することを特徴とする。
【００３８】
また、この請求項１５にかかる発明によれば、音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法をコンピュータに実行させるコンテンツ縮約プログラムにおいて、縮約のために切り出す１単位の長さを、検索部分からの時間で決定するかまたは音声の切れ目までを一つとすることにより、音声が単語の途中で途切れることを回避することが可能になる。
【発明の効果】
【００３９】
本発明（請求項１）にかかるコンテンツ縮約装置は、音声を含むコンテンツ群からワードスポッティングによりキーワード検索を行ない、当該検索時におけるスコア値を用いて検索結果を選択し、さらにその選択された検索結果を複数組み合わせて出力して、コンテンツ全体として視聴者に見せるように構成したので、１個ずつ検索結果を見せる場合に比べて認識誤りに対する注意を減らすことができ、さらに、検索時のスコア値の高いものから順に利用して使用する検索結果を選択するため、検索精度が低いと感じる程度を軽減することができるという効果を奏する。
【００４０】
また、本発明（請求項２）にかかるコンテンツ縮約装置は、縮約のために繋げる切れ目の部分は、検索部分からの時間で決定するかまたは音声の切れ目までを一つとするので、音声が単語の途中で途切れることを回避することができるという効果を奏する。
【００４１】
また、本発明（請求項３）にかかるコンテンツ縮約装置は、請求項１または２にかかる発明において、縮約コンテンツ全体の長さを、縮約率またはコンテンツの時間長で指定する手段を設けたので、ユーザが所望とする視聴時間に応じた縮約コンテンツの作成を容易に行なうことができるという効果を奏する。
【００４２】
また、本発明（請求項４）にかかるコンテンツ縮約装置は、請求項１または２にかかる発明において、音声に対応する映像情報およびイベント情報を含むコンテンツを同時に縮約するため、縮約処理を効率的に行なうことができるという効果を奏する。
【００４３】
また、本発明（請求項５）にかかるコンテンツ縮約装置は、請求項１または２にかかる発明において、ワードスポッティング検索したキーワードを随時出力するので、ワードスポッティングの検索精度を人間が確認することができる。すなわち、検索の精度が低い場合にはキーワードが目立たない全体の印象をつかむためのコンテンツを作成し、精度が高い場合にはあるテーマのキーワードに集中した縮約コンテンツを作成するというように、ワードスポッティングの精度に合わせた縮約コンテンツの作り分けを行なうことができるという効果を奏する。
【００４４】
また、本発明（請求項６）にかかるコンテンツ縮約装置は、請求項１または２にかかる発明において、たとえば、コンテンツの前半、中盤、後半あるいはページ毎などの部分に応じてキーワードを変更して検索を行なうことにより、その部分に適した検索が的確に実行されるので、コンテンツの内容に合わせた縮約ができるという効果を奏する。
【００４５】
また、本発明（請求項７）にかかるコンテンツ縮約装置は、請求項１または２にかかる発明において、関連する他のデータから、たとえば、検索頻度、最大相互情報量、ＴＦ−ＩＤＦ重み付け量を求め、この検索基準にしたがってキーワードを検索することで、視聴者にとって有用なキーワードによる縮約ができるという効果を奏する。
【００４６】
また、本発明（請求項８）にかかるコンテンツ縮約装置は、請求項１または２にかかる発明において、キーワードの重要度と検索スコアとを組み合わせ、検索結果から使用部分を選択するので、視聴者が所望とする重要な部分を視聴できるという効果を奏する。
【００４７】
また、本発明（請求項９）にかかるコンテンツ縮約装置は、請求項１または２にかかる発明において、縮約されたコンテンツ結果と縮約前のコンテンツとを対応付けて出力するので、視聴者が重要であると考えている部分をさらに詳しく確認したい場合などにおいて利便性が向上するという効果を奏する。
【００４８】
また、本発明（請求項１０）にかかるコンテンツ縮約装置は、請求項５にかかる発明において、縮約されたコンテンツ結果と縮約前のコンテンツの対応関係を有し、相互にジャンプさせて出力させる機能を設け、縮約前後のコンテンツの状態を必要に応じて出力可能にしたので、視聴者が重要である部分をさらに詳しく確認したい場合などにおいて利便性が向上するという効果を奏する。
【００４９】
また、本発明（請求項１１）にかかるコンテンツ縮約装置は、請求項５にかかる発明において、検索結果から縮約したコンテンツの目次を表示し、この目次の指示動作にしたがって当該目次に対応する箇所を出力する機能を設けたので、ユーザが所望とするコンテンツ部分を容易に特定して出力することができるという効果を奏する。
【００５０】
また、本発明（請求項１２）にかかるコンテンツ縮約方法は、音声を含むコンテンツ群からワードスポッティングによりキーワード検索を行ない、当該検索時におけるスコア値を用いて検索結果を選択し、さらにその選択された検索結果を複数組み合わせて出力して、コンテンツ全体として視聴者に見せるという縮約方法であるので、１個ずつ見せる場合に比べて認識誤りに対する注意を減らすことができ、さらに、検索時のスコア値の高いものから順に利用して使用する検索結果を選択するので、検索精度が低いと感じる程度を軽減することができるという効果を奏する。
【００５１】
また、本発明（請求項１３）にかかるコンテンツ縮約方法は、音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法において、縮約のために切り出す１単位の長さを、検索部分からの時間で決定するかまたは音声の切れ目までを一つとするため、音声が単語の途中で途切れることを回避することができるという効果を奏する。
【００５２】
また、本発明（請求項１４）にかかるコンテンツ縮約プログラムは、コンピュータに実行させるコンテンツ縮約プログラムにおいて、音声を含むコンテンツ群からワードスポッティングによりキーワード検索を行ない、当該検索時におけるスコア値を用いて検索結果を選択し、さらにその選択された検索結果を複数組み合わせて出力して、コンテンツ全体として視聴者に見せるという手順の処理を行なうので、１個ずつ見せる場合に比べて認識誤りに対する注意を減らすことができ、さらに検索時のスコア値の高いものから順に利用して使用する検索結果を選択するため、検索精度が低いと感じる程度を軽減することができるという効果を奏する。
【００５３】
また、本発明（請求項１５）にかかるコンテンツ縮約プログラムは、音声を含むコンテンツ群から所望のコンテンツを取得し、当該コンテンツを縮約するコンテンツ縮約方法をコンピュータに実行させるコンテンツ縮約プログラムにおいて、縮約のために切り出す１単位の長さを、検索部分からの時間で決定するかまたは音声の切れ目までを一つとするため、音声が単語の途中で途切れることを回避することができるという効果を奏する。
【発明を実施するための最良の形態】
【００５４】
以下に添付図面を参照して、この発明にかかるコンテンツ縮約装置、コンテンツ縮約方法およびコンテンツ縮約プログラムの最良な実施の形態を詳細に説明する。
【実施例】
【００５５】
本発明のコンテンツ縮約装置は、音声認識に認識誤りが含まれていても、ユーザが気にならないような音声認識関係の技術の利用方法として、ワードスポッティング技術を用いてキーワード部分を検索し、キーワード近辺の音声と映像をつないで、コンテンツの縮約情報を表現し、これを出力するものである。さらに、ワードスポッティングの検索精度があまり高くない場合にも、検索時のスコア値を利用して使用する検索結果を選択することにより、検索精度が低いことを感じる程度を軽減することができるコンテンツ縮約方式を、以下のようにして実現するものである。
【００５６】
たとえば、複数のキーワードをワードスポッティングの検索に用い、検索時のスコアの高いものから順に利用することにより、誤っている可能性の低い検索結果を選択して利用することができる。縮約されたコンテンツの長さは、縮約率または縮約コンテンツの時間長で指定でき、所望の視聴時間に合わせた縮約コンテンツが作成できる。
【００５７】
縮約の対象となるコンテンツは、１個でも複数でもよく、複数のコンテンツから縮約すれば、キーワードのテーマに関する部分を集めたコンテンツを作成することができる。キーワードに関する機能としては、たとえば、前半、中盤、後半やスライドのページ毎などの部分に応じてキーワードを変えて検索を行い縮約する機能、関連する他のデータから頻度、最大相互情報量、後述するＴＦ−ＩＤＦなどの基準値を用いて自動的にキーワードを抽出する機能、さらに、キーワードの重要度と検索スコアを組み合わせて検索結果から使用部分を選択する機能を持たせることが可能である。なお、ＴＦ−ＩＤＦ（Ｔｅｒｍ  Ｆｒｅｑｕｅｎｃｙ−Ｉｎｖｅｒｓｅ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）は、検索語の重み付けを計算する既知の手法である。
【００５８】
このコンテンツ縮約方式により作成されたコンテンツのユーザインタフェースとして、縮約したコンテンツが元のコンテンツのどこに対応しているかを表示する機能、元のコンテンツと縮約したコンテンツの対応関係を持ち相互にジャンプできる機能、検索結果から縮約したコンテンツの目次を表示し目次をクリックすると目次に対応した箇所を視聴することができる機能などが可能である。
【００５９】
（実施の形態）
図１は、本発明の実施の形態にかかるコンテンツ縮約装置の構成を示すブロック図である。図において、符号１０１はマイクロフォンやＡ／ＤＣ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｏｒ）などを有し、連続音声をデジタル信号に変換する音声入力部、符号１０２はマイクロコンピュータにより音声信号を特徴ベクトルの時系列である音声パターンに変換する特徴抽出部、符号１０３はマイクロコンピュータにより認識する音声が含まれていることが予想される有音区間を音声パターンから所定条件にしたがって検出する区間検出部、符号１０４はマイクロコンピュータにより有音区間でワードスポッティングにより音声認識を行なうワードスポッティング部、符号１０５はキーワードスポッティングに使用するキーワードをスライドデータ等から抽出するキーワード抽出部、符号１０６はたとえば、カテゴリ別、テーマ別などに分類されたキーワードが格納されているキーワードデータベースである。また、上述した音声入力部１０１〜キーワード抽出部１０には制御回路が接続されており、この制御回路には開始スイッチ（不図示）が設けられている。また、本例では、ワードスポッティング部１０４とキーワード抽出部１０５とを分けているが一体のブロックとしてもよい。
【００６０】
なお、ワードスポッティングに関しては、たとえば、本出願人が特開平９−５０２８８号公報ですでに提案している技術を用いることで実現する。
【００６１】
特徴抽出部１０２は、連続音声をデジタル信号に変換してから音声パターンに変換することは、既存の各種手法を利用することで実現するが、ここでは連続音声を１６ＫＨｚで１６ｂｉｔのデジタル信号に変換する。これを窓長２５６でシフト幅１６０の解析条件により十次のＬＰＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｄｉｎｇ）ケプストラムに変換するので、特徴ベクトルは１０ｍｓのフレーム毎に十次元のベクトルとして生成される。
【００６２】
区間検出部１０３による区間検出での所定条件は、音声パワーと閾値との比較に基づいて設定される。すなわち、音声パワーが閾値以上となる有音区間の開始を検出し、この区間開始の検出後に、音声パワーが閾値以下となった時点を有意区間の終了と検出する。このような処理動作はフレーム単位で実行され、フレーム番号で管理される。
【００６３】
また、図１において、符号１０７はコンテンツが格納されているコンテンツデータベース、符号１０８はキーワード検索時におけるスコアの高いものを順に使用部分を選択する検索スコア選択部、符号１０９は検索スコア選択部１０８で選択された部分を組み合わせて縮約コンテンツを作成する縮約コンテンツ作成部（作成例については後述する図３参照）、符号１１０は縮約コンテンツの長さを縮約率または縮約コンテンツの時間長で指定するコンテンツ長さ指定部、符号１１１は縮約コンテンツの結果などを視聴可能に出力する表示出力部、符号１１２は縮約前後の情報をジャンプ機能により表示させる前／後ジャンプキー、符号１１３は目次による任意の箇所を視聴する際に用いる目次クリックキー、符号１１４はキーワードの重要度と検索スコアを組み合わせて検索結果から使用部分を選択する際に用いられる選択キーである。
【００６４】
つぎに、以上の構成における処理動作について説明する。図２は、本発明の実施の形態にかかる縮約コンテンツ作成までの手順を示すフローチャートであり、図１に示すコンテンツ縮約装置によって実行される。まず、コンテンツデータの入力処理を行ない（ステップＳ１１）、続いて、ワードスポッティングによってキーワードの検索を行なう（ステップＳ１２）。その後、上記検索時における検索スコアを用いてキーワードの検索結果の選択を行ない（ステップＳ１３）、所望とするテーマのキーワードに集中したコンテンツの縮約を行なう（ステップＳ１４）。
【００６５】
つぎに、図３を参照し、上述したステップＳ１３におけるワードスポッティングにおける検索スコアについて説明する。ここで、たとえば、図３に示すように、音声１１５として「環境問題の講演を聞いて感動した。」が入力されたとする。この音声１１５に対してキーワード「かんきょう」をワードスポッティングで処理すると、符号１１６に示すように「かんきょうもんだいのこうえんをきいてかんどうした。」と認識し、キーワードに似ている音声部分として、「かんきょう」１１７と「かんどう」１１８が検出される。ここでキーワードに対する類似度（正解度）が高い方が検索スコアが高くなる。すなわち、この場合、、「かんきょう」１１７の検索スコアが９０となり、「かんどう」１１８の検索スコアが６０となる。
【００６６】
つぎに、図４を参照し、上記ステップＳ１４におけるコンテンツ縮約方法について説明する。図４において、音声を含む元のコンテンツ１２０に対するキーワードスポッティング検出位置での検出部分１２１ａ，１２１ｂ，１２１ｃ，１２１ｄを求める。この求めた検出部分を繋ぎ合わせて縮約コンテンツ１２２を作成する。
【００６７】
つぎに、ワードスポッティング処理について説明する。音声認識を行なうワードスポッティング部１０４は、人間が連続的に発生する発生から単語を抽出して認識する。図６〜図８を参照し、音声認識の動作例について説明する。図６において、まず、開始スイッチがオンされたか否かを判断し（ステップＳ２１），この開始スイッチのオンによって本動作を開始する。音声入力部１０１が外部から連続した音声を入力し（ステップＳ２２）、この入力された音声を信号変換し、この連続した音声信号が特徴抽出部１０２によりＬＰＣケプストラムに変換する（ステップＳ２３）。続いて、区間検出部１０３は、図７および図８に示すように、音声パワーの検出により有音の区間検出したか否かを判断する（ステップＳ２４）。ここで、有音区間を検出すると、有音区間でのみワードスポッティングによる音声認識を実行する（ステップＳ２５）。
【００６８】
上記有音区間の検出動作について図８を参照し、説明する。まず、図７に示すように、音声パワーを検出し（ステップＳ３１）、この音声パワーとあらかじめ定めた閾値Ｐｔとを比較し、当該音声パワーが閾値Ｐｔ以上であるか否かを判断する（ステップＳ３２）。ここで閾値Ｐｔ以上である場合、最初のフレームをフレームを検出する。これは有音区間の開始フレームとして検出され（ステップＳ３３），そのフレーム番号Ｉｓが記録される。これが完了すると、音声パワーと閾値Ｐｔとを比較し、音声パワーが閾値Ｐｔ以下であるか否かを判断する（ステップＳ３４）。ここで、閾値Ｐｔ以下である場合にはさらに所定時間以上経過したか否かを判断し（ステップＳ３５）、所定時間が過ぎた場合にはこれを終点として検出する（ステップＳ３６）。このとき有音区間の終点候補としてフレーム番号が一時記憶される。すなわち、音声パワーが閾値Ｐｔ以下の状態が所定時間Ｌｔまで連続するかを判断し、この連続が検出されると有音区間の終了が検出され、一時記憶されたフレーム番号Ｉｅが確定される。
【００６９】
このようなワードスポッティング処理により、有音区間Ｉｓ〜Ｉｅを検出し、入力されたキーワードに近い音声データ部分を検出する。
【００７０】
検索スコアによる選択は、図５に示す例のように、ワードスポッティングによって検索されたスコアの順に選択していくことによって実現することができる。図５に示す例では、キーワードを３個指定し、各キーワードについて５個ずつの候補を求めてから、全１５候補中から検索スコアの高かった上位１０個を選択している。なお、図５に示す例では、キーワードとして「環境」、「省エネ」、「リサイクル」を対象に、検索スコアによる順位を選択する。
【００７１】
すなわち、図５において符号１２５ａは検索スコアによる選択の表示データを示し、符号１２５ｂは検索スコアによる選択前のデータを示すものであり、選択後の表示データ１２５ａでは選択前のデータ１２５ｂの符号１２６に示すような、全１５個中、検索スコアが上位１０個を使う場合、下位５個は使用しない。
【００７２】
ところで、縮約の対象となるコンテンツの例としては、プレゼンテーションを撮影して作成したマルチメディアコンテンツ、教育関係のｅ−ｌｅａｒｎｉｎｇコンテンツ、ニュース映像を使ったマルチメディアコンテンツなどさまざまなものが可能である。
【００７３】
縮約のために繋げる切れ目の部分は、音声が単語の途中で切れることを防止するために前後の音声の切れ目までを１つとして決定する。音声の切れ目は、図６〜図８で示したように、音声のパワーが下がっている部分を検出することにより判別できる。また、切り出される部分の１単位の長さも指定できる。
【００７４】
また、縮約されたコンテンツの長さは、コンテンツ長さ指定部１１０によって、縮約率または縮約コンテンツの時間長のどちらでも任意に指定することができる。この実施の形態では、対象とするコンテンツは音声と映像を含むマルチメディアコンテンツのため、音声に対応する映像情報やイベントも同時に縮約されたコンテンツが作成される。
【００７５】
また、ワードスポッティングによってキーワード検索を実行し、その検索結果を短時間で再生して、検索の精度を人間が確認できる機能をもたせる。人間が検索結果を確認できることにより、ワードスポッティングの検索精度を知ることができる。このようにして、検索の精度が分かると、検索の精度が低い場合にはキーワードが目立たない全体の印象をつかむためのコンテンツを作成し、精度が高い場合にはあるテーマのキーワードに集中した縮約コンテンツを作成するというように、ワードスポッティングの精度に合わせた縮約コンテンツの作り分けが可能になる。
【００７６】
キーワードの選択方法に工夫をした例として、選択の基準値を設け、これにしたがってキーワードを選択してもよい。たとえば、プレゼンテーションソフトウェアのスライドページ毎にキーワードを変えて検索を行なって縮約する機能をもたせたものが挙げられる。この場合、ページ毎のＴＦ−ＩＤＦ重み付けを求めることにより、そのページに特徴的なキーワードを自動的に抽出することができ、ページ毎に重要なキーワードでコンテンツを縮約することができる。また、検索スコアによる選択も行われるため、認識誤りの軽減も可能になる。
【００７７】
このコンテンツ縮約方式により作成されたコンテンツのユーザインタフェースの例として、元のコンテンツと縮約したコンテンツの対応関係をもたせ、これらを相互にジャンプできる機能と、検索結果から縮約したコンテンツの目次を表示し目次をクリックすると目次に対応した箇所が視聴できる機能をもたせたものが挙げられる。このジャンプ機能としては、たとえば表示出力部１１２の前／後ジャンプキーを押下することにより、元のコンテンツと縮約したコンテンツを並べてあるいは単独に表示させる。すなわち、元のコンテンツと縮約したコンテンツの対応関係は、図４に示すように、元のコンテンツと縮約コンテンツの結果を利用すれば、元のコンテンツへのジャンプテーブルの作成が可能である。また、目次クリックキー１１３を押下することにより、目次との対応関係も、検索結果中における検出位置から知ることが可能である。
【００７８】
したがって、この実施の形態によれば、現在のディクテーションソフトウェアの認識精度においては実用的な要約を作成することができないが、この方式により縮約したコンテンツを視聴することが可能なため、短時間で全体の印象を得ることができる。また、ワードスポッティングの検索結果を１個ずつ表示出力すると誤りがあったときに気になることを考慮し、その結果を選択し複数組み合わせて縮約したコンテンツ全体として表示することにより認識誤りへの注意を減らすことができる。さらに、検索時のスコア値を利用して使用する検索結果を選択することにより、検索精度が低いことを感じる程度を軽減することができる。
【００７９】
ところで、これまで説明してきたコンテンツ縮約方法（動作）を、プログラム化し、コンピュータ読み取り可能な記録媒体に記録し、コンピュータ上で実行することもできる。また、コンテンツ縮約方法の一部をネットワーク上に有し、通信回線を通して実現することもできる。
【００８０】
すなわち、この実施の形態で説明したコンテンツ縮約方法は、図９に示すように、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータ（ＣＰＵ２０）で実行することにより実現される。このプログラムは、キーボード２５の操作などにより、メモリ２１、ハードディスク２４、フレキシブルディスク２７、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ−Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２６、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータ（ＣＰＵ２０）によって記録媒体から読み出し、必要に応じて表示装置２３に表示することによって実行される。また、必要に応じてこのコンテンツ縮約のデータを通信装置２２から外部装置に送受信することも可能である。
【００８１】
また、このプログラムは、図１０に示すように、上記記録媒体を介して、インターネット３０などのネットワークによってパーソナルコンピュータなどの装置３１〜３３に配布することができる。
【００８２】
すなわち、このプログラムは、たとえばコンピュータに内蔵されている記録媒体としてのハードディスクに、あらかじめインストールした状態で提供することができる。プログラムは記録媒体に一時的あるいは永続的に格納し、コンピュータにユニットとして組み込んだり、あるいは着脱式の記録媒体として利用することで、パッケージソフトウェアとして提供することができる。
【００８３】
記録媒体としては、たとえば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤ、磁気ディスク、半導体メモリなどが利用できる。
【００８４】
プログラムは、ダウンロードサイトから、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネットといったネットワークを介して、有線または無線でコンピュータに転送し、そのコンピュータにおいて、内蔵するハードディスクなどの記憶装置にダウンロードさせるようにすることができる。
【産業上の利用可能性】
【００８５】
以上のように、本発明にかかるコンテンツ縮約装置、コンテンツ縮約方法およびコンテンツ縮約プログラムは、音声に対応する映像情報やイベントなどコンテンツを同時に縮約するシステムに有用であり、特に、プレゼンテーションの撮影画像、ニュース画像、教育関係の情報などのマルチメディアコンテンツを、ワードスポッティングにより音声認識してキーワードを抽出し、該当するコンテンツを縮約して視聴するコンピュータシステムに適している。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施の形態にかかるコンテンツ縮約装置の構成を示すブロック図である。
【図２】本発明の実施の形態にかかる縮約コンテンツ作成までの手順を示すフローチャートである。
【図３】キーワードスポッティングにおける検索スコアの例を示す説明図である。
【図４】コンテンツ縮約方法を示す説明図である。
【図５】本発明の実施の形態にかかる検索スコアによるキーワード選択例を示す説明図である。
【図６】ワードスポッティングによる音声認識手順を示すフローチャートである。
【図７】音声パターンであるＬＰＣケプストラムを示すタイムチャートである。
【図８】ワードスポッティングにおける有音検出動作を示すフローチャートである。
【図９】本発明の実施の形態にかかるプログラムを通信可能なコンピュータで実行させるシステムの構成を示すブロック図である。
【図１０】本発明の実施の形態にかかるプログラムをネット上で配信させるシステムの構成を示すブロック図である。
【符号の説明】
【００８７】
１０１  音声入力部
１０２  特徴抽出部
１０３  区間検出部
１０４  ワードスポッティング部
１０５  キーワード抽出部
１０６  キーワードデータベース
１０７  コンテンツデータベース
１０８  検索スコア選択部
１０９  縮約コンテンツ作成部
１１０  コンテンツ長さ指定部
１１１  表示出力部
【図１】
2005173731.tif 000003
【図２】
2005173731.tif 000004
【図３】
2005173731.tif 000005
【図４】
2005173731.tif 000006
【図５】
2005173731.tif 000007
【図６】
2005173731.tif 000008
【図７】
2005173731.tif 000009
【図８】
2005173731.tif 000010
【図９】
2005173731.tif 000011
【図１０】
2005173731.tif 000012