(57)【要約】【課題】映像又は音声の要約の時間長を指定することにより、その時間長の要約を自動的に生成する技術を提供する。【解決手段】要約の対象となる映像又は音声の時間毎の視聴率を含む視聴率データと、要求される要約時間長とから、その要約時間長分の映像又は音声を抽出するための視聴率の閾値を決定し、視聴率が前記閾値を超えた時間区間の映像又は音声を抽出し、抽出された映像又は音声を用いて要約を生成する。【選択図】  図３
2004220286.tif 000002
【特許請求の範囲】
【請求項１】
要約生成装置が映像又は音声の要約を作成する方法であって、
要約の対象となる映像又は音声の時間毎の視聴率を含む視聴率データと、要求される要約時間長とから、その要約時間長分の映像又は音声を抽出するための視聴率の閾値を決定する閾値決定ステップと、
視聴率が前記閾値を超えた時間区間の映像又は音声を抽出し、抽出された映像又は音声を用いて要約を生成する生成ステップと
を有することを特徴とする方法。
【請求項２】
前記閾値決定ステップは、
前記視聴率データを元に、各視聴率に対してその視聴率以上の時間区間を示す再生区間データを作成する再生区間データ作成ステップと、
その再生区間データを元に、各視聴率に対して前記時間区間の時間の総和を示す要約時間データを作成する要約時間データ作成ステップと、
その要約時間データと前記要求される要約時間長とから前記視聴率の閾値を決定する決定ステップとを有する請求項１に記載の方法。
【請求項３】
前記再生区間データ作成ステップは、
特定の視聴率に対してその視聴率以上の視聴率に対応する時間区間を前記視聴率データから取得する処理を前記特定の視聴率の大きさを変えて複数回行うステップを有する請求項２に記載の方法。
【請求項４】
映像又は音声の要約を作成する要約生成装置であって、
要約の対象となる映像又は音声の時間毎の視聴率を含む視聴率データと、要求される要約時間長とから、その要約時間長分の映像又は音声を抽出するための視聴率の閾値を決定する閾値決定手段と、
視聴率が前記閾値を超えた時間区間の映像又は音声を抽出し、抽出された映像又は音声を用いて要約を生成する生成手段と
を有することを特徴とする要約生成装置。
【請求項５】
前記閾値決定手段は、
前記視聴率データを元に、各視聴率に対してその視聴率以上の時間区間を示す再生区間データを作成する再生区間データ作成手段と、
その再生区間データを元に、各視聴率に対して前記時間区間の時間の総和を示す要約時間データを作成する要約時間データ作成手段と、
その要約時間データと前記要求される要約時間長とから前記視聴率の閾値を決定する決定手段とを有する請求項４に記載の要約生成装置。
【請求項６】
前記再生区間データ作成手段は、特定の視聴率に対してその視聴率以上の視聴率に対応する時間区間を前記視聴率データから取得する処理を前記特定の視聴率の大きさを変えて複数回行うことにより前記再生区間データを作成する請求項５に記載の要約生成装置。
【請求項７】
請求項１ないし３のうちいずれか１項に記載の方法における各ステップをコンピュータに実行させるプログラム。
【請求項８】
請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像及び音声の要約を自動的に作成する技術に関する。
【０００２】
【従来の技術】
従来、映像の要約を作成する場合には、あらかじめ映像編集者が設定した映像のシーン、あるいは、映像の切れ目をコンピュータにより自動的に検出するといった方法により抽出されたシーンを、要約の作成者がカットやつなぎ合わせにより人為的に作成していた。自動的に作成する方法としては、音声の強弱や映像変化といった特徴のある部分だけを抽出したり、映像の内容とは無関係に適当な時間を映像から抽出する方法があった。
【０００３】
【特許文献１】
特開平１１−３３１７６１号公報
【０００４】
【特許文献２】
特開平８−１１６５１４号公報
【０００５】
【特許文献３】
特開２００２−２４５０６９号公報
【０００６】
【発明が解決しようとする課題】
要約を人為的に作成する場合、視聴者に良く評価されるように作成することは非常に難しい。そこで、一旦視聴者に評価してもらい、その結果を反映させるといった方法が考えられる。しかし、複数の番組から要約映像を作成するとなると、非常に時間を要することになる。
【０００７】
また、自動的に作成した場合には、作成の手間と時間は省くことができるが、必ずしも視聴者側に魅力的に見える箇所を要約中に含んでいるとは言えず、実際に視聴者から良い評価が得られるかどうかは分からない。要約は例えば広告に利用されるが、上記の従来技術では、要約を用いた効果的な広告を打つことができなかった。
【０００８】
また、要約を有効に活用するためには利用場面に応じた適切な時間長の要約を作成する必要があるが、従来技術では利用場面に応じた適切な時間長の要約を作成するために多大な手間と時間を要することになる。
【０００９】
本発明は、視聴率を用いて効果的な要約を自動的に作成する技術を提供することを目的とし、特に、要約の時間長を指定することにより、その時間長の要約を自動的に生成する技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決するために、本発明は次のように構成される。
【００１１】
本発明は、要約生成装置が映像又は音声の要約を作成する方法であり、要約の対象となる映像又は音声の時間毎の視聴率を含む視聴率データと、要求される要約時間長とから、その要約時間長分の映像又は音声を抽出するための視聴率の閾値を決定する閾値決定ステップと、視聴率が前記閾値を超えた時間区間の映像又は音声を抽出し、抽出された映像又は音声を用いて要約を生成する生成ステップとを有する。
【００１２】
本発明によれば、要求される要約時間に見合う視聴率の閾値を定め、その閾値を用いて要約を生成することとしたので、視聴率の高い部分を抽出した要約を、利用者が指定した時間長で生成することが可能となる。
【００１３】
また、前記閾値決定ステップは、前記視聴率データを元に、各視聴率に対してその視聴率以上の時間区間を示す再生区間データを作成する再生区間データ作成ステップと、その再生区間データを元に、各視聴率に対して前記時間区間の時間の総和を示す要約時間データを作成する要約時間データ作成ステップと、その要約時間データと前記要求される要約時間長とから前記視聴率の閾値を決定する決定ステップとで構成することができる。ここで、前記再生区間データは、特定の視聴率に対してその視聴率以上の視聴率に対応する時間区間を前記視聴率データから取得する処理を前記特定の視聴率の大きさを変えて複数回行うことにより作成できる。
【００１４】
すなわち、本発明では、映像又は音声の時間経過に対する視聴率を示す「視聴率データ」から、視聴率に対してその視聴率以上となる時間区間を集計した「再生区間データ」と、視聴率に対する再生区間の時間総和を集計した「要約時間データ」を作成する。そして、利用者が指定した要約の時間長に基づき、要約時間データから要約の時間長と再生区間の時間総和とが同値あるいは最も近い値となる視聴率を求め、この視聴率を閾値として映像を抽出して要約を生成する。本発明により、利用者が指定した時間長の要約を生成することができる。
【００１５】
また、本発明では、上記の方法の発明の実施に適した要約生成装置、コンピュータに上記の方法の発明における各ステップを実行させるプログラム、及びそのプログラムを記録した記録媒体が提供される。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。以下の実施の形態の説明では“映像”を例にとって説明するが、この“映像”は、映像のみの場合もあるが、一般には音声を含むものである。また、映像を含まずに音声のみの場合でも、“映像”の場合と同様の方法で要約を作成することが可能である。以下、まず、本発明の実施の形態の概念を説明する。
【００１７】
本発明の実施の形態に係る装置では、放送された映像もしくは記録媒体から再生された映像の時間毎の視聴率のデータを用い、所定の閾値よりも視聴率が高い部分の映像を抽出することによって要約を生成する。上記所定の閾値は利用者が指定した要約時間長に基づき決定される。これにより、所望の時間長の要約を自動生成することが可能となる。なお、本実施の形態における“映像”は、放送により配信された映像、ネットワーク経由で配信された映像、パッケージメディアによる映像などを含むものである。
【００１８】
図１（Ａ）、（Ｂ）は、本発明の実施の形態の概念を説明するための図である。（Ａ）は、○月○日における時間と視聴率との関係を示すグラフの例である。本発明の実施の形態では、要約作成者が希望する時間長に応じた所定の閾値を超えた視聴率を有する時間区間（以下、再生区間という）の映像を抽出し、その時間長の要約映像を作成する。（Ａ）の例の場合、視聴率が閾値を超えて抽出されたのはバラエティ番組の映像（ａ）とニュース番組の映像（ｂ）である。抽出された視聴率の高い映像は、要約映像として編集される。（Ｂ）は、○月○日におけるあるチャンネルで放送された映像における要約映像の例である。
【００１９】
ここで、指定した時間長の要約を生成する方法の原理について説明する。
【００２０】
図１（Ａ）に示すグラフにおいて閾値を最高視聴率の方向に移動させると再生区間の時間長は短くなり、閾値を視聴率０の方向に移動させると再生区間の時間長は長くなることなどから分かるように、閾値と再生区間の時間長との関係は図２に示すグラフのようになる。従って、再生区間時間長を指定すれば閾値が一意に定まり、当該閾値を用いて要約映像を作成すれば指定した時間長の要約を作成することが可能となる。
【００２１】
以下、本発明の実施の形態を図を用いて説明する。
【００２２】
図３に本発明の実施の形態における要約映像生成装置１の構成を示す。本実施の形態における要約映像生成装置１は、視聴率データ取得部２、再生区間データ作成部３、要約時間データ作成部４、再生区間取得部５、閾値視聴率決定部６、要約時間要求取得部７、要約映像生成部８を有している。また、各データを格納するための図示しない記憶部を有している。
【００２３】
視聴率データ取得部２は、要約の対象となる映像に関する少なくとも映像の再生時間あるいは放送時刻に対応する時間とそのときの視聴率を含む視聴率データを取得する。視聴率は視聴者の全体あるいはそのサンプリングから得られる映像を視聴した人の割合である。また、映像の再生時間とは、例えば、ＤＶＤなどの記録媒体に記録された映像を再生する場合における映像の最初の部分からの経過時間のことである。放送時刻に対応する時間とは、放送時刻そのものであってもよいし、放送をある特定の時刻から録画した場合における録画し始めの部分からの経過時間であってもよい。
【００２４】
視聴率データの例を図４に示す。視聴率の単位は％であり、時間の単位は例えば時（６０分）である。なお、本実施の形態において、視聴率の代わりに視聴者数を用いても視聴率を用いる場合と同様にして希望時間長の要約を作成することができる。
【００２５】
予め作成された視聴率データを用いる場合、視聴率データは要約映像生成装置１の外部から必要に応じてネットワークを介して取得するようにしてもよいし、記録媒体などから視聴率データを読み出して予め要約映像生成装置１に格納しておいてもよい。
【００２６】
また、予め作成された視聴率データを用いるのではなく、視聴率を要約映像生成装置１内で算出することにより視聴率データを要約映像生成装置１が生成するようにしてもよい。視聴率を算出する方法としては、例えば、以下のような方法がある。
【００２７】
まず、放送された映像を出力している複数の視聴者端末、もしくは蓄積された映像を再生している複数の視聴者端末から、視聴映像に対応する時間と映像に係るコンテンツを識別するＩＤとを含む視聴データを受信する。そして、複数の視聴データから特定の時間において対象の映像が視聴されていた視聴者端末の数を集計し、その数を全視聴者端末数で割ることにより、その時間における視聴率を求めることができる。当該対象映像コンテンツにおける各時間についての視聴率を求めることにより図４に示すような視聴率データを得ることができる。
【００２８】
再生区間データ作成部３は視聴率データを元に視聴率に対する再生区間を算出し、再生区間データを作成する。具体的な方法としては、例えば、視聴率の最大値から順に最小値までの範囲で視聴率データをシークしながら、シークしている視聴率の値よりも大きい視聴率の時間区間を記録していくという方法がある。
【００２９】
図５に再生区間データの例を示す。同図に示す例は、視聴率が１０．７２〜１０．０４の範囲でシークした場合の例である。
【００３０】
要約時間データ作成部４は視聴率対要約時間のデータ（要約時間データ）を作成する。要約時間はこの場合、上記再生区間データにおける各視聴率の再生区間の総和になる。よって、要約時間データ作成部４は視聴率毎に上記再生区間データにおける再生区間の総和を求める。要約時間データの例を図６に示す。
【００３１】
要約時間要求取得部７は、要約映像の作成者が指定した要約映像の時間長を取得する。これは、例えば、インターネットのＷＷＷサービスを使ったリクエストなどを用いることにより実現することができる。
【００３２】
閾値視聴率決定部６は、要約時間要求取得部７により取得された時間長に相当する要約時間を要約時間データから参照し、映像抽出の閾値となる視聴率を決定する。例えば、図６の例において、要求された時間長が１０であれば、１０．３３を映像抽出の閾値となる視聴率として決定する。なお、要求された時間長と要約時間データにおける時間長とで一致するものがない場合には、要求された時間長に最も近い時間長に対応する視聴率を閾値として決定する。
【００３３】
再生区間取得部５は、閾値となった視聴率を元に、再生区間データから映像の再生区間を取得する。すなわち、図５に示す再生区間データの例において、閾値となった視聴率が１０．３３である場合、再生区間として４：００〜１１：００、１３：００〜１６：００を取得する。
【００３４】
要約映像生成部８は、当該再生区間を対象映像から抽出し、要約映像を生成する。要約映像は、例えば、再生区間の映像を繋ぎ合わせることにより生成する。なお、映像を抽出するには、外部の装置に蓄積された対象映像からネットワークを介して抽出してもよいし、対象映像を予め要約映像生成装置１に格納しておき、そこから抽出してもよい。
【００３５】
図７は、要約映像生成装置１における処理の流れを示すフローチャートである。図７を用いて要約映像生成装置１の動作を説明する。
【００３６】
要約作成者からの要約生成対象映像コンテンツの指定を受けると、要約映像生成装置１はそのコンテンツに対する要約時間データが作成されているかどうかを調べ（ステップ１）、要約時間データが既に作成されている場合にはステップ５に進む。
【００３７】
要約時間データが作成されていなければ、まず視聴率データ取得部２が視聴率データを取得する（ステップ２）。そして、再生区間データ作成部３が視聴率データ取得部２からの視聴率データを受けて再生区間データを作成する（ステップ３）。
【００３８】
その後、再生区間データ作成部３が作成した再生区間データを用いて、要約時間データ作成部４が要約時間データを作成する（ステップ４）。なお、要約時間データは視聴率データが変わらない限り同じであるので、要約時間データを一度作成しておけばステップ２〜ステップ４の処理は次回からは省略することができる。
【００３９】
ステップ５において、要約時間要求取得部７は利用者からの要約時間長を取得する。なお、要約時間長は最初に取得しておいてもよい。そして、閾値視聴率決定部６が要約時間データと要約時間長とから要約映像生成のための閾値となる視聴率を決定し（ステップ６）、再生区間取得部５がその視聴率（閾値）と再生区間データとから要約映像抽出のための再生区間を取得する（ステップ７）。最後に、要約映像生成部８が当該再生区間で指定された区間の映像を対象映像から抽出することにより要約映像を生成する（ステップ８）。
【００４０】
以上のようにして、視聴者が要求した時間長の要約映像を取得することが可能となる。
【００４１】
本発明の実施の形態の要約映像生成装置１における処理内容をコンピュータプログラムとして記述し、そのプログラムをコンピュータを用いて実行することによっても要約映像生成装置１を実現することができる。当該コンピュータは、ＣＰＵ、メモリー、ハードディスク、入力装置、出力装置、ＣＤ−ＲＯＭドライブ、通信処理装置などを有するものであり、要約映像生成装置１における各部の機能は主にＣＰＵが上記プログラムに従った処理を行うことにより実現される。また、外部からデータを取得したり利用者が指示を与える場合には、入力装置、出力装置、通信処理装置などが使用され、処理データを格納もしくは一時的に格納しておくためにメモリーやハードディスクが用いられる。
【００４２】
上記プログラムは、コンピュータが読み取りできる記録媒体、例えば、ＦＤ（フロッピー（登録商標）ディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、そのプログラムは、インターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００４３】
上述したように本発明における実施の形態によれば、視聴率に基づき要約を生成するので、視聴者の関心に適合した効果的な要約映像を作成することが可能になることに加え、指定された要約映像の時間長から自動的に閾値を設定することが可能となり、過去のデータや要約映像作成者の経験がなくとも容易に要約映像を作成することができる。しかも要約映像の利用者の必要とする時間長に応じて、迅速に要約映像を提供することが可能となる。
【００４４】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００４５】
【発明の効果】
本発明によれば、視聴率の高い部分を抽出した要約映像を、利用者が指定した時間長で生成することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の概念を説明するための図である。
【図２】閾値と再生区間の時間長との関係を説明するためのグラフである。
【図３】本発明の実施の形態における要約映像生成装置１の構成を示す図である。
【図４】本発明の実施の形態における視聴率データの例を示す図である。
【図５】本発明の実施の形態における再生区間データの例を示す図である。
【図６】本発明の実施の形態における要約時間データの例を示す図である。
【図７】本発明の実施の形態における要約映像生成装置１における処理の流れを示すフローチャートである。
【符号の説明】
１  要約映像生成装置
２  視聴率データ取得部
３  再生区間データ作成部
４  要約時間データ作成部
５  再生区間取得部
６  閾値視聴率決定部
７  要約時間要求取得部
８  要約映像生成部
【図１】
2004220286.tif 000003
【図２】
2004220286.tif 000004
【図３】
2004220286.tif 000005
【図４】
2004220286.tif 000006
【図５】
2004220286.tif 000007
【図６】
2004220286.tif 000008
【図７】
2004220286.tif 000009