(57)【要約】【課題】映像にメタデータを付与する必要がなく、かつ、個々のユーザの嗜好に合った要約映像の作成を行うことができる映像要約装置を提供する。【解決手段】映像要約センター１２は、他者のテレビ受信機１１から視聴履歴を受信する視聴履歴受信部１２０１と視聴履歴を蓄積し保持する視聴履歴保持部１２０２と、ユーザ関連度を保持するユーザ関連度保持部１２０３と、ユーザのテレビ受信機１３から番組映像の要約要求を受け付ける要求受付部１２０８と、視聴履歴とユーザ関連度とに基づいて番組映像の時系列的な重要度を算出する重要度算出部１２０４と、時系列的な重要度に基づいて番組映像の要約情報を作成する要約情報作成部１２０５と、要約情報を一時的に保持する要約情報保持部１２０６と、要約情報をユーザのテレビ受信機１３に送信する要約情報送信部１２０７とを備える。【選択図】図３
2006333451.tif 000002
【特許請求の範囲】
【請求項１】
対象映像から要約映像を作成するための映像要約装置であって、
前記対象映像の少なくとも一部を視聴したユーザの視聴履歴を取得する視聴履歴取得手段と、
ユーザから前記対象映像の前記要約映像の作成要求を受け付ける要求受付手段と、
前記要約映像の作成要求を行ったユーザと他のユーザとの間の関連度合いを示すユーザ関連度および前記視聴履歴に基づいて、前記ユーザとユーザ関連度の高い他のユーザの視聴履歴における視聴時間帯の重なり程度の高さを示す、前記対象映像内の時間毎の重要度を算出する重要度算出手段と、
算出された重要度の高い映像箇所を要約映像として生成するための補助情報であって映像を含まない情報である要約情報を作成する要約情報作成手段と
を備えることを特徴とする映像要約装置。
【請求項２】
前記要約情報作成手段は、前記要約情報として前記対象映像内で前記要約映像に用いる部分を示す情報を作成する
ことを特徴とする請求項１記載の映像要約装置。
【請求項３】
前記要約情報作成手段は、前記対象映像内で前記重要度が所定の閾値以上となる部分を前記要約映像に用いる部分として選択し、選択した前記部分を示す情報を前記要約情報として作成する
ことを特徴とする請求項２記載の映像要約装置。
【請求項４】
前記要約情報作成手段は、前記要約情報として前記対象映像の再生速度を時間に応じて変化させることを示す情報を作成する
ことを特徴とする請求項１記載の映像要約装置。
【請求項５】
前記映像要約装置は、さらに、
前記対象映像を記憶する対象映像記憶手段と、
前記要約情報に基づいて前記対象映像記憶手段に記憶されている対象映像から前記要約映像を作成する要約映像作成手段とを備える
ことを特徴とする請求項１記載の映像要約装置。
【請求項６】
前記映像要約装置は、さらに、
前記要約情報を他の装置に送信する要約情報送信手段を備える
ことを特徴とする請求項１記載の映像要約装置。
【請求項７】
前記視聴履歴は、前記対象映像内の時間に応じた視聴の有無であり、
前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記他のユーザ毎の前記ユーザ関連度で重み付けすることによって、前記対象映像内の時間毎の重要度を算出する
ことを特徴とする請求項１記載の映像要約装置。
【請求項８】
前記視聴履歴は、さらに、前記対象映像内の時間に応じた視聴の注目度合いを示す視聴程度を含み、
前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記視聴程度および前記他のユーザ毎の前記ユーザ関連度で重み付けすることによって、前記対象映像内の時間毎の重要度を算出する
ことを特徴とする請求項７記載の映像要約装置。
【請求項９】
前記対象映像は放送映像であり、
前記視聴程度は、放送中の前記対象映像が視聴されたか、録画された前記対象映像が視聴されたかに依存して決定される
ことを特徴とする請求項８記載の映像要約装置。
【請求項１０】
前記対象映像は放送映像であり、
前記視聴程度は、放送中の前記対象映像が視聴された場合、前記対象映像全体または一部が視聴された前後の時間の他の放送の視聴状況に依存して決定される
ことを特徴とする請求項８記載の映像要約装置。
【請求項１１】
前記対象映像は放送映像であり、
前記視聴程度は、録画された前記対象映像が視聴された場合、放送時から視聴時までの経過時間に依存して決定される
ことを特徴とする請求項８記載の映像要約装置。
【請求項１２】
前記視聴程度は、前記対象映像が視聴された回数に依存して決定される
ことを特徴とする請求項８記載の映像要約装置。
【請求項１３】
前記視聴程度は、前記対象映像が視聴された再生速度に依存して決定される
ことを特徴とする請求項８記載の映像要約装置。
【請求項１４】
前記視聴程度は、前記対象映像が視聴された端末の種類に依存して決定される
ことを特徴とする請求項８記載の映像要約装置。
【請求項１５】
前記要求受付手段は、前記作成要求とともに前記要約映像の要約時間を受け付け、
前記要約情報作成手段は、前記要約映像が前記要約時間となるように前記要約情報を作成する
ことを特徴とする請求項１記載の映像要約装置。
【請求項１６】
前記重要度算出手段は、前記他のユーザの前記対象映像の視聴時間とユーザの要求する要約時間とが類似する前記他のユーザを選択し、選択された前記他のユーザの前記対象映像の視聴履歴と前記ユーザ関連度とに基づいて、前記重要度を算出する
ことを特徴とする請求項１５記載の映像要約装置。
【請求項１７】
前記対象映像には、前記対象映像内の時間に応じた重みを含むタグ情報が付与されており、
前記重要度算出手段は、前記タグ情報、前記視聴履歴、および前記ユーザ関連度に基づいて前記重要度を算出する
ことを特徴とする請求項１記載の映像要約装置。
【請求項１８】
前記要約情報作成手段は、前記要約映像の作成要求を行ったユーザの端末の種類に応じて要約時間を決定し、前記要約映像が決定した前記要約時間となるように前記要約情報を作成する
ことを特徴とする請求項１記載の映像要約装置。
【請求項１９】
前記映像要約装置は、さらに、
複数の前記ユーザ間のユーザ関連度をあらかじめ記憶するユーザ関連度記憶手段を備える
ことを特徴とする請求項１記載の映像要約装置。
【請求項２０】
前記視聴履歴取得手段は、さらに、前記要約映像の作成要求を行ったユーザおよび前記他のユーザの前記対象映像以外の他の映像の視聴履歴を取得し、
前記映像要約装置は、さらに、
前記ユーザおよび前記他のユーザの前記他の映像の視聴履歴における視聴の類似度合いを前記ユーザ関連度として算出する関連度算出手段を備える
ことを特徴とする請求項１記載の映像要約装置。
【請求項２１】
前記他の映像の前記視聴履歴は、前記他の映像内の時間に応じた視聴の注目度を示す視聴程度を含み、
前記関連度算出手段は、さらに、前記ユーザおよび前記他のユーザの前記他の映像の前記視聴程度の類似度合いに基づいて前記ユーザ関連度を算出する
ことを特徴とする請求項２０記載の映像要約装置。
【請求項２２】
前記他の映像の視聴履歴は、視聴日時を含み、
前記関連度算出手段は、さらに、前記ユーザおよび前記他のユーザの前記他の映像の前記視聴程度の類似度合いに加え、前記視聴日時の類似度合いに基づいて前記ユーザ関連度を算出する
ことを特徴とする請求項２１記載の映像要約装置。
【請求項２３】
前記対象映像および前記他の映像の前記視聴履歴は、前記他の映像のジャンル情報を含み、
前記関連度算出手段は、前記対象映像のジャンル情報と同一のジャンル情報を有する前記他の映像の前記ユーザおよび前記他のユーザの前記視聴履歴に基づいて、前記ユーザ関連度を算出する
ことを特徴とする請求項２０記載の映像要約装置。
【請求項２４】
前記対象映像はパッケージメディアに記録された映像であり、
前記視聴履歴取得手段は、前記パッケージメディア自体または前記パッケージメディアに付随した他のメディアから前記視聴履歴を取得する
ことを特徴とする請求項１記載の映像要約装置。
【請求項２５】
前記要約映像装置は、さらに、前記ユーザの視聴端末の再生操作に係わる機能を取得する視聴端末情報受信手段と、
前記取得した機能と、再生操作に係わる機能と関連付けられた点数とを照合して、視聴端末の要約に適した度合いを表す要約適用度を算出する要約適用度算出手段とを備え、
前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記他のユーザ毎の前記ユーザ関連度と、前記視聴端末の要約適用度とで重み付けすることによって、前記対象映像内の時間毎の重要度を算出する
ことを特徴とする請求項７記載の映像要約装置。
【請求項２６】
前記要約映像装置は、さらに、前記ユーザの視聴端末の再生操作に係わる機能の利用の有無を取得する視聴端末利用受信手段と、
前記取得した利用の有無と、再生操作に係わる機能と関連付けられた点数とを照合して、当該ユーザが映像を要約して再生している度合いを表す要約適用度を算出する要約利用度算出手段とを備え、
前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記他のユーザ毎の前記ユーザ関連度と、前記視聴端末の要約利用度とで重み付けすることによって、前記対象映像内の時間毎の重要度を算出する
ことを特徴とする請求項７記載の映像要約装置。
【請求項２７】
前記要約映像装置は、さらに、前記視聴履歴に基づいて、前記対象映像と同一シリーズの映像を前記ユーザが要約して見る熟練度合いを表す要約熟練度を、前記ユーザが視聴した時間と番組の時間との割合として算出する要約熟練度算出手段を備え、
前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記他のユーザ毎の前記ユーザ関連度と、前記他のユーザ毎の前記要約熟練度とで重み付けすることによって、前記対象映像内の時間毎の重要度を算出する
ことを特徴とする請求項７記載の映像要約装置。
【請求項２８】
前記要約映像装置は、さらに、前記視聴履歴に基づいて、前記ユーザが映像を要約して見る熟練度合いを表す要約熟練度を、該映像を２回目以降視聴するときは前回視聴してからの経過時間が短いほど高くなるように算出する要約熟練度算出手段を備え、
前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記他のユーザ毎の前記ユーザ関連度と、前記他のユーザ毎の前記要約熟練度とで重み付けすることによって、前記対象映像内の時間毎の重要度を算出する
ことを特徴とする請求項７記載の映像要約装置。
【請求項２９】
前記要約情報作成手段は、前記要約映像が前記要約時間となるように前記要約情報を作成し、さらに、前記要約映像が前記要約時間と異なる時間となるように前記要約情報を作成し、
前記要約映像装置は、さらに、要約映像の再生中に要約時間の変更が生じた場合に、前記２つの要約情報を線形補間して、変更後の要約時間の要約情報を作成する要約情報補間手段とを備える
ことを特徴とする請求項１５記載の映像要約装置。
【請求項３０】
サーバ装置に接続され、対象映像から要約映像を作成する端末装置であって、
前記対象映像を記憶する対象映像記憶手段と、
前記対象映像の要約映像を作成して欲しい旨の要求を前記サーバへ行う要求手段と、
前記対象映像内で要約映像に用いる部分を示す情報である要約情報を前記サーバから受信する要約情報受信手段と、
前記対象映像記録手段に記憶された対象映像から、前記要約情報受信手段によって受信された要約情報が示す部分を抽出することによって、要約映像を作成する要約映像作成手段と
を備えることを特徴とする端末装置。
【請求項３１】
対象映像から要約映像を作成する映像要約システムであって、
端末およびサーバを備え、
前記端末は、
前記対象映像を記憶する対象映像記憶手段と、
前記対象映像の前記要約映像の作成要求を前記サーバへ行う要求手段と、
前記要約映像を作成するための要約情報を前記サーバから受信する要約情報受信手段と、
前記要約情報に基づいて前記対象映像から前記要約映像を作成する要約映像作成手段とを備え、
前記サーバは、
前記対象映像の少なくとも一部を視聴したユーザの視聴履歴を取得する視聴履歴取得手段と、
前記端末から前記要約映像の作成要求を受け付ける要求受付手段と、
前記要約映像の作成要求を行った前記端末のユーザと他のユーザとの間の関連度合いを示すユーザ関連度および前記視聴履歴に基づいて、前記ユーザとユーザ関連度の高い他のユーザの視聴履歴における視聴時間帯の重なり程度の高さを示す、前記対象映像内の時間毎の重要度を算出する重要度算出手段と、
算出された重要度の高い映像箇所を要約映像として生成するための補助情報であって映像を含まない情報である要約情報を作成する要約情報作成手段と、
前記要約情報を前記端末へ送信する要約情報送信手段とを備える
ことを特徴とする映像要約システム。
【請求項３２】
対象映像から要約映像を作成するための映像要約方法であって、
前記対象映像の少なくとも一部を視聴したユーザの視聴履歴を取得する視聴履歴取得ステップと、
ユーザから前記対象映像の前記要約映像の作成要求を受け付ける要求受付ステップと、
前記要約映像の作成要求を行ったユーザと他のユーザとの間の関連度合いを示すユーザ関連度および前記視聴履歴に基づいて、前記ユーザとユーザ関連度の高い他のユーザの視聴履歴における視聴時間帯の重なり程度の高さを示す、前記対象映像内の時間毎の重要度を算出する重要度算出ステップと、
算出された重要度の高い映像箇所を要約映像として生成するための補助情報であって映像を含まない情報である要約情報を作成する要約情報作成ステップと
を含むことを特徴とする映像要約方法。
【請求項３３】
対象映像から要約映像を作成するためのプログラムであって、
前記対象映像の少なくとも一部を視聴したユーザの視聴履歴を取得する視聴履歴取得ステップと、
ユーザから前記対象映像の前記要約映像の作成要求を受け付ける要求受付ステップと、
前記要約映像の作成要求を行ったユーザと他のユーザとの間の関連度合いを示すユーザ関連度および前記視聴履歴に基づいて、前記ユーザとユーザ関連度の高い他のユーザの視聴履歴における視聴時間帯の重なり程度の高さを示す、前記対象映像内の時間毎の重要度を算出する重要度算出ステップと、
算出された重要度の高い映像箇所を要約映像として生成するための補助情報であって映像を含まない情報である要約情報を作成する要約情報作成ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ放送、ビデオパッケージ、ストリーミングなどの映像から、より短い要約映像を作成する技術に関するものである。
【背景技術】
【０００２】
近年、テレビ放送の多チャンネル化が進んだり、ビデオパッケージが多量に販売またはレンタルされたり、ネットワークを通じたストリーミング放送も開始されたりするなど、ユーザは非常に多くの映像に接することができるようになってきている。また、映像を視聴する端末もテレビ受信機で放送時に視聴するだけでなく、ハードディスクレコーダなどの録画機が普及したり、半導体メモリを用いることにより携帯電話などの携帯端末においても録画映像を視聴できたりするようになり、ユーザが映像を視聴する上での時刻的制約は薄れてきている。
【０００３】
一方、ユーザが映像を視聴するために消費できる時間は限られている。特に、携帯電話などの携帯端末では画面が小さく、長時間の映像の視聴はユーザの負担が大きい。そのため、長時間の映像を要約して視聴したいというユーザの要求が高まっている。そこで、例えば特許文献１においては、映像のカット点や音量の変化を自動的に検出して要約映像を作成する方法が開示されている。また、例えば特許文献２においては、映像に付与されたメタデータから映像区分の重要度を算出し、重要度に基づいて要約映像を作成する方法が開示されている。
【特許文献１】特開２００４−８０６２２号公報
【特許文献２】特開２００２−２５９７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザの映像に対する嗜好はさまざまであるため、全体の映像の中から要約して欲しい部分映像もユーザによって異なる。野球などのスポーツでは自分のひいきのチームの映像を重点的に見たいなど、どちらのチームのファンであるかによって、ユーザが見たい要約映像は当然異なる。また、例えば、音楽の映像であっても誰のファンであるかなどによって、要約映像に対する要求は人によって異なる。また、ゴルフなどのレッスン映像では、苦手とするプレイ部分などによって、やはり要約映像に対する要求は人によって異なる。映画などの映像であっても、一般の人と映画マニアの人では注目する点が異なるため、要約映像に対する要求は人によって異なる。
【０００５】
しかしながら、自動的に映像からカット点などを抽出するなど映像自体の特徴量に基づいて要約映像を作成する従来の技術では、映像のストーリーに関係なく万人に画一的に同一の映像からは同一の要約映像しか作成できないのでユーザの感覚に合わないという問題点がある。例えば、サッカーの試合の映像の場合ゴールシーンなどが要約映像として得られるが、ユーザがどちらのチームのファンであっても得られる要約映像は同一である。
【０００６】
一方、映像に付与されたメタデータに基づいて要約映像を作成する従来の技術では、事前に映像提供者が映像区分ごとにメタデータを付与しなければならず、非常にコストがかかるという問題点がある。さらに、メタデータの付与者が重要だと考える部分とユーザが重要だと考える部分との感覚が異なれば、やはり要約映像がユーザの感覚に合わないという問題点がある。
【０００７】
そこで、本発明は、上記の課題に鑑みてなされたものであり、映像にメタデータを付与する必要がなく、かつ、個々のユーザの嗜好に合った要約映像の作成を行うことができる映像要約装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る映像要約装置は、対象映像から要約映像を作成するための映像要約装置であって、前記対象映像の少なくとも一部を視聴したユーザの視聴履歴を取得する視聴履歴取得手段と、ユーザから前記対象映像の前記要約映像の作成要求を受け付ける要求受付手段と、前記要約映像の作成要求を行ったユーザと他のユーザとの間の関連度合いを示すユーザ関連度および前記視聴履歴に基づいて、前記ユーザとユーザ関連度の高い他のユーザの視聴履歴における視聴時間帯の重なり程度の高さを示す、前記対象映像内の時間毎の重要度を算出する重要度算出手段と、算出された重要度の高い映像箇所を要約映像として生成するための補助情報であって映像を含まない情報である要約情報を作成する要約情報作成手段とを備えることを特徴とする。
【発明の効果】
【０００９】
以上の説明から明らかなように、本発明に係る映像要約装置および映像要約方法によれば、映像にメタデータを付与する必要がなく、個々のユーザの嗜好に合った要約映像の作成を行うことが可能となる。また、ユーザが要約映像の長さを任意に設定することが可能となる。また、映像のユーザの嗜好への合致度合いに応じて要約映像の長さを調節することが可能となる。
【発明を実施するための最良の形態】
【００１０】
本発明の実施の形態に係る映像要約装置は、対象映像から要約映像を作成するための映像要約装置であって、前記対象映像の少なくとも一部を視聴したユーザの視聴履歴を取得する視聴履歴取得手段と、ユーザから前記対象映像の前記要約映像の作成要求を受け付ける要求受付手段と、前記要約映像の作成要求を行ったユーザと他のユーザとの間の関連度合いを示すユーザ関連度および前記視聴履歴に基づいて、前記ユーザとユーザ関連度の高い他のユーザの視聴履歴における視聴時間帯の重なり程度の高さを示す、前記対象映像内の時間毎の重要度を算出する重要度算出手段と、算出された重要度の高い映像箇所を要約映像として生成するための補助情報であって映像を含まない情報である要約情報を作成する要約情報作成手段とを備えることを特徴とする。
【００１１】
これによって、映像にメタデータを付与する必要がなく、個々のユーザの嗜好に合った要約映像の作成を行うことが可能となる。一般的に、嗜好が近い者同士は、番組の視聴行動も近いと考えられる。例えば、野球番組において、一方のチームのファンは相手のチームの攻撃中はチャンネルを替えてしまったり、録画映像の場合は早送りしてしまったり、あるいは、負け戦になると判断した場合は、その先の視聴をやめてしまったりする。同じチームのファン同士は、上記のような視聴行動も類似する傾向にある。
【００１２】
本発明は、嗜好の類似性が、視聴行動の類似性に相関があることに着目し、要約したい映像についての他者の視聴履歴に基づいて映像を要約する。ユーザと嗜好の近い他者を選んで、その視聴履歴を参照することにより、どの映像部分がユーザにとっても重要であるかを推測することができる。この原理を用いることにより、映像にメタデータを付与する必要もなく、かつ、ユーザの嗜好に合った要約映像を得ることが可能となる。
【００１３】
また、前記要約情報作成手段は、前記要約情報として前記対象映像内で前記要約映像に用いる部分を示す情報を作成してもよい。
【００１４】
また、前記要約情報作成手段は、前記対象映像内で前記重要度が所定の閾値以上となる部分を前記要約映像に用いる部分として選択し、選択した前記部分を示す情報を前記要約情報として作成してもよい。これによって、所定の閾値を調整することで、ユーザによって要求された要約映像の長さに要約情報を作成することができる。
【００１５】
前記要約情報作成手段は、前記要約情報として前記対象映像の再生速度を時間に応じて変化させることを示す情報を作成してもよい。これによって、重要でない部分もある程度ユーザが理解でき、映像の全体が把握しやすくすることができる要約情報を作成することが可能となる。
【００１６】
前記映像要約装置は、さらに、前記対象映像を記憶する対象映像記憶手段と、前記要約情報に基づいて前記対象映像記憶手段に記憶されている対象映像から前記要約映像を作成する要約映像作成手段とを備えてもよい。
【００１７】
前記映像要約装置は、さらに、前記要約情報を他の装置に送信する要約情報送信手段を備えてもよい。
【００１８】
また、前記視聴履歴は、前記対象映像内の時間に応じた視聴の有無であり、前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記他のユーザ毎の前記ユーザ関連度で重み付けすることによって、前記対象映像内の時間毎の重要度を算出してもよい。
【００１９】
また、前記視聴履歴は、さらに、前記対象映像内の時間に応じた視聴の注目度合いを示す視聴程度を含み、前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記視聴程度および前記他のユーザ毎の前記ユーザ関連度で重み付けすることによって、前記対象映像内の時間毎の重要度を算出してもよい。
【００２０】
また、前記対象映像は放送映像であり、前記視聴程度は、放送中の前記対象映像が視聴されたか、録画された前記対象映像が視聴されたかに依存して決定されてもよい。
【００２１】
また、前記対象映像は放送映像であり、前記視聴程度は、放送中の前記対象映像が視聴された場合、前記対象映像全体または一部が視聴された前後の時間の他の放送の視聴状況に依存して決定されてもよい。
【００２２】
また、前記対象映像は放送映像であり、前記視聴程度は、録画された前記対象映像が視聴された場合、放送時から視聴時までの経過時間に依存して決定されてもよい。
【００２３】
また、前記視聴程度は、前記対象映像が視聴された回数に依存して決定されてもよい。
【００２４】
また、前記視聴程度は、前記対象映像が視聴された再生速度に依存して決定されてもよい。
【００２５】
また、前記視聴程度は、前記対象映像が視聴された端末の種類に依存して決定されてもよい。
【００２６】
また、前記要求受付手段は、前記作成要求とともに前記要約映像の要約時間を受け付け、前記要約情報作成手段は、前記要約映像が前記要約時間となるように前記要約情報を作成してもよい。
【００２７】
また、前記重要度算出手段は、前記他のユーザの前記対象映像の視聴時間とユーザの要求する要約時間とが類似する前記他のユーザを選択し、選択された前記他のユーザの前記対象映像の視聴履歴と前記ユーザ関連度とに基づいて、前記重要度を算出してもよい。これによって、一般的に、ユーザの要求する要約時間と類似した視聴時間で視聴した他のユーザの方がユーザと嗜好が類似していると考えられるため、よりユーザの嗜好に合致した要約映像を得ることが可能となる。また、計算コストも低減される。
【００２８】
また、前記対象映像には、前記対象映像内の時間に応じた重みを含むタグ情報が付与されており、前記重要度算出手段は、前記タグ情報、前記視聴履歴、および前記ユーザ関連度に基づいて前記重要度を算出してもよい。
【００２９】
また、前記要約情報作成手段は、前記要約映像の作成要求を行ったユーザの端末の種類に応じて要約時間を決定し、前記要約映像が決定した前記要約時間となるように前記要約情報を作成してもよい。
【００３０】
また、前記映像要約装置は、さらに、複数の前記ユーザ間のユーザ関連度をあらかじめ記憶するユーザ関連度記憶手段を備えてもよい。
【００３１】
また、前記視聴履歴取得手段は、さらに、前記要約映像の作成要求を行ったユーザおよび前記他のユーザの前記対象映像以外の他の映像の視聴履歴を取得し、前記映像要約装置は、さらに、前記ユーザおよび前記他のユーザの前記他の映像の視聴履歴における視聴の類似度合いを前記ユーザ関連度として算出する関連度算出手段を備えてもよい。
【００３２】
また、前記他の映像の前記視聴履歴は、前記他の映像内の時間に応じた視聴の注目度を示す視聴程度を含み、前記関連度算出手段は、さらに、前記ユーザおよび前記他のユーザの前記他の映像の前記視聴程度の類似度合いに基づいて前記ユーザ関連度を算出してもよい。
【００３３】
また、前記他の映像の視聴履歴は、視聴日時を含み、前記関連度算出手段は、さらに、前記ユーザおよび前記他のユーザの前記他の映像の前記視聴程度の類似度合いに加え、前記視聴日時の類似度合いに基づいて前記ユーザ関連度を算出してもよい。
【００３４】
また、前記対象映像および前記他の映像の前記視聴履歴は、前記他の映像のジャンル情報を含み、前記関連度算出手段は、前記対象映像のジャンル情報と同一のジャンル情報を有する前記他の映像の前記ユーザおよび前記他のユーザの前記視聴履歴に基づいて、前記ユーザ関連度を算出してもよい。
【００３５】
また、前記対象映像はパッケージメディアに記録された映像であり、前記視聴履歴取得手段は、前記パッケージメディア自体または前記パッケージメディアに付随した他のメディアから前記視聴履歴を取得してもよい。
【００３６】
また、前記要約映像装置は、さらに、前記ユーザの視聴端末の再生操作に係わる機能を取得する視聴端末情報受信手段と、前記取得した機能と、再生操作に係わる機能と関連付けられた点数とを照合して、視聴端末の要約に適した度合いを表す要約適用度を算出する要約適用度算出手段とを備え、前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記他のユーザ毎の前記ユーザ関連度と、前記視聴端末の要約適用度とで重み付けすることによって、前記対象映像内の時間毎の重要度を算出してもよい。これにより、他者の視聴端末が有する再生機能をも考慮して映像要約情報が作成されるので、例えば、要約映像を作成する上で、要約しにくい端末での視聴履歴よりも、要約しやすい端末での視聴履歴を優先して採用することができ、より適確な要約映像が作成される。
【００３７】
また、前記要約映像装置は、さらに、前記ユーザの視聴端末の再生操作に係わる機能の利用の有無を取得する視聴端末利用受信手段と、前記取得した利用の有無と、再生操作に係わる機能と関連付けられた点数とを照合して、当該ユーザが映像を要約して再生している度合いを表す要約適用度を算出する要約利用度算出手段とを備え、前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記他のユーザ毎の前記ユーザ関連度と、前記視聴端末の要約利用度とで重み付けすることによって、前記対象映像内の時間毎の重要度を算出してもよい。これにより、他者の視聴端末の再生機能の利用度をも考慮して映像要約情報が作成されるので、より実情に即した適確な要約映像が作成される。
【００３８】
また、前記要約映像装置は、さらに、前記視聴履歴に基づいて、前記対象映像と同一シリーズの映像を前記ユーザが要約して見る熟練度合いを表す要約熟練度を、前記ユーザが視聴した時間と番組の時間との割合として算出する要約熟練度算出手段を備え、前記重要度算出手段は、前記視聴履歴の中の前記他のユーザにより視聴された時間帯を前記他のユーザ毎の前記ユーザ関連度と、前記他のユーザ毎の前記要約熟練度とで重み付けすることによって、前記対象映像内の時間毎の重要度を算出してもよい。このとき、前記視聴履歴に基づいて、前記ユーザが映像を要約して見る熟練度合いを表す要約熟練度を、該映像を２回目以降視聴するときは前回視聴してからの経過時間が短いほど高くなるように算出するのが好ましい。これにより、視聴の有無だけではなく、他者の要約熟練度をも考慮して映像要約情報が作成されるので、よりユーザの特性に合致した有益な要約映像が作成される。
【００３９】
また、前記要約情報作成手段は、前記要約映像が前記要約時間となるように前記要約情報を作成し、前記要約映像装置は、さらに、前記要約映像が前記要約時間と異なる時間となるように前記要約情報を作成し、さらに、要約映像の再生中に要約時間の変更が生じた場合に、前記２つの要約情報を線形補間して、変更後の要約時間の要約情報を作成する要約情報補間手段とを備えてもよい。これにより、映像要約センターで複数の長さの映像要約情報を作成し、ユーザの端末でそれを補間することにより、所望の時間長の要約映像が作成されるので、ユーザ端末の負担が少なく、要約時間の変更が可能となる。
【００４０】
なお、本発明は、サーバ装置に接続され、対象映像から要約映像を作成する端末装置であって、前記対象映像を記憶する対象映像記憶手段と、前記対象映像の要約映像を作成して欲しい旨の要求を前記サーバへ行う要求手段と、前記対象映像内で要約映像に用いる部分を示す情報である要約情報を前記サーバから受信する要約情報受信手段と、前記対象映像記録手段に記憶された対象映像から、前記要約情報受信手段によって受信された要約情報が示す部分を抽出することによって、要約映像を作成する要約映像作成手段とを備えることを特徴とする端末装置として実現することもできる。これにより、端末装置は、サーバ装置から、要約映像自体を受信するのではなく、重要度の高い映像箇所を要約映像として生成するための補助情報であって映像を含まない情報である要約情報を受信するだけで、要約映像を作成することができ、サーバ装置との通信負荷が削減される。
【００４１】
また、本発明の実施の形態に係る映像要約システムは、対象映像から要約映像を作成する映像要約システムであって、端末およびサーバを備え、前記端末は、前記対象映像を記憶する対象映像記憶手段と、前記対象映像の前記要約映像の作成要求を前記サーバへ行う要求手段と、前記要約映像を作成するための要約情報を前記サーバから受信する要約情報受信手段と、前記要約情報に基づいて前記対象映像から前記要約映像を作成する要約映像作成手段とを備え、前記サーバは、前記対象映像の少なくとも一部を視聴したユーザの視聴履歴を取得する視聴履歴取得手段と、前記端末から前記要約映像の作成要求を受け付ける要求受付手段と、前記要約映像の作成要求を行った前記端末のユーザと他のユーザとの間の関連度合いを示すユーザ関連度および前記視聴履歴に基づいて、前記対象映像内の時間毎の重要度を算出する重要度算出手段と、前記要約映像を作成するための要約情報を前記重要度に基づいて作成する要約情報作成手段と、前記要約情報を前記端末へ送信する要約情報送信手段とを備えることを特徴とする。
【００４２】
なお、本発明は、このような映像要約装置として実現することができるだけでなく、このような映像要約装置が備える特徴的な手段をステップとする映像要約方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【００４３】
以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。
【００４４】
（実施の形態１）
本実施の形態では、映像の要約は映像要約センターで集中的に行い、映像の再生はユーザのテレビ受信機で行うような場合の映像要約システムについて説明する。
【００４５】
図１は、本発明の実施の形態１に係る映像要約装置が用いられるシステムの構成を示す概略図である。
【００４６】
映像要約システムは、図１に示すように、テレビ放送局１４から放送された番組映像を受信する他者のテレビ受信機１１およびユーザのテレビ受信機１３と、インターネット１５等のネットワークを介してテレビ受信機１１およびユーザのテレビ受信機１３と接続される映像要約センター１２とを備えている。
【００４７】
図２は他者のテレビ受信機１１の構成を示す機能ブロック図であり、図３は映像要約センター１２の構成を示す機能ブロック図であり、図４はユーザのテレビ受信機１３の構成を示す機能ブロック図である。
【００４８】
他者のテレビ受信機１１は、図２に示すように、テレビ放送局１４から放送された番組映像を受信する放送受信部１１０１、放送受信部１１０１によって受信された番組映像を録画する録画部１１０２、放送受信部１１０１によって受信された番組映像、または録画部１１０２によって録画された番組映像を他者に表示する表示部１１０３、表示部１１０３によって表示された番組映像の視聴履歴を一時的に保持する視聴履歴保持部１１０４、および、視聴履歴保持部１１０４によって保持されている視聴履歴をインターネット１５を介して映像要約センター１２に送信する視聴履歴送信部１１０５を備えている。
【００４９】
映像要約センター１２は、図３に示すように、インターネット１５を介して他者のテレビ受信機１１から視聴履歴を受信する視聴履歴受信部１２０１、視聴履歴受信部１２０１によって受信された視聴履歴を蓄積し保持する視聴履歴保持部１２０２、ユーザ間の関連度合いを示すユーザ関連度を保持するユーザ関連度保持部１２０３、ユーザのテレビ受信機１３からインターネット１５を介して番組映像の要約要求を受け付ける要求受付部１２０８、視聴履歴保持部１２０２によって保持されている視聴履歴とユーザ関連度保持部１２０３によって保持されているユーザ関連度とに基づいて、要求受付部１２０８によって要約要求が受け付けられた番組映像の時系列的な重要度を算出する重要度算出部１２０４、重要度算出部１２０４によって算出された時系列的な重要度に基づいて番組映像の要約情報を作成する要約情報作成部１２０５、要約情報作成部１２０５によって作成された要約情報を一時的に保持する要約情報保持部１２０６、および、要約情報保持部１２０６によって保持されている要約情報をインターネット１５を介してユーザのテレビ受信機１３に送信する要約情報送信部１２０７を備えている。
【００５０】
ここで、重要度算出部１２０４が算出する重要度とは、要約映像としての重要度であり、本実施の形態では、ユーザとユーザ関連度の高い他のユーザの視聴履歴における視聴時間帯の重なり程度の高さに相当する。また、要約情報作成部１２０５が作成する要約情報とは、要約映像を作成するのに用いられる制御情報であり、本実施の形態では、重要度算出部１２０４によって算出された重要度の高い映像箇所を要約映像として生成するための補助情報であって映像を含まない情報である。
【００５１】
ユーザのテレビ受信機１３は、図４に示すように、インターネット１５を介して映像要約センター１２から要約情報を受信する要約情報受信部１３０１、要約情報受信部１３０１によって受信された要約情報を保持する要約情報保持部１３０２、テレビ放送局１４から放送された番組映像を受信する放送受信部１３０３、放送受信部１３０３によって受信された番組映像を録画する録画部１３０４、要約情報保持部１３０２によって保持されている要約情報に基づいて、録画部１３０４によって録画された番組映像から要約映像を作成する映像要約部１３０５、放送受信部１３０３によって受信された番組映像、録画部１３０４によって録画された番組映像、または映像要約部１３０５によって作成された要約映像をユーザに表示する表示部１３０６を備えている。
【００５２】
以上のように構成された本実施の形態の映像要約システムの動作は、他者のテレビ受信機１１が視聴履歴を収集し映像要約センター１２に送信する「視聴履歴送信ステップ」、映像要約センター１２が他者の視聴履歴に基づいて映像の要約情報を作成する「要約情報作成ステップ」、ユーザのテレビ受信機１３が要約情報に基づいて要約映像を作成する「要約映像作成ステップ」とからなる。それぞれの動作についてフローチャートなどを用いて以下に説明する。
【００５３】
「視聴履歴送信ステップ」
他者のテレビ受信機１１は、他者の視聴履歴を収集し映像要約センター１２に送信する。その動作は、他者がテレビ放送を放送時に視聴する場合と、一旦録画してから視聴する場合との２通りがあり、他者のテレビ視聴操作などに応じて随時動作する。
【００５４】
まず、他者がテレビ放送を放送時に視聴する場合の動作を図５のフローチャートを用いて説明する。
【００５５】
放送受信部１１０１は、他者のテレビ受信機１１に対する受信開始要求操作にしたがって、テレビ放送局１４から放送された番組映像の受信を開始する（Ｓ１１０１）。表示部１１０３は、放送受信部１１０１が受信した番組映像の表示を開始する（Ｓ１１０２）。視聴履歴保持部１１０４は、表示部１１０３による番組映像の表示開始を視聴開始であるとして、番組を識別する番組ＩＤと番組開始から視聴開始までの相対時間を記憶する（Ｓ１１０３）。ここで、番組ＩＤは、番組に付随して放送波で送られて来るか、ネットワーク経由でＥＰＧ（電子番組ガイド）から取得する。また、相対時間は映像信号に埋め込まれているか、図示しないタイマによって計時することによって得る。
【００５６】
次に、表示部１１０３は、他者のテレビ受信機１１に対する受信終了要求操作にしたがって、放送受信部１１０１が受信した番組映像の表示を終了する（Ｓ１１０４）。放送受信部１１０１は、テレビ放送局１４から放送された番組映像の受信を終了する（Ｓ１１０５）。視聴履歴保持部１１０４は、表示部１１０３による番組映像の表示終了を視聴終了であるとして、（Ｓ１１０３）における視聴開始時の記憶に対応付けて、番組開始から視聴終了までの相対時間を記憶する（Ｓ１１０６）。
【００５７】
次に、視聴履歴送信部１１０５は、視聴履歴保持部１１０４が保持している視聴履歴を、この他者のテレビ受信機１１を使用するユーザを識別するユーザＩＤとともに、インターネット１５を介して映像要約センター１２に送信する（Ｓ１１０７）。ここで、ユーザＩＤは図示しないユーザ識別手段によりＩＤカードなどを用いて識別する。
【００５８】
次に、視聴履歴保持部１１０４は、視聴履歴送信部１１０５が視聴履歴を送信後、保持している視聴履歴を削除する（Ｓ１１０８）。
【００５９】
なお、本実施の形態では、視聴履歴の送信は番組の視聴終了後に行っているが、１番組の視聴ごとでなくても、一定量の視聴履歴が蓄積されたタイミングや、定期的なタイミングなど、任意のタイミングで行っても構わない。また、視聴履歴の削除も、同様に任意のタイミングで行っても構わない。
【００６０】
以上の動作により、例えば図６に示すような視聴履歴が映像要約センター１２に送信される。図６において、この他者の視聴履歴は、番組ＩＤ「１」の番組名「半信−虚人戦」という番組を番組開始時から番組開始１時間２０分後まで視聴し、次に、番組ＩＤ「２」の番組名「生産物奇想天外」という番組を番組開始２０分後から番組開始６０分後まで視聴し、さらに、番組ＩＤ「１」の番組名「半信−虚人戦」という番組を番組開始２時間後から番組開始３時間後まで視聴したといったことを表している。
【００６１】
次に、他者がテレビ放送を放送時ではなく、一旦録画してから視聴する場合の動作を図７のフローチャートを用いて説明する。
【００６２】
表示部１１０３は、他者のテレビ受信機１１に対する要求操作にしたがって、録画部１１０２が録画した番組映像の再生を開始する（Ｓ１１１１）。視聴履歴保持部１１０４は、表示部１１０３による番組映像の再生開始を視聴開始であるとして、番組を識別する番組ＩＤと番組開始から視聴開始までの相対時間を記憶する（Ｓ１１１２）。
【００６３】
次に、表示部１１０３は、他者のテレビ受信機１１に対する要求操作にしたがって、録画部１１０２が録画した番組映像の再生を終了する（Ｓ１１１３）。視聴履歴保持部１１０４は、表示部１１０３による番組映像の再生終了を視聴終了であるとして、（Ｓ１１１６）における視聴開始時の記憶に対応付けて、番組開始から視聴終了までの相対時間を記憶する（Ｓ１１１４）。
【００６４】
次に、視聴履歴送信部１１０５は、視聴履歴保持部１１０４が保持している視聴履歴をインターネット１５を介して映像要約センター１２に送信する（Ｓ１１１５）。視聴履歴保持部１１０４は、視聴履歴送信部１１０５が視聴履歴を送信後、保持している視聴履歴を削除する（Ｓ１１１６）。
【００６５】
以上の動作により、上記の図６と同様の視聴履歴が映像要約センター１２に送信される。すなわち、テレビ放送を放送時に視聴した場合でも、一旦録画してから視聴した場合でも、同様に視聴履歴が映像要約センター１２に送信される。
【００６６】
「要約情報作成ステップ」
映像要約センター１２は、他者のテレビ受信機１１から受信した他者の視聴履歴に基づいて映像の要約情報を作成する。その動作はさらに「視聴履歴蓄積サブステップ」と「要約情報作成サブステップ」とからなる。それぞれの動作についてフローチャートなどを用いて以下に説明する。
【００６７】
「視聴履歴蓄積サブステップ」
映像要約センター１２は、他者のテレビ受信機１１から受信した視聴履歴を蓄積する。その動作を図８のフローチャートを用いて説明する。
【００６８】
視聴履歴受信部１２０１は、インターネット１５を介して、他者のテレビ受信機１１からの視聴履歴の送信要求を待ち受け、送信要求を受信した場合に、この他者のテレビ受信機１１から、ユーザＩＤと視聴履歴を受信する（Ｓ１２０１）。そして、視聴履歴受信部１２０１は、受信した視聴履歴にユーザＩＤを対応付けて、視聴履歴保持部１２０２が既に保持している視聴履歴に付け加える（Ｓ１２０２）。
【００６９】
本動作は、映像要約センター１２の稼動時は常時行われる。以上の動作により、例えば図９に示すように、複数の他者の複数の番組の視聴履歴が蓄積される。図９の視聴履歴を模式的に示すと図１０のようになる。
【００７０】
「要約情報作成サブステップ」
映像要約センター１２は、ユーザから番組映像の要約情報の作成要求があった場合、蓄積された視聴履歴から番組映像の要約情報を作成する。その動作を図１１のフローチャートを用いて説明する。
【００７１】
要求受付部１２０８は、ユーザのテレビ受信機１３からインターネット１５を介して番組映像の要約情報の作成要求を受け付ける（Ｓ１２１０）。ここで、作成要求には、ユーザＩＤ、要約情報の作成を行う番組を示す番組ＩＤ、および要約映像の長さ（要約時間）が含まれる。
【００７２】
重要度算出部１２０４は、視聴履歴保持部１２０２が保持している視聴履歴とユーザ関連度保持部１２０３が保持しているユーザ関連度とに基づいて、ユーザとユーザ関連度の高い他のユーザの視聴履歴における視聴時間帯の重なり程度の高さを示す、番組映像の時系列的な重要度を算出する（Ｓ１２１１）。ユーザ関連度保持部１２０３が保持しているユーザ関連度の例を図１２に示す。図１２において、ユーザと他者とのユーザ関連度は、番組映像を要約する上で参照する他者の視聴履歴の他者ごとの考慮度合いである。このユーザ関連度としては、ユーザ自身が、気の合う仲間や、同一のサークルやファンクラブのメンバーなど、自分と嗜好の近いと考える他者を直接指定し、嗜好の関連度合いを予め設定しておく。重要度算出部１２０４は、まず、視聴履歴保持部１２０２が保持している視聴履歴の中からユーザから要求のあった番組ＩＤで特定された番組の視聴履歴を抽出する。そして、重要度算出部１２０４は、番組開始からの相対時間の関数として、この番組を視聴していた全ての他者についてこの他者のこの番組の視聴開始相対時間と視聴終了相対時間との区間にこの他者のユーザ関連度を合計し、これを番組映像の時系列的な重要度とする。例えば、図１０に示した他者Ｂ、Ｃ、Ｄの３人の視聴履歴を用いて番組名「半信−虚人戦」の重要度を算出する場合の模式図を図１３に示す。他者Ｂ、Ｃ、Ｄのユーザ関連度は、図１２に示すようにそれぞれ「０．６」、「０．２」、「０．５」であるので、他者Ｂ、Ｃ、Ｄそれぞれが視聴している時間帯に関して図１３（ａ）、（ｂ）、（ｃ）に示すようになり、この番組の重要度は図１３（ｄ）に示すように他者Ｂ、Ｃ、Ｄが視聴している時間帯が「１．３」となり、他者Ｂ、Ｃが視聴している時間帯が「０．８」となり、他者Ｂ、Ｄが視聴している時間帯が「１．１」となり、他者Ｃ、Ｄが視聴している時間帯が「０．７」となり、他者Ｃだけが視聴している時間帯が「０．２」となる。図１３は、説明のために３人だけの視聴履歴から重要度を算出したため重要度はガタガタのグラフとなっているが、実際には多くの他者の視聴履歴に基づいてユーザ関連度を合計するため、重要度は段々が目立たないグラフとなる。以下では、算出された重要度を折れ線で近似して説明することとし、その例を図１４に示す。なお、図１４に示す重要度の値は図１３に示す重要度の値とは相違する例である。
【００７３】
次に、要約情報作成部１２０５は、重要度算出部１２０４によって算出された重要度が閾値以上となる部分の合計時間が、ユーザの要求する要約映像の長さになるように閾値を調整する。閾値を上げると、重要度が閾値以上となる部分の合計時間は単調減少するので、閾値の調整は、閾値を０から少しずつ増加させていくことにより、重要度が閾値以上となる部分の合計時間がユーザの要求する要約映像の長さになる閾値を得ることができる。そして、閾値以上となる部分の区間情報をユーザ向けの要約情報として求める（Ｓ１２１２）。
【００７４】
図１５は、図１４に示す重要度の例を用いて、１８０分の番組を半分の９０分に要約する場合のユーザ「Ａ」の要約情報作成の例を示す図である。また、図１６は、別のユーザ「Ｙ」について同じ番組を半分の９０分に要約する場合の要約情報作成の例を示す図であり、図１７は、図１５と図１６とを重ね合わせて示す図である。要約情報作成部１２０５は、例えば、図１５に示すように要約映像の長さが９０分となるように閾値を調整し、要約情報を作成する。一方、別のユーザ「Ｙ」について考えると、ユーザ「Ｙ」と他者とのユーザ関連度は、ユーザ「Ａ」のそれとは異なるため、ユーザ関連度に基づいて算出された重要度も異なるものとなる。よって、別のユーザ「Ｙ」については、例えば図１６に示すようなユーザ「Ｙ」向けの要約情報が作成されることになる。したがって、同一の番組を同一の時間に要約する場合でも、図１７に示すようにユーザによって閾値も異なるものとなり、異なる要約情報が作成される。
【００７５】
要約情報保持部１２０６は、要約情報作成部１２０５によって作成された要約情報を一時的に保持する（Ｓ１２１３）。図１８は要約情報の一例を示す図である。要約情報保持部１２０６は、例えば図１８に示すような番組ＩＤおよび区間情報から構成された要約情報を一時的に保持する。次に、要約情報送信部１２０７は、要約情報保持部１２０６が保持している要約情報をインターネット１５を介してユーザのテレビ受信機１３に送信する（Ｓ１２１４）。要約情報送信部１２０７によって要約情報が送信された後、要約情報保持部１２０６は、保持している要約情報を削除する（Ｓ１２１５）。
【００７６】
「要約映像作成ステップ」
ユーザのテレビ受信機１３は、テレビ放送の番組映像を録画し、映像要約センター１２から受信した要約情報に基づいてこの番組映像の要約映像を作成し、それを再生する。その動作はさらに「番組録画サブステップ」と「要約映像再生サブステップ」とからなる。それぞれの動作についてフローチャートなどを用いて以下に説明する。なお、ユーザのテレビ受信機１３においては、テレビ放送を録画せずに放送時に視聴することも可能であるし、録画した番組映像を要約せずに再生することも可能である。
【００７７】
「番組録画サブステップ」
図１９は、ユーザのテレビ受信機１３でテレビ放送の番組映像を録画する際の動作の流れを示すフローチャートである。
【００７８】
放送受信部１３０３は、ユーザのテレビ受信機１３に対する要求操作にしたがって、テレビ放送局１４から放送された番組映像の受信を開始する（Ｓ１３０１）。次に、録画部１３０４は、放送受信部１３０３が受信した番組映像の録画を開始する（Ｓ１３０２）。
【００７９】
録画部１３０４は、ユーザのテレビ受信機１３に対する要求操作にしたがって、放送受信部１３０３が受信した番組映像の録画を終了する（Ｓ１３０３）。次に、放送受信部１３０３は、テレビ放送局１４から放送された番組映像の受信を終了する（Ｓ１３０４）。
【００８０】
「要約映像再生サブステップ」
図２０は、ユーザのテレビ受信機１３で番組映像の要約映像を再生する際の動作の流れを示すフローチャートである。
【００８１】
要約情報受信部１３０１は、ユーザのテレビ受信機１３に対する、録画されている番組映像のうちの１つについて要約情報の作成要求操作にしたがって、この番組映像の要約情報の作成を映像要約センター１２に要求し、映像要約センター１２からこの番組映像の要約情報を受信する（Ｓ１３１１）。次に、要約情報保持部１３０２は、要約情報受信部１３０１が受信した要約情報を保持する（Ｓ１３１２）。
【００８２】
次に、映像要約部１３０５は、要約情報保持部１３０２が保持している要約情報に基づいて、録画部１３０４が録画した番組映像から要約情報に記述されている部分のみを要約映像として取り出すことを開始する（Ｓ１３１３）。番組映像からの部分の取り出しは、その再生よりも高速で行われるので、再生される要約映像は途切れることはない。
【００８３】
次に、表示部１３０６は、映像要約部１３０５が取り出した要約映像の再生を開始する（Ｓ１３１４）。ユーザのテレビ受信機１３での要約映像の表示例を図２１に示す。図２１において、画面下部に番組映像全体のスケールを線分で表示し、その中での要約映像の部分を網掛けの矩形で表示し、さらに現時点での再生位置を三角のマークＭで表示している。このような表示により、全体の番組映像がどの範囲に要約され、その中のどの部分が再生されているかがユーザに把握できるようになる。
【００８４】
次に、映像要約部１３０５は、要約映像の取り出しが完了した場合や、あるいは、ユーザのテレビ受信機１３に対する要求操作にしたがって、要約映像の取り出しを終了する（Ｓ１３１５）。次に、表示部１３０６は、映像要約部１３０５が取り出した要約映像の表示を終了する（Ｓ１３１６）。そして、要約情報保持部１３０２は、保持しているこの映像の要約情報を削除する（Ｓ１３１７）。
【００８５】
以上の動作により、予め設定されたユーザと嗜好の近い他者の視聴履歴を参照することにより、映像の時間に応じた重要度を算出し、時間に応じた重要度に基づいて要約映像を作成することにより、映像にメタデータを付与することなく、かつ、個々のユーザの嗜好に合った要約映像を得ることが可能となる。また、ユーザが要約映像の長さを任意に設定することが可能となる。
【００８６】
なお、本実施の形態では、視聴履歴において、番組を特定するために番組ＩＤを用いた例で説明したが、放送局ＩＤと放送日時を用いるなど番組映像を特定できる別の方法でも構わない。その場合、番組にＩＤを付与することなく、番組映像を特定できる。
【００８７】
また、本実施の形態では、ユーザと他者とのユーザ関連度はユーザ自身があらかじめ設定したが、サービス事業者側で、ユーザと他者との年齢や性別や職業や嗜好ジャンルや嗜好キーワードなどのユーザ属性の類似性などに基づいて自動的に設定するように構成しても良い。ユーザ属性の例を図２２に示す。ユーザ属性の区分は、視聴傾向から統計的に、視聴傾向の差異が現れる属性についての詳細な区分を、例えば、図２２（ａ）に示すように性別、図２２（ｂ）に示すように年齢層、図２２（ｃ）に示すように職種、図２２（ｄ）に示すように地域（大分類、小分類）、図２２（ｅ）に示すように嗜好ジャンル（大分類、中分類、小分類）というように設けている。また、嗜好キーワードは、出演者名や番組名などのフリーキーワードを指し、複数設定することが可能である。ユーザ属性および嗜好キーワードはユーザが設定するように構成される。ユーザ属性に基づいてユーザ関連度を算出するためのテーブルの一例を図２３に示す。ユーザと他者とのユーザ属性を比較し、図２３のテーブルに基づいて、一致する属性があればユーザ関連度に対応する数値を加算する。例えば、性別と年齢層と地域（大分類）と嗜好ジャンル（大分類）と嗜好ジャンル（中分類）と嗜好キーワードが２つ一致している場合のユーザ関連度は、０．１２＋０．１１＋０．０７＋０．０８＋０．０７＋０．０４＊２＝０．５３となる。一致する属性と加算するユーザ関連度はやはり視聴傾向から統計的に予め設定してある。このようにサービス事業者側で自動的に設定する場合は、ユーザが他者とのユーザ関連度を入力する負担が低減される。
【００８８】
（実施の形態２）
実施の形態１においては、ユーザ関連度はユーザや事業者が設定するか、ユーザと他者との年齢や性別や職業などのユーザ属性の類似性などに基づいて設定している。本実施の形態においては、視聴履歴に基づいてユーザ関連度を算出する場合について説明する。
【００８９】
図２４は本発明の実施の形態２に係る映像要約センター１２の構成を示す機能ブロック図である。
【００９０】
本実施の形態では、図３に示した実施の形態１の映像要約センター１２が図２４に示す映像要約センター２２に置き換わる。なお、図２４において、実施の形態１と同一構成要素には同一番号を付して説明を省略する。
【００９１】
映像要約センター２２は、映像要約センター１２の構成に加えて図２４に示すように関連度算出部２２０１を備えている。関連度算出部２２０１は、視聴履歴保持部１２０２が保持している視聴履歴に基づいてユーザ間のユーザ関連度を算出する。
【００９２】
以上のように構成された本実施の形態の映像要約システムの動作は、実施の形態１の「要約情報作成サブステップ」における番組映像の重要度算出処理（Ｓ１２１１）の前にユーザ関連度算出のステップが追加される。その動作について図２５のフローチャートなどを用いて以下に説明する。
【００９３】
関連度算出部２２０１は、視聴履歴保持部１２０２からユーザおよび他者の全視聴履歴を取り出す（Ｓ２２０１）。次に、関連度算出部２２０１は、ユーザと他者の視聴履歴に基づいて、他者ごとにユーザとのユーザ関連度を算出する（Ｓ２２０２）。すなわち、ユーザｕと他者ｔ（ｉ）が視聴した全番組映像から、Ｊａｃｃａｒｄの類似度を用いて次の式１のようにユーザ関連度ｓ（ｉ）を算出する。
【００９４】
ｓ（ｉ）＝ユーザｕと他者ｔ（ｉ）の共通の視聴映像の長さ／（ユーザｕの視聴映像の長さ＋他者ｔ（ｉ）の視聴映像の長さ−ユーザｕと他者ｔ（ｉ）の共通の視聴映像の長さ）・・・（式１）
【００９５】
これは、ユーザｕと他者ｔ（ｉ）の視聴映像の重なり具合を算出している。もし、ユーザｕと他者ｔ（ｉ）の視聴映像が全く同一であればユーザ関連度ｓ（ｉ）＝１となり、ユーザｕと他者ｔ（ｉ）の視聴映像に全く共通部分がなければユーザ関連度ｓ（ｉ）＝０となる。したがって、ユーザと他者ｔ（ｉ）とが共通の映像を視聴していればいるほど、ユーザ関連度ｓ（ｉ）は高くなる。例えば図２６に示すユーザＡと他者Ｂ、Ｃ、Ｄの視聴履歴から、その共通部分を見てみると、ユーザＡと他者Ｂとは共通部分が多く、他者Ｃとは全く共通部分がなく、他者Ｄとは少し共通部分がある。これを模式的に書くと図２７のようになる。ユーザと最もユーザ関連度が高いのは他者Ａである。
【００９６】
ユーザ関連度保持部１２０３は、関連度算出部２２０１によって算出されたユーザ関連度を保持しておく（Ｓ２２０３）。
【００９７】
以上の動作により、ユーザ関連度をユーザや事業者が設定したり、ユーザと他者との年齢や性別や職業などのユーザ属性の類似性などに基づいて設定することなく、視聴履歴に基づいてユーザ関連度を算出するので、ユーザや事業者の負担を小さくすることが可能となる。また、実際の視聴履歴に基づいているので、個々のユーザの嗜好に対してより精度の高い要約映像を得ることができるとともに、ユーザの嗜好の変化に伴う視聴傾向の変化に対し、要約映像も対応して作成することが可能となる。
【００９８】
なお、本実施の形態においては、ユーザ関連度の算出には全視聴履歴を用いているが、最近の視聴履歴など期間限定の視聴履歴であっても良い。その場合、最近の嗜好の傾向に即した要約映像を得ることができる。
【００９９】
また、本実施の形態においては、ユーザ関連度の算出には、視聴映像の共通度合いを用いているが、この映像を視聴した曜日や時間帯などの日時の類似性を加味して算出しても良い。嗜好の類似した視聴者同士は日時の類似性も現れるため、よりユーザの嗜好に合致した要約映像を得ることが可能となる。特に、週末や祝日しかテレビを閲覧しないユーザは、平日は会社などへ出勤しているユーザであることが多く、視聴スタイルが類似している場合が多い。そこで、休日に、平日に録画した映像を要約して閲覧する場合には、効果的な要約が可能になる。
【０１００】
また、ユーザ関連度の算出には、要約すべき映像と同一ジャンルの映像を視聴した履歴情報を利用することも可能である。例えば、野球のジャンルの映像（野球コンテンツ）を短い時間で視聴するために要約を行おうとした場合には、ユーザが以前に放送された野球コンテンツの視聴パターンと類似したユーザの視聴パターンを参照することで、よりユーザの嗜好にあった要約を実現することが可能になる。例えば、「半信−虚人戦」の野球コンテンツの要約を行う場合に、ユーザが「半信」ファンの場合には、以前の「半信−虚人戦」において、「半信」の攻撃のイニングを重点的に視聴していた傾向が強い。そこで、以前放送された「半信−虚人戦」において、「半信」の攻撃を重点的に視聴していたユーザ（「半信」ファン）の検索を行い、検索された「半信」ファンのユーザが、今回の「半信−虚人戦」の野球コンテンツをどのようなシーンを重点的に視聴したかの情報を用いることにより、よりユーザの嗜好にあった映像の要約が可能になる。以上のシステム構成は、図２４における関連度算出部２２０１において、要約情報作成部１２０５で要約される映像のジャンル情報を抽出し、このジャンルの映像を視聴していたユーザを検索し、前記検索されたユーザの視聴履歴とユーザの視聴履歴から、ユーザ関連度を計算することで実現する。これにより、よりユーザの嗜好にあった映像の要約が可能になる。
【０１０１】
また、ユーザ関連度の算出に、共通の視聴映像の長さを用いたが、共通の視聴映像のシーンの数や、共通の視聴した番組の数を用いても良い。その場合、計算量を減少させることが可能となる。
【０１０２】
（実施の形態３）
ところで、要約された映像を閲覧するユーザは、その映像に対して自らの時間の都合や興味によって、早送りやスロー再生を行うことがある。このとき、映像の要約情報の作成を毎回サーバ等の遠隔にある計算機を用いて行うと、通信コストがかかる場合がある。特に、モバイル端末等において、映像の要約を行う場合においては、無線ネットワークで常にサーバに安定して接続できているとは限らない。例えば、電車に乗車中において、目的の駅に到着するまでの時間を利用して映像を再生する場合において、要約された映像を閲覧中に、再生を止めたり、早送りを行ったりすると、再び、その調整された時間に応じて映像の要約を行う必要がある。一方で、電車に乗車中においては、トンネル内や山間を電車が通過しているときは、必ずしも安定した品質の通信が行えるとは限らない。
【０１０３】
そこで、本実施の形態においては、映像の要約情報をユーザのテレビ受信機１３で作成する場合について説明する。
【０１０４】
図２８は、本発明の実施の形態３に係る映像要約装置が用いられるシステムの構成を示す概略図である。図２９は視聴履歴収集センター３２の構成を示す機能ブロック図であり、図３０はユーザのテレビ受信機３３の構成を示す機能ブロック図である。
【０１０５】
本実施の形態では、図３に示した実施の形態１の映像要約センター１２が図２９に示す視聴履歴収集センター３２に、ユーザのテレビ受信機１３が図３０に示すユーザのテレビ受信機３３に置き換わる。なお、図２８〜図３０において、実施の形態１と同一構成要素には同一番号を付して説明を省略する。また、他者のテレビ受信機１１は、実施の形態１と同様の構成である。
【０１０６】
視聴履歴収集センター３２は、図２９に示すように、視聴履歴受信部１２０１、視聴履歴保持部１２０２、視聴履歴抽出部３２０１、および抽出視聴履歴送信部３２０２を備えている。視聴履歴抽出部３２０１は、視聴履歴保持部１２０２から映像要約に関わる視聴履歴を抽出する。抽出視聴履歴送信部３２０２は、視聴履歴抽出部３２０１が抽出した視聴履歴をユーザのテレビ受信機１３に送信する。
【０１０７】
ユーザのテレビ受信機３３は、図３０に示すように、視聴履歴受信部３３０１、要求受付部３３０２、視聴履歴保持部１２０２、ユーザ関連度保持部１２０３、重要度算出部１２０４、要約情報作成部１２０５、放送受信部１３０３、録画部１３０４、映像要約部１３０５、および表示部１３０６を備えている。視聴履歴受信部３３０１は、視聴履歴収集センター３２から映像要約に関わる視聴履歴を受信する。要求受付部３３０２は、要約情報の作成を行う番組を示す番組ＩＤおよび要約映像の長さとともに番組映像の要約要求を受け付ける。
【０１０８】
以上のように構成された本実施の形態の映像要約システムの動作は、他者のテレビ受信機１１が視聴履歴を収集し視聴履歴収集センター３２に送信する「視聴履歴送信ステップ」、視聴履歴収集センター３２が蓄積した他者の視聴履歴から映像要約に関わる視聴履歴を抽出してユーザのテレビ受信機に送信する「視聴履歴収集ステップ」、ユーザのテレビ受信機１３が視聴履歴に基づいて要約映像を作成する「要約映像作成ステップ」とからなる。なお、「視聴履歴送信ステップ」は実施の形態１と同様なので説明を省略する。
【０１０９】
「視聴履歴収集ステップ」は、さらに「視聴履歴蓄積サブステップ」と「視聴履歴抽出送信サブステップ」とからなる。「視聴履歴蓄積サブステップ」は実施の形態１と同様なので説明を省略し、「視聴履歴抽出送信サブステップ」の動作について説明する。
【０１１０】
「視聴履歴抽出送信サブステップ」
視聴履歴抽出部３２０１は、ユーザから番組映像の視聴履歴の取得要求があった場合、ユーザのテレビ受信機１３からユーザ関連度保持部１２０３がユーザ関連度を保持している全他者のユーザＩＤを受信する。次に、蓄積された視聴履歴から、ユーザＩＤを受信した全他者のうち、当該番組映像を視聴した全他者の全視聴履歴を抽出する。
【０１１１】
抽出視聴履歴送信部３２０２は、視聴履歴抽出部３２０１が抽出した視聴履歴をインターネット１５を介してユーザのテレビ受信機３３に送信する。
【０１１２】
「要約映像作成ステップ」は、さらに「番組録画サブステップ」と「要約映像作成再生サブステップ」とからなる。「番組録画サブステップ」は実施の形態１と同様なので説明を省略し、「要約映像作成再生サブステップ」の動作について説明する。
【０１１３】
「要約映像作成再生サブステップ」
重要度算出部１３０４が重要度を算出し、要約情報作成部が要約情報を作成するまでは、実施の形態１の映像要約センター１２における番組映像の重要度算出処理（Ｓ１２１１）から要約情報の作成処理（Ｓ１２１２）までと同様である。次に、映像要約部１３０５が要約映像を作成し、表示部１３０６が要約映像の再生を終了するまでは、実施の形態１のユーザのテレビ受信機１３における要約映像の取り出し開始処理（Ｓ１３１３）から要約映像の表示終了処理（Ｓ１３１６）までと同様である。
【０１１４】
以上の動作により、映像の要約情報をユーザのテレビ受信機３３で作成する構成としても、実施の形態１と同様に、個々のユーザの嗜好に合った要約映像を得ることが可能であり、実施の形態１に比べて集中処理の負荷を軽減することも可能となる。
【０１１５】
また、ユーザの要求する要約映像の長さを変更する場合は、実施の形態１では、映像要約センター１２に映像要約の再要求を行って要約情報を再度取得する必要があり、そのための通信時間が発生したり、携帯端末での視聴時で通信ができない状態などの場合は、再要求ができなかったりするが、本実施の形態では、ユーザのテレビ受信機３３だけで、要約映像の長さの変更が可能となる。例えば、ユーザが要約映像の再生途中で、一時停止したり早送りしたりなどの操作を行った場合、当初ユーザが要求した長さに合うように、そこからの要約映像を再計算しても良い。具体的には、ユーザが電車に乗っている時間の３０分間で要約映像を見たいと思い、３０分間の要約映像を要求して、それを視聴していたとする。１０分間見た時点で、重要なメールが来たために、視聴を停止して、その返事を書くために５分間費やしたとする。この場合、当初の要約映像は２０分間残っているが、乗車時間は残り１５分しか残っていない。そこで、ユーザのテレビ受信機３３では、閾値を調整しなおすことで、視聴済みの部分を除いた映像から１５分間の要約映像を再度作成する。これにより、途中で５分間の中断があっても、当初の要求どおり３０分の乗車時間で要約映像を視聴し終えることが可能となる。
【０１１６】
（実施の形態４）
実施の形態３においては、視聴履歴は視聴履歴収集センター３２で収集している。本実施の形態においては、視聴履歴収集センターを用いない場合について説明する。
【０１１７】
図３１は、本発明の実施の形態４に係る映像要約装置が用いられるシステムの構成を示す概略図である。図３２はユーザのテレビ受信機４３の構成を示す機能ブロック図である。
【０１１８】
本実施の形態では、図３に示した実施の形態１の映像要約センター１２がなくなり、ユーザのテレビ受信機１３が図３２に示すユーザのテレビ受信機４３に置き換わる。なお、図３１、図３２において、実施の形態１、３と同一構成要素には同一番号を付して説明を省略する。また、他者のテレビ受信機１１は、実施の形態１と同様の構成である。
【０１１９】
ユーザのテレビ受信機４３は、図３２に示すように、視聴履歴受信部３３０１、視聴履歴保持部１２０２、ユーザ関連度保持部１２０３、重要度算出部１２０４、要約情報作成部１２０５、放送受信部１３０３、録画部１３０４、映像要約部１３０５、表示部１３０６、視聴履歴保持部１１０４、および視聴履歴送信部１１０５を備えている。
【０１２０】
以上のように構成された本実施の形態の映像要約システムの動作は、他者のテレビ受信機１１が視聴履歴を収集しユーザのテレビ受信機１３に送信する「視聴履歴送信ステップ」、ユーザのテレビ受信機１３が視聴履歴に基づいて要約映像を作成する「要約映像作成ステップ」とからなる。
【０１２１】
「視聴履歴送信ステップ」の動作は、実施の形態１とほぼ同様であるが、相違点は次のとおりである。視聴履歴の送信先が映像要約センター１２ではなくユーザのテレビ受信機１３であること。視聴履歴の送信後に視聴履歴を削除せず保持し続けることである。視聴履歴は、所定の期間の経過後や、他者の要求操作などにより削除される。
【０１２２】
「要約映像作成ステップ」の動作は、実施の形態３とほぼ同様であるが、相違点は次のとおりである。視聴履歴の取得を視聴履歴収集センター３２から行うのではなく、ユーザ関連度保持部１２０３がユーザ関連度を保持している他者のテレビ受信機１１から行うことである。
【０１２３】
以上の動作により、実施の形態３と同様に、映像にメタデータを付与することなく、かつ、個々のユーザの嗜好に合った要約映像を得ることが可能となる。本実施の形態においては、視聴履歴収集センターを用いないため、このセンターの維持コストが不要になる。
【０１２４】
なお、図３２において、視聴履歴保持部１１０４と視聴履歴送信部１１０５とを備えることで、ユーザのテレビ受信機１３から他者のテレビ受信機１１に視聴履歴を送信できるようにして、視聴履歴を相互に利用可能にすることもできる。その場合、他者もユーザと同様に要約映像を作成することが可能となる。
【０１２５】
（実施の形態５）
実施の形態１においては、テレビ番組の要約映像を作成する場合について説明している。本実施の形態においては、要約対象の映像がＤＶＤ（Digital Versatile Disk）やテープなどのビデオパッケージメディアや、ストリームやダウンロードなどのネットワークメディアにより供給される場合の例を説明する。
【０１２６】
図３３は、本発明の実施の形態５に係る映像要約装置が用いられるシステムの構成を示す概略図である。図３４は他者の映像再生機５１の構成を示す機能ブロック図であり、図３５はユーザの映像再生機５３の構成を示す機能ブロック図である。
【０１２７】
本実施の形態では、図２に示した実施の形態１の他者のテレビ受信機１１が図３４に示す他者の映像再生機５１に、図３に示した実施の形態１のユーザのテレビ受信機１３が図３５に示すユーザの映像再生機５３に置き換わる。なお、図３３〜図３５において、実施の形態１と同一構成要素には同一番号を付して説明を省略する。また、映像要約センター１２は、実施の形態１と同様の構成である。
【０１２８】
他者の映像再生機５１は、図３４に示すように、映像取得部５１０１、表示部１１０３、視聴履歴保持部１１０４、および視聴履歴送信部１１０５を備えている。映像取得部５１０１は、ビデオパッケージメディアやネットワークメディア等の映像メディアから映像を取得する。
【０１２９】
ユーザの映像再生機５３は、図３２に示すように、要約情報受信部１３０１、要約情報保持部１３０２、映像取得部５３０１、映像要約部１３０５、および表示部１３０６を備えている。映像取得部５３０１は、ビデオパッケージメディアやネットワークメディア等の映像メディアから映像を取得する。
【０１３０】
以上のように構成された本実施の形態の映像要約システムの動作は、実施の形態１とほぼ同様であるが、相違点は番組ＩＤに換わりメディアの映像ＩＤで映像を識別することである。
【０１３１】
以上の動作により、パッケージメディアやネットワークメディアにおいても、映像にメタデータを付与することなく、かつ、個々のユーザの嗜好に合った要約映像を得ることが可能となる。
【０１３２】
（実施の形態６）
実施の形態３においては、視聴履歴がインターネットを媒体として収集される場合について説明している。本実施の形態においては、視聴履歴がパッケージメディアを媒体として収集される場合の例を説明する。
【０１３３】
図３６は、本発明の実施の形態６に係る映像要約装置が用いられるシステムの構成を示す概略図である。図３７はユーザの映像再生機６３の構成を示す機能ブロック図であり、図３８はレンタル店６２の構成を示す機能ブロック図である。なお、図３６〜図３８において、実施の形態３、５と同一構成要素には同一番号を付して説明を省略する。また、他者の映像再生機５１は、実施の形態５と同様の構成である。
【０１３４】
ユーザの映像再生機６３は、図３７に示すように、視聴履歴読み取り部６３０１、視聴履歴保持部１２０２、ユーザ関連度保持部１２０３、重要度算出部１２０４、要約情報作成部１２０５、映像取得部５３０１、映像要約部１３０５、表示部１３０６、および視聴履歴書き込み部６３０２を備えている。視聴履歴読み取り部６３０１は、パッケージメディアＰＭから視聴履歴を読み取る。視聴履歴書き込み部６３０２は、表示部１３０６で表示を行った視聴履歴をパッケージメディアＰＭに書き込む。
【０１３５】
レンタル店６２は、図３８に示すように、視聴履歴読み取り部６２０１、視聴履歴保持部１２０２、および視聴履歴書き込み部６２０２を備えている。視聴履歴読み取り部６２０１は、パッケージメディアＰＭから視聴履歴を読み取る。視聴履歴書き込み部６２０２は、視聴履歴保持部１２０２で保持されている視聴履歴をパッケージメディアＰＭに書き込む。
【０１３６】
視聴履歴は、図３９（ａ）に示すように、パッケージメディアＰＭ自体の記録領域ＰＭ０１に記録される。または、パッケージメディア自体が書き込み不能な場合などは、図３９（ｂ）に示すように、パッケージのケースに記録用メディアＰＭ０２を設け、そこに記録することも可能である。
【０１３７】
以上のように構成された本実施の形態の映像要約装置の動作は、実施の形態３とほぼ同様であるが、相違点は、実施の形態３ではネットワークを通じて視聴履歴の送受信を行っていたのに対して、視聴履歴がパッケージメディアを媒体として収集されることである。
【０１３８】
ユーザの映像再生機６３において、まず視聴履歴読み取り部６３０１はメディアに記録されている視聴履歴を読み取る。読み取った視聴履歴を用いて要約映像を作成する動作は、実施の形態３と同様である。その後、視聴履歴書き込み部６３０２は、ユーザのこのパッケージメディアの視聴履歴をメディアに書き込む。
【０１３９】
レンタル店６２において、視聴履歴読み取り部６２０１は、返却されたパッケージメディアＰＭに記録された視聴履歴を読み出す。視聴履歴保持部１２０２は、実施の形態３と同様に読み出された視聴履歴を追加蓄積する。視聴履歴書き込み部６２０２は、パッケージメディアＰＭが貸し出される際に、視聴履歴保持部１２０２が保持している視聴履歴をパッケージメディアＰＭに書き込む。この動作により、このレンタル店６２において、レンタルされたパッケージメディア視聴者の全視聴履歴がこのパッケージメディアＰＭに記録される。
【０１４０】
以上の動作により、視聴履歴がパッケージメディアを通じてレンタル店に蓄積され、蓄積された視聴履歴がパッケージメディアに記録され、それに基づいて映像を要約することで、通信により視聴履歴を送信することなく、映像にメタデータを付与することなく、かつ、個々のユーザの嗜好に合った要約映像を得ることが可能となる。
【０１４１】
また、パッケージメディアに視聴履歴を記録することで、視聴履歴はパッケージメディアの物理的移動による依存性が出てくる。例えば、同一レンタル店のパッケージメディアには近隣の居住者の視聴履歴が記録されがちである。このため、視聴履歴にユーザと同一の地域コミュニティの社会層や地域性の傾向が出るため、よりユーザの嗜好に合致した要約映像を得ることが可能である。例えば、野球やサッカーにおいては、地域に本拠地をおくチームが存在し、その地域においては同一のチームを好んでいる場合が多い。そのため、同一地域でのユーザの視聴履歴を利用して要約映像を生成することは有効である。
【０１４２】
なお、本実施の形態では、レンタル店６２では視聴履歴の収集のみを行ったが、実施の形態５と同様に、レンタル店６２において貸し出し先のユーザに合わせて要約映像を作成して、それをパッケージメディアに記録して貸し出すことも可能である。
【０１４３】
また、本実施の形態では、他者の視聴履歴のみを映像要約に用いたが、ユーザ自身の視聴履歴を用いる構成としても構わない。この場合、ユーザが同一のパッケージメディアの映像を繰り返して再生する場合に、映像の要約が可能である。これはレンタルされたパッケージメディアだけでなく、ユーザがムービーなどを用いて録画した映像に対しても適用可能である。
【０１４４】
（実施の形態７）
実施の形態１においては、視聴の有無を視聴履歴とする場合について説明している。本実施の形態においては、視聴の有無ではなく、視聴時の映像への注目度を表す視聴程度という概念を導入した場合の例を説明する。
【０１４５】
図４０は他者のテレビ受信機７１の構成を示す機能ブロック図であり、図４１は映像要約センター７２の構成を示す機能ブロック図である。本実施の形態のシステム構成は図１に示す実施の形態１と同様であり、図２に示した実施の形態１の他者のテレビ受信機１１が図４０に示す他者のテレビ受信機７１に、図３に示した実施の形態１の映像要約センター１２が図４１に示す映像要約センター７２に置き換わる。なお、図４０、図４１において、実施の形態１と同一構成要素には同一番号を付して説明を省略する。
【０１４６】
他者のテレビ受信機７１は、図４０に示すように、放送受信部１１０１、録画部１１０２、表示部１１０３、視聴状況検出部７１０１、視聴程度算出部７１０２、視聴程度保持部７１０３、および視聴程度送信部７１０４を備えている。
【０１４７】
視聴状況検出部７１０１は、他者のテレビ番組の視聴状況を検出する。視聴程度算出部７１０２は、視聴状況検出部７１０１が検出した視聴状況から視聴程度を算出する。視聴程度保持部７１０３は、表示部１１０３が表示した番組映像について、視聴程度算出部７１０２が算出した他者の視聴程度を一時的に保持する。視聴程度送信部７１０４は、視聴程度保持部７１０３が保持している視聴程度をインターネット１５を介して映像要約センター７２に送信する。
【０１４８】
映像要約センター７２は、図４１に示すように視聴程度受信部７２０１、視聴程度保持部７２０２、ユーザ関連度保持部１２０３、要求受付部１２０８、重要度算出部７２０３、要約情報作成部１２０５、要約情報保持部１２０６、および、要約情報送信部１２０７を備えている。
【０１４９】
視聴程度受信部７２０１は、インターネット１５を介して他者のテレビ受信機７１から視聴程度を受信する。視聴程度保持部７２０２は、視聴程度受信部７２０１が受信した視聴程度を蓄積し保持する。重要度算出部７２０３は、視聴程度保持部７２０２が保持している視聴程度とユーザ関連度保持部１２０３が保持しているユーザ関連度とに基づいて、番組映像の時系列的な重要度を算出する。
【０１５０】
ここでの視聴程度とは、時系列的に変化する、番組映像の視聴の集中度合を表す。例えば、テレビの音量調節が大きいほど、ユーザが番組を注視している可能性が高いため、視聴程度が大きい。また、テレビのチャンネルを頻繁に変更するユーザ操作（ザッピング）が多いほど、視聴している番組だけでなく他の番組も気になっているため、視聴程度が小さい。また、２画面以上を同時に視聴できるテレビにおいて２画面以上で視聴している場合は、視聴程度が小さい。また、双方向テレビで番組に対して何らかのリアクション操作を行っているほうが視聴程度が大きい。また、放送時に見ているよりも録画してから視聴するほうが視聴程度が大きい。また、録画した番組の場合、高速再生している部分は視聴程度が小さい。また、録画した番組の１度目の再生よりも２度目以降の再生の方が視聴程度が大きい、小画面（ポータブルテレビや携帯電話など）での視聴より大画面テレビの方が視聴程度が大きい。また、番組視聴の前後の時間に同一チャンネルのまま視聴をした場合は、単にテレビを付けていただけという可能性が高いため、視聴程度が小さい。また、録画した番組の場合、録画してからの経過時間が長い視聴は、あまり重要でなかった可能性が高いため、視聴程度が小さい。
【０１５１】
以上のように構成された本実施の形態の他者のテレビ受信機７１の動作は、実施の形態１とほぼ同様であるが、差異は、映像表示中の時間に応じた視聴程度を算出することである。
【０１５２】
視聴状況検出部７１０１は、音量調節、チャンネル変更操作、映像が録画であるかどうか、録画映像の再生速度、録画映像の再生回数、録画後の経過時間、テレビ端末の種別など、他社のテレビ受信機７１自体で検出可能な特性、映像の状態、視聴時の操作を検出する。
【０１５３】
視聴程度算出部７１０２は、上述したような視聴状況と視聴程度との関連のルールを例えば図４２に示すようなテーブルとして保持しており、そのテーブルに基づいて視聴状況に応じた視聴程度を加算する等して、他者が視聴しているテレビ映像の視聴程度を算出する。視聴程度は０〜１の範囲の実数値として数値化される。
【０１５４】
この結果、他者のテレビ受信機７１では実施の形態１での図５と図７とフローチャートと同様の動作の結果、図１０に示した視聴履歴が視聴の有無だけを取得していたのに対して、図４３に示すように、時系列に数値化された視聴程度が得られる。
【０１５５】
映像要約センター１２では実施の形態１での図１１のフローチャートと同様の動作を行うが、重要度算出部７２０３は、視聴のある部分に対してユーザ関連度の合計を求めていたのに対して、視聴のある部分に対して視聴程度とユーザ関連度の積を求め、その合計を求めることにより時系列的な重要度を得る。得られる時系列的な重要度は実施の形態１と同様に図１４に示すような重要度となる。
【０１５６】
ユーザのテレビ受信機１３の動作は、実施の形態１と同様であるので説明を省略する。
【０１５７】
以上の動作により、他者の視聴履歴として、視聴の有無だけでなく集中度合いを考慮することで、映像にメタデータを付与することなく、かつ、より精度良く個々のユーザの嗜好に合った要約映像を得ることが可能となる。
【０１５８】
（実施の形態８）
実施の形態１においては、他者の視聴の有無に基づいて映像要約情報を作成する場合について説明している。そこでは、他者の視聴履歴は有無だけを考慮しているが、他者のテレビ受信機には要約して視聴しやすい端末もあれば、しにくい端末もある。例えば、携帯電話では、端末の処理性能や操作性により、要約のためのスキップ機能が限られていたりする。逆に、ハードディスクレコーダなどは、様々なスキップ機能や、再生速度可変機能、インデクス検出機能など、要約して視聴しやすい機能を有している。要約しやすい端末での視聴履歴は、要約映像を作成する上で、要約しにくい端末での視聴履歴よりも、より有効であると考えられる。そこで、本実施の形態においては、視聴の有無だけでなく、他者の視聴端末が有する再生機能をも考慮して映像要約情報を作成する例を説明する。
【０１５９】
図４７は他者のテレビ受信機８１の構成を示す機能ブロック図であり、図４８は映像要約センター８２の構成を示す機能ブロック図である。本実施の形態のシステム構成は、図１に示す実施の形態１と同様であり、図２に示した実施の形態１の他者のテレビ受信機１１が図４７に示す他者のテレビ受信機８１に、図３に示した実施の形態１の映像要約センター１２が図４８に示す映像要約センター８２に置き換わる。なお、図４７、図４８において、実施の形態１と同一構成要素には同一番号を付して説明を省略する。
【０１６０】
他者のテレビ受信機８１は、図４７に示すように、放送受信部１１０１、録画部１１０２、表示部１１０３、視聴履歴保持部１１０４、視聴履歴送信部１１０５、および再生機能送信部８１０６を備えている。
【０１６１】
再生機能送信部８１０６は、他者のテレビ受信機８１が有する再生に係わる機能の情報（つまり、他者のテレビ受信機８１が有する再生機能を示す情報）を送信する。具体的には、再生に係わる機能とは、「３０秒スキップ機能」、「１０倍早送り機能」、「番組インデクス表示機能」など、通常に再生する機能以外の再生に係わる機能を指す。
【０１６２】
映像要約センター８２は、図４８に示すように、視聴履歴受信部１２０１、視聴履歴保持部１２０２、ユーザ関連度保持部１２０３、視聴端末情報受信部８２０１、要約適用度算出部８２０２、要約適用度保持部８２０３、要求受付部１２０８、重要度算出部１２０４、要約情報作成部１２０５、要約情報保持部１２０６、要約情報送信部１２０７を備えている。
【０１６３】
視聴端末情報受信部８２０１は、ユーザの視聴端末の再生操作に係わる機能を取得する処理部であり、具体的には、他者のテレビ受信機８１の再生機能送信部８１０６から送信されてくる、再生に係わる機能を示す情報を受信する。
【０１６４】
要約適用度算出部８２０２は、視聴端末情報受信部８２０１によって受信された情報が示す再生操作に係わる機能と予め関連付けられた点数とを照合して、視聴端末の要約に適した度合いを表す要約適用度を算出する処理部である。
【０１６５】
要約適用度保持部８２０３は、要約適用度算出部８２０２によって算出された要約適用度を保持する記憶部である。
【０１６６】
重要度算出部８２０４は、視聴履歴保持部１２０２に保持された視聴履歴の中の他のユーザにより視聴された時間帯を、ユーザ関連度保持部１２０３に保持された他のユーザ毎のユーザ関連度と、要約適用度保持部８２０３に保持された視聴端末の要約適用度とで重み付けすることによって、対象映像内の時間毎の重要度を算出する。
【０１６７】
次に、本実施の形態における映像要約システムの動作について説明するが、視聴履歴受信部１２０１が他者の視聴履歴を受信し、視聴履歴保持部１２０２が視聴履歴を保持する処理までは、実施の形態１の図８と同様なので説明を省略する。
【０１６８】
ここからの動作で実施の形態１と異なる部分について図５０のフローチャートを用いて説明する。視聴端末情報受信部８２０１は、他者のテレビ受信機８１から、再生に係わる機能の情報を受信する（Ｓ８１０１）。
【０１６９】
要約適用度算出部８２０２は、再生に係わる機能と、その機能の要約再生をするための効用を表す要約適用度加点との関係を内部に記憶している。記憶している関係の一例を図４９に示す。要約適用度算出部８２０２は、図４９に示される関係を参照することで、視聴端末情報受信部８２０１が受信した他者のテレビ受信機８１の再生に係わる機能の要約適用度加点を参照する（Ｓ８１０２）。そして、要約適用度算出部８２０２は、他者のテレビ受信機８１の機能の数だけ、参照した要約適用度加点を加算することで要約適用度を算出する（Ｓ８１０３）。さらに、要約適用度算出部８２０２は、第１の実施例の図９に示す視聴履歴と対応付けて要約適用度を要約適用度保持部８２０３に保持させる。
【０１７０】
重要度算出部８２０４は、視聴履歴保持部１２０２が保持している視聴履歴とユーザ関連度保持部１２０３が保持しているユーザ関連度と、要約適用度保持部８２０３が保持している要約適用度とに基づいて、番組映像の時系列的な重要度を算出する（Ｓ８１０５）。ここで、重要度の算出方法は、基本的には第１の実施の形態と同様であるが、第１の実施の形態では他者が視聴した部分のユーザ関連度を積算したが、本実施の形態では、他者が視聴した部分のユーザ関連度に、さらに要約適用度を乗算して積算するところが異なる。
【０１７１】
重要度の算出以降の動作は、実施の形態１と同様であるので説明を省略する。
【０１７２】
以上の動作により、他者の視聴の有無だけでなく、他者の視聴端末の再生機能をも考慮することにより、映像にメタデータを付与することなく、より精度よく個々のユーザの嗜好に合った要約映像を得ることが可能となる。特に、ニュースやバラエティなど、視聴する端末の性能にばらつきが大きいような番組には効果的である。
【０１７３】
（実施の形態９）
実施の形態８においては、他者の視聴の有無のみならず、他者の視聴端末が有する再生機能をも考慮して映像要約情報を作成する例を説明している。しかし、他者が視聴端末の再生機能を要約に活用している場合もあれば、そうでない場合もある。そこで、本実施の形態においては、他者の視聴端末の再生機能の利用度をも考慮して映像要約情報を作成する例を説明する。
【０１７４】
図５１は他者のテレビ受信機９１の構成を示す機能ブロック図であり、図５２は映像要約センター９２の構成を示す機能ブロック図である。本実施の形態のシステム構成は、図１に示す実施の形態１と同様であり、図２に示した実施の形態１の他者のテレビ受信機１１が図５１に示す他者のテレビ受信機９１に、図３に示した実施の形態１の映像要約センター１２が図５２に示す映像要約センター９２に置き換わる。なお、図５１、図５２において、実施の形態１と同一構成要素には同一番号を付して説明を省略する。
【０１７５】
他者のテレビ受信機９１は、図５１に示すように、放送受信部１１０１、録画部１１０２、表示部１１０３、視聴履歴保持部１１０４、視聴履歴送信部１１０５、および再生利用送信部９１０６を備えている。
【０１７６】
再生利用送信部９１０６は、他者のテレビ受信機８１で他者が利用した再生に係わる機能の情報（つまり、他者のテレビ受信機８１が有する再生機能のうち、他者が利用した再生機能を示す情報）を送信する。
【０１７７】
映像要約センター９２は、図５２に示すように、視聴履歴受信部１２０１、視聴履歴保持部１２０２、ユーザ関連度保持部１２０３、視聴端末利用受信部９２０１、要約利用度算出部９２０２、要約利用度保持部９２０３、要求受付部１２０８、重要度算出部１２０４、要約情報作成部１２０５、要約情報保持部１２０６、要約情報送信部１２０７を備えている。
【０１７８】
視聴端末利用受信部９２０１は、ユーザの視聴端末の再生操作に係わる機能の利用の有無を取得する処理部であり、具体的には、他者のテレビ受信機９１の再生利用送信部９１０６から送信されてくる他者が利用した再生に係わる機能を示す情報を受信する。
【０１７９】
要約利用度算出部９２０２は、視聴端末利用受信部９２０１によって受信された情報が示す再生に係わる機能の利用の有無と、再生操作に係わる機能と予め関連付けられた点数とを照合して、当該ユーザが映像を要約して再生している度合いを表す要約適用度を算出する処理部である。
【０１８０】
要約利用度保持部９２０３は、要約利用度算出部９２０２によって算出された要約適用度を保持する記憶部である。
【０１８１】
重要度算出部９２０４は、視聴履歴保持部１２０２に保持された視聴履歴の中の他のユーザにより視聴された時間帯を、ユーザ関連度保持部１２０３に保持された他のユーザ毎のユーザ関連度と、要約利用度保持部９２０３に保持された視聴端末の要約利用度とで重み付けすることによって、対象映像内の時間毎の重要度を算出する。
【０１８２】
次に、本実施の形態における映像要約システムの動作について説明するが、視聴履歴受信部１２０１が他者の視聴履歴を受信し、視聴履歴保持部１２０２が視聴履歴を保持する処理までは、実施の形態１の図８と同様なので説明を省略する。
【０１８３】
ここからの動作で実施の形態１と異なる部分について図５３のフローチャートを用いて説明する。視聴端末利用受信部９２０１は、他者のテレビ受信機８１から、再生に係わる機能の利用の情報を受信する（Ｓ９１０１）。
【０１８４】
要約利用度算出部９２０２は、視聴端末利用受信部９２０１が受信した他者のテレビ受信機８１の再生に係わる機能を利用したことがあるか、ないかを記憶しておく（Ｓ９１０２）。この要約利用度算出部９２０２は、再生に係わる機能と、その機能の要約再生をするための効用を表す要約適用度加点との関係を内部に記憶している。記憶している関係の一例を図４９に示す。要約利用度算出部９２０２は、図４９に示される関係を参照することで、内部に記憶している他者のテレビ受信機８１の再生に係わる機能のうち利用した機能の要約適用度加点を参照し、利用した機能の数だけ、参照した要約適用度加点を加算することで要約利用度を算出する（Ｓ９１０３）。さらに、要約利用度算出部９２０２は、第１の実施例の図９に示す視聴履歴と対応付けて、要約利用度を要約利用度保持部９２０３に保持させる。
【０１８５】
重要度算出部９２０４は、視聴履歴保持部１２０２が保持している視聴履歴とユーザ関連度保持部１２０３が保持しているユーザ関連度と、要約利用度保持部９２０３が保持している要約利用度とに基づいて、番組映像の時系列的な重要度を算出する（Ｓ９１０５）。
【０１８６】
重要度の算出方法は、実施の形態８における「要約適用度」を「要約利用度」に置き換えることと同様であるので説明を省略する。
【０１８７】
重要度の算出以降の動作は、実施の形態１と同様であるので説明を省略する。
【０１８８】
以上の動作により、他者の視聴の有無だけでなく、他者の視聴端末の再生機能の利用の有無をも考慮することにより、映像にメタデータを付与することなく、より精度よく個々のユーザの嗜好に合った要約映像を得ることが可能となる。特に、ハードディスクレコーダなどの家庭用録画機器など、再生機能が充実しているが機能を使う人と使わない人のばらつきが大きい場合には効果的である。
【０１８９】
（実施の形態１０）
実施の形態１においては、他者の視聴の有無に基づいて映像要約情報を作成する場合について説明している。そこでは、他者の視聴履歴の有無だけを考慮しているが、要約して映像を見ることに慣れ親しんでいる他者もいれば、そうでない他者もいる。例えば、ニュースやバラエティ番組では、放送時刻と番組内コーナーの関係は大体決まっているので、要約に慣れ親しんでいるユーザは、番組の内容をより熟知していると考えられる。したがって、要約して映像を見ることに慣れ親しんでいる他者の視聴履歴を用いるほうが、要約映像を作成する上で、より有効であると考えられる。また、録画した番組などを２回目以降に視聴する場合、前回視聴した時からの経過時間が短いほうが、番組内容をより覚えていると考えられるので、そのような他者の視聴履歴を用いるほうが、要約映像を作成する上で、より有効であると考えられる。そこで、本実施の形態においては、視聴の有無だけではなく、他者の要約熟練度をも考慮して映像要約情報を作成する例を説明する。
【０１９０】
図５４は映像要約センター１０２の構成を示す機能ブロック図である。本実施の形態のシステム構成は、図１に示す実施の形態１と同様であり、図３に示した実施の形態１の映像要約センター１２が図５４に示す映像要約センター１０２に置き換わる。なお、図５４において、実施の形態１と同一構成要素には同一番号を付して説明を省略する。
【０１９１】
映像要約センター１０２は、図５４に示すように、視聴履歴受信部１２０１、視聴履歴保持部１２０２、要約熟練度算出部１０２０１、要約熟練度保持部１０２０２、ユーザ関連度保持部１２０３、要求受付部１２０８、重要度算出部１２０４、要約情報作成部１２０５、要約情報保持部１２０６、要約情報送信部１２０７を備えている。
【０１９２】
要約熟練度算出部１０２０１は、視聴履歴保持部１２０２に保持された視聴履歴に基づいて、対象映像と同一シリーズの映像をユーザが要約して見る熟練度合いを表す要約熟練度を、ユーザが視聴した時間と番組の時間との割合として、算出する処理部である。なお、要約熟練度算出部１０２０１は、視聴履歴保持部１２０２に保持された視聴履歴に基づいて、ユーザが映像を要約して見る熟練度合いを表す要約熟練度を、該映像を２回目以降視聴するときは前回視聴してからの経過時間が短いほど高くなるように、算出する。
【０１９３】
要約熟練度保持部１０２０２は、要約熟練度算出部１０２０１によって算出された要約熟練度を保持する記憶部である。
【０１９４】
重要度算出部１０２０４は、視聴履歴保持部１２０２に保持された視聴履歴の中の他のユーザにより視聴された時間帯を、ユーザ関連度保持部１２０３に保持された他のユーザ毎のユーザ関連度と、要約熟練度保持部１０２０２に保持された他のユーザ毎の要約熟練度とで重み付けすることによって、対象映像内の時間毎の重要度を算出する。
【０１９５】
次に、本実施の形態における映像要約システムの動作について説明するが、視聴履歴受信部１２０１が他者の視聴履歴を受信し、視聴履歴保持部１２０２が視聴履歴を保持する処理までは、実施の形態１の図８と同様なので説明を省略する。
【０１９６】
ここからの動作で実施の形態１と異なる部分について図５５のフローチャートを用いて説明する。要約熟練度算出部１０２０１は、視聴履歴保持部１２０１から、おのおのの他者の視聴履歴を取り出し、ユーザの要約対象番組と同一番組の視聴履歴があるかどうかを調べる（Ｓ１０２０１）。視聴履歴がない場合、当該他者はユーザの要約要求番組の要約に寄与しないので、熟練度を求めず、熟練度保持部にも何も記憶しない。視聴履歴がある場合、要約熟練度算出部１０２０１は、さらに、ユーザの要約要求番組と同一シリーズの番組の視聴履歴があるかどうかを調べる（Ｓ１０２０２）。ここで同一シリーズの番組とは、同一のシリーズＩＤを付与してある番組や、同一のシリーズタイトルを付与してある番組を指す。また、番組名や、曜日、チャンネル、時間帯から同一シリーズであるかを判断しても良い。同一シリーズの視聴履歴がある場合、要約熟練度算出部１０２０１は、そのシリーズの全番組の視聴履歴について、当該他者の要約熟練度を算出し、要約熟練度保持部１０２０２に保持させる（Ｓ１０２０３）。ここで要約熟練度とは、番組を視聴した時間の番組の長さに対する割合に依存する値であり、例えば、１−（その番組を視聴した時間）／（その番組全体の時間）である。よって、当該シリーズの要約熟練度とは、当該シリーズの全番組についての要約熟練度の平均値である。
【０１９７】
一方、同一シリーズの視聴履歴がない場合、要約熟練度算出部１０２０１は、当該他者の要約対象番組の前回の視聴からの経過時間に応じて減少するように、全番組を対象として、要約熟練度を算出し、要約熟練度保持部１０２０２に保持させる（Ｓ１０２０４）。
【０１９８】
重要度算出部１０２０４は、視聴履歴保持部１２０２が保持している視聴履歴とユーザ関連度保持部１２０３が保持しているユーザ関連度と、要約熟練度保持部１０２０２が保持している要約熟練度とに基づいて、番組映像の時系列的な重要度を算出する（Ｓ１０２０５）。
【０１９９】
重要度の算出方法は、基本的には第１の実施の形態と同様であるが、第１の実施の形態では他者が視聴した部分のユーザ関連度を積算したが、本実施の形態では、他者が視聴した部分のユーザ関連度に、さらに要約熟練度を乗算して積算するところが異なる。
【０２００】
重要度の算出以降の動作は、実施の形態１と同様であるので説明を省略する。
【０２０１】
以上の動作により、他者の視聴の有無だけでなく、他者の番組のシリーズ、あるいは、全番組に対する要約の熟練度合いをも考慮することにより、映像にメタデータを付与することなく、より精度よく個々のユーザの嗜好に合った要約映像を得ることが可能となる。特に、他者がシリーズとなっている番組や、同一番組を複数回視聴している場合に効果的である。
【０２０２】
（実施の形態１１）
実施の形態３においては、要約映像再生中に早送りを行ったり、一時停止をしたりした場合にも、要求した長さの要約映像を得るために、ユーザの端末側で要約情報を作成する例について説明している。しかし、ユーザの端末がモバイル端末など、処理能力に乏しい場合など、端末側で要約情報を作成するために時間がかかったり、電池を消耗したりするという問題点もある。そこで、本実施の形態においては、映像要約センターで複数の長さの映像要約情報を作成し、ユーザの端末でそれを補間することにより、ユーザ端末の負担が少なく、要約時間の変更を行える例を説明する。
【０２０３】
図５６は映像要約センター１１２の構成を示す機能ブロック図であり、図５７はユーザのテレビ受信機の構成を示す機能ブロック図である。本実施の形態のシステム構成は、図１に示す実施の形態１と同様であり、図３に示した実施の形態１の映像要約センター１２が図５６に示す映像要約センター１１２に、図４に示した実施の形態１のユーザのテレビ受信機１３が図５７に示すユーザのテレビ受信機１１３に置き換わる。なお、図５６、図５７において、実施の形態１と同一構成要素には同一番号を付して説明を省略する。
【０２０４】
映像要約センター１１２は、図５６に示すように、視聴履歴受信部１２０１、視聴履歴保持部１２０２、ユーザ関連度保持部１２０３、要求受付部１２０８、重要度算出部１２０４、要約情報複数作成部１１２０５、要約情報保持部１２０６、要約情報送信部１２０７を備えている。
【０２０５】
要約情報複数作成部１１２０５は、要約映像がユーザの要求する要約時間となるように第１の要約情報を作成し、さらに、要約映像がユーザの要求する要約時間と異なる時間となるように第２の要約情報を作成する、つまり、複数の要約情報を作成する処理部である。
【０２０６】
次に、本実施の形態における映像要約システムの動作について説明するが、視聴履歴受信部１２０１が他者の視聴履歴を受信し、重要度算出部１２０４が時間に応じた重要度を算出する処理までは、実施の形態１と同様なので説明を省略する。
【０２０７】
次に、要約情報複数作成部１１２０５は、ユーザが要求した長さの映像要約情報と、さらにその半分の長さの映像要約情報の２通りの映像要約情報を作成する。
【０２０８】
要約情報保持部１２０６と要約情報送信部１２０７の動作は実施の形態１と同様なので説明を省略する。
【０２０９】
ユーザのテレビ受信機１１３は、図５７に示すように、要約情報受信部１３０１、要約情報保持部１３０２、要約情報補間部１１３０１、放送受信部１３０３、録画部１３０４、映像要約部１３０５、表示部１３０６を備えている。
【０２１０】
ここで、映像要約センター１１２の要約情報複数作成部１１２０５で作成された複数の要約情報は、要約情報受信部１３０１によって受信され、要約情報保持部１３０２に保持される。
【０２１１】
要約情報補間部１１３０１は、要約映像の再生中に要約時間の変更が生じた場合に、要約情報保持部１３０２に保持されている２つの要約情報を線形補間して、変更後の要約時間の要約情報を作成する処理部である。
【０２１２】
ユーザのテレビ受信機１１３の通常の動作は、実施の形態１と同様である。例えば、図５８に示すように、９０分の番組に６０分の要約要求した場合、図５８の「（Ａ）６０分用要約情報」を用いて６０分の要約映像を作成し再生する。しかし、例えば、再生中に電話やメールなど他の割り込みの用事が生じ、６０分の要約要求をしたにもかかわらず、４５分で要約映像を見たい場合、要約情報補間部１１３０１は、「（Ａ）６０分用要約情報」と「（Ｂ）３０分用要約情報」とを用いて線形補間し、「（Ｃ）４５分用要約情報」を作成する。つまり、要約情報補間部１１３０１は、要約映像となる箇所（時間位置）を要約時間に従って線形補間することで、新たな要約時間の要約映像を生成する。そして、映像要約部１３０５は、「（Ｃ）４５分用要約情報」に基づいて４５分間の要約映像を作成する。４５分以外であっても同様に補間を行うことができる。
【０２１３】
以上の動作により、映像要約情報を改めてセンターから取得する必要もなく、ユーザのテレビ受信機の少ない負荷で、要約映像の長さを変更することが可能となる。
【０２１４】
以上、本発明に係る映像要約システムについて、実施の形態１〜１１に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。各実施の形態における構成要素を矛盾しない範囲で任意に組み合わせて実現される形態や、各実施の形態に対し当業者が思いつく変形を施した形態等も本発明に含まれる。
【０２１５】
また、実施の形態１乃至１１において、映像要約の閾値はユーザの要求する要約映像の長さになるように調整したが、固定の閾値を用いても構わない。その場合、要約映像の長さは番組映像のユーザの嗜好への合致度合いに応じて調節され、ユーザが要約映像の長さを指定する必要はなくなる。
【０２１６】
また、実施の形態１乃至１１においては、要約映像は閾値以上の部分を切り出したが、時系列的な重要度から重要度が極大となる全頂点を検出し、各頂点の前後の映像をこの頂点の高さに応じて切り出し、その合計の長さがユーザの要求する長さになるように切り出しても良い。例えば、時系列的な重要度が図４４に示すようなグラフになる場合、映像の開始点と終了点とを含めると、重要度に４つの頂点がある。４つの頂点の時間をそれぞれｔ０、ｔ１、ｔ２、ｔｅ、重要度をそれぞれｗ０、ｗ１、ｗ２、ｗｅとする。頂点は、例えば重要度の時間的変化の正負を検出することにより得ることができる。図４４に示す例では、ｗ０、ｗ１、ｗ２、ｗｅの比率は２：３：４：１である。映像全体の時間が３０分で、１０分に要約するとした場合、各頂点からその高さに比例した長さの映像を取り出す。すなわち、ｔ０、ｔ１、ｔ２、ｔｅの各頂点について閾値を設定し、それぞれ２分、３分、４分、１分の映像を切り出して、要約映像を作成する。その場合、映像全体のポイントを掴むことができる要約映像を得ることが可能となる。
【０２１７】
また、実施の形態１乃至１１においては、要約映像は閾値以上の部分を切り出したが、切り出された部分映像の長さが所定の長さ以下の場合は、その部分を要約映像から省略しても良い。その場合、要約映像に短すぎる部分映像が含まれてしまってわかりにくい要約映像ができるのを防ぐことができる。
【０２１８】
また、実施の形態１乃至１１においては、要約映像の長さは、ユーザが要求する長さに調節したが、電車や自動車の中での移動端末での再生する場合などは、予測される目的地までの到着時間に合わせて要約映像の長さを決定することが可能である。その場合、ユーザが視聴可能な時間に合わせて要約映像の長さを指定する必要がなくなる。
【０２１９】
また、実施の形態１乃至１１においては、要約映像の長さは、ユーザが要求する長さに調節したが、電車や自動車の中での移動端末での再生する場合などは、家で落ち着いて見る場合に比べて長時間の視聴はユーザの負担が大きいため、要約映像の長さは短い方が望ましく、要約映像の長さを再生端末の種別に応じて決定しても良い。その場合、ユーザは端末の種類に合わせて要約映像の長さを指定する必要がなくなる。
【０２２０】
また、実施の形態１乃至１１においては、休日は平日よりも長時間テレビを視聴することが多いので、要約映像の長さは、曜日などの日付に応じて決定することも良い。その場合、ユーザは視聴する日付に合わせて要約映像の長さを指定する必要がなくなる。曜日ごとの要約映像の長さは、曜日ごとのユーザのテレビ視聴時間の履歴から決定するとさらに、要約時間が適切なものとなる。
【０２２１】
また、実施の形態１乃至１１においては、重要度による閾値の境界で映像を切り出して要約したが、閾値の境界の前後で音声が小さくなる切れ目を検出して、音声の切れ目を境界として映像を切り出して要約しても良い。その場合、要約映像の継ぎ目の切りをよくすることが可能である。
【０２２２】
また、実施の形態１乃至１１においては、映像内での箇所の特定に、映像開始時からの相対時間を用いたが、シーンＩＤやチャプター番号を用いるなど、映像内での視聴箇所が特定できる別の方法でも構わない。シーンＩＤやチャプター番号を用いた場合は、要約映像の繋ぎ目の切りを良くすることが可能である。
【０２２３】
また、実施の形態１乃至１１においては、要約映像部分以外はカットしたが、要約映像部分以外を高速再生することにしても良い。高速再生は一定速度でも良いし、重要度が低い方がより高速になるように多段階もしくは無段階に再生速度を制御しても良い。この場合、重要でない部分もある程度ユーザが理解でき、映像の全体が把握しやすくすることができる。
【０２２４】
また、実施の形態１乃至５および７においては、他者のテレビ受信機を使用するユーザを識別するためにユーザＩＤを用いたが、加入者ＩＤなどのユーザグループを識別するＩＤや、テレビ受信機を識別するＩＤなど、映像を視聴する視聴者を特定できる別の方法、あるいは、映像を視聴する視聴者と高い相関が得られる他の方法でも構わない。この場合、ユーザを認証する必要がなくなる。
【０２２５】
また、実施の形態１乃至５および７乃至１１においては、映像にはメタデータ（タグ情報）が付与されていない例で説明したが、図４５に示すようなメタデータが付与されている場合は、それを併用することも可能である。この場合、例えばユーザのテレビ受信機１３において、要約情報で示される区間をこのメタデータを用いて調整することで、要約映像の継ぎ目の切りをよくすることが可能である。また、映像に関するメタデータを映像要約センターで保持することによって、ユーザの嗜好情報（例えば「半信」が好きである）という情報を用いた従来手法による要約映像と、本実施の形態を用いた要約映像との共通部分を取るなどの方法が考えられる。これにより、ユーザの嗜好に対してより精度の高い要約映像を得ることが可能となる。
【０２２６】
また、実施の形態１乃至５および７乃至１１においては、映像に図４６に示すような重みを含むメタデータが付与されている場合は、それを併用することも可能である。本実施の形態による時系列的な重要度とメタデータによる重みとの積を用いて要約映像を作成するなどの方法が考えられる。これにより、番組の提供者とユーザの嗜好との両方を考慮した要約映像を得ることが可能となる。
【０２２７】
また、実施の形態１乃至５および７乃至１１においては、要約映像を視聴していた全視聴者の履歴を用いて要約映像を作成していたが、他者の対象映像の視聴時間と要約映像の要約目標時間とが類似する他者を選択し、選択された他者の視聴履歴だけを参照して要約映像を作成しても良い。一般的に、ユーザの要求する要約時間と類似した視聴時間で視聴した他者の方がユーザと嗜好が類似していると考えられるためである。その場合、よりユーザの嗜好に合致した要約映像を得ることが可能となる。また、計算コストも低減される。
【産業上の利用可能性】
【０２２８】
以上のように本発明に係る映像要約装置は、映像にメタデータを付与することなく個々のユーザの嗜好に合った要約映像を得ることができるため、録画可能なテレビ受信機、パッケージメディアやネットワークメディアを再生可能な映像再生機において有用である。例えば、ネットワークに接続されたテレビ受信機やテレビ録画機やＤＶＤ再生機、動画再生機能やテレビ受信可能な携帯電話などにおいて有用である。
【図面の簡単な説明】
【０２２９】
【図１】本発明の実施の形態１に係る映像要約装置が用いられるシステムの構成を示す概略図である。
【図２】実施の形態１に係る他者のテレビ受信機の構成を示す機能ブロック図である。
【図３】実施の形態１に係る映像要約センターの構成を示す機能ブロック図である。
【図４】実施の形態１に係るユーザのテレビ受信機の構成を示す機能ブロック図である。
【図５】他者のテレビ受信機において他者がテレビ放送を放送時に視聴する場合の動作の流れを示すフローチャートである。
【図６】他者のテレビ受信機から送信される視聴履歴の一例を示す図である。
【図７】他者のテレビ受信機において他者がテレビ放送を一旦録画してから視聴する場合の動作の流れを示すフローチャートである。
【図８】映像要約センターにおいて他者のテレビ受信機から受信した視聴履歴を蓄積する場合の動作の流れを示すフローチャートである。
【図９】映像要約センターにおいて蓄積される視聴履歴の一例を示す図である。
【図１０】図９の視聴履歴を模式的に示す図である。
【図１１】映像要約センターにおいて番組映像の要約情報を作成する場合の動作の流れを示すフローチャートである。
【図１２】ユーザ関連度保持部が保持しているユーザ関連度の一例を示す図である。
【図１３】他者３人の視聴履歴を用いて重要度を算出する場合の一例を示す模式図である。
【図１４】算出された重要度の一例を示す模式図である。
【図１５】図１４に示す重要度の例を用いて要約情報を作成する場合の一例を示す模式図である。
【図１６】図１４に示す重要度の例を用いて要約情報を作成する場合の他の例を示す模式図である。
【図１７】図１５と図１６との例を重ね合わせて示す模式図である。
【図１８】作成された要約情報の一例を示す図である。
【図１９】ユーザのテレビ受信機においてテレビ放送の番組映像を録画する際の動作の流れを示すフローチャートである。
【図２０】ユーザのテレビ受信機において番組映像の要約映像を再生する際の動作の流れを示すフローチャートである。
【図２１】ユーザのテレビ受信機での要約映像の表示例を示す図である。
【図２２】ユーザ属性の一例を示す図である。
【図２３】ユーザ属性に基づいてユーザ関連度を算出するためのテーブルの一例を示す図である。
【図２４】本発明の実施の形態２に係る映像要約センターの構成を示す機能ブロック図である。
【図２５】映像要約センターにおいてユーザ関連度を算出する際の動作の流れを示すフローチャートである。
【図２６】ユーザと他者の視聴履歴の一例を示す図である。
【図２７】図２６の視聴履歴の共通部分について模式的に示す図である。
【図２８】本発明の実施の形態３に係る映像要約装置が用いられるシステムの構成を示す概略図である。
【図２９】実施の形態３に係る視聴履歴収集センターの構成を示す機能ブロック図である。
【図３０】実施の形態３に係るユーザのテレビ受信機の構成を示す機能ブロック図である。
【図３１】本発明の実施の形態４に係る映像要約装置が用いられるシステムの構成を示す概略図である。
【図３２】実施の形態４に係るユーザのテレビ受信機の構成を示す機能ブロック図である。
【図３３】本発明の実施の形態５に係る映像要約装置が用いられるシステムの構成を示す概略図である。
【図３４】実施の形態５に係る他者の映像再生機の構成を示す機能ブロック図である。
【図３５】実施の形態５に係るユーザの映像再生機の構成を示す機能ブロック図である。
【図３６】本発明の実施の形態６に係る映像要約装置が用いられるシステムの構成を示す概略図である。
【図３７】実施の形態６に係るユーザの映像再生機の構成を示す機能ブロック図である。
【図３８】実施の形態６に係るレンタル店の構成を示す機能ブロック図である。
【図３９】パッケージメディアに視聴履歴が記録される場合のパッケージメディアの一例を示す図である。
【図４０】実施の形態７に係る他者のテレビ受信機の構成を示す機能ブロック図である。
【図４１】実施の形態７に係る映像要約センターの構成を示す機能ブロック図である。
【図４２】視聴状況と視聴程度との関連を示すテーブルの一例を示す図である。
【図４３】時系列に数値化された視聴程度の一例を示す模式図である。
【図４４】重要度が極大となる全頂点の高さに応じて映像を切り出す場合の一例を示す模式図である。
【図４５】映像に付与されているメタデータの一例を示す模式図である。
【図４６】映像に付与されている重みを含むメタデータの一例を示す模式図である。
【図４７】実施の形態８に係る他者のテレビ受信機の構成を示す機能ブロック図である。
【図４８】実施の形態８に係る映像要約センターの構成を示す機能ブロック図である。
【図４９】再生に係わる機能と要約適用度加点との関係を示すデータテーブルの例を示す図である。
【図５０】映像要約センターにおいて映像適用度を用いて重要度を算出する処理の流れを示すフローチャートである。
【図５１】実施の形態９に係る他者のテレビ受信機の構成を示す機能ブロック図である。
【図５２】実施の形態９に係る映像要約センターの構成を示す機能ブロック図である。
【図５３】映像要約センターにおいて映像利用度を用いて重要度を算出する処理の流れを示すフローチャートである。
【図５４】実施の形態１０に係る映像要約センターの構成を示す機能ブロック図である。
【図５５】映像要約センターにおいて要約熟練度を用いて重要度を算出する処理の流れを示すフローチャートである。
【図５６】実施の形態１１に係る映像要約センターの構成を示す機能ブロック図である。
【図５７】実施の形態１１に係るユーザのテレビ受信機の構成を示す機能ブロック図である。
【図５８】要約情報補間部による線形補間の動作を説明する図である。
【符号の説明】
【０２３０】
１１、７１、８１、９１  他者のテレビ受信機
１２、２２、３２、７２、８２、９２，１０２、１１２  映像要約センター
１３、３３、４３、１１３  ユーザのテレビ受信機
１４      テレビ放送局
５１      他者の映像再生機
５３、６３  ユーザの映像再生機
６２      レンタル店
１１０１  放送受信部
１１０２  録画部
１１０３  表示部
１１０４  視聴履歴保持部
１１０５  視聴履歴送信部
１２０１  視聴履歴受信部
１２０２  視聴履歴保持部
１２０３  ユーザ関連度保持部
１２０４  重要度算出部
１２０５  要約情報作成部
１２０６  要約情報保持部
１２０７  要約情報送信部
１２０８  要求受付部
１３０１  要約情報受信部
１３０２  要約情報保持部
１３０３  放送受信部
１３０４  録画部
１３０５  映像要約部
１３０６  表示部
２２０１  関連度算出部
３２０１  視聴履歴抽出部
３２０２  抽出視聴履歴送信部
３３０１  視聴履歴受信部
３３０２  要求受付部
５１０１  映像取得部
５３０１  映像取得部
６２０１、６３０１  視聴履歴読み取り部
６２０２、６３０２  視聴履歴書き込み部
７１０１  視聴状況検出部
７１０２  視聴程度算出部
７１０３  視聴程度保持部
７１０４  視聴程度送信部
７２０１  視聴程度受信部
７２０２  視聴程度保持部
７２０３  重要度算出部
８１０６    再生機能送信部
８２０１    視聴端末情報受信部
８２０２    要約適用度算出部
８２０３    要約適用度保持部
８２０４    重要度算出部
９１０６    再生利用送信部
９２０１    視聴端末利用受信部
９２０２    要約利用度算出部
９２０３    要約利用度保持部
９２０４    重要度算出部
１０２０１    要約熟練度算出部
１０２０２    要約熟練度保持部
１０２０４    重要度算出部
１１２０５    要約情報複数作成部
１１３０１    要約情報補間部
【図１】
2006333451.tif 000003
【図２】
2006333451.tif 000004
【図３】
2006333451.tif 000005
【図４】
2006333451.tif 000006
【図５】
2006333451.tif 000007
【図６】
2006333451.tif 000008
【図７】
2006333451.tif 000009
【図８】
2006333451.tif 000010
【図９】
2006333451.tif 000011
【図１０】
2006333451.tif 000012
【図１１】
2006333451.tif 000013
【図１２】
2006333451.tif 000014
【図１３】
2006333451.tif 000015
【図１４】
2006333451.tif 000016
【図１５】
2006333451.tif 000017
【図１６】
2006333451.tif 000018
【図１７】
2006333451.tif 000019
【図１８】
2006333451.tif 000020
【図１９】
2006333451.tif 000021
【図２０】
2006333451.tif 000022
【図２１】
2006333451.tif 000023
【図２２】
2006333451.tif 000024
【図２３】
2006333451.tif 000025
【図２４】
2006333451.tif 000026
【図２５】
2006333451.tif 000027
【図２６】
2006333451.tif 000028
【図２７】
2006333451.tif 000029
【図２８】
2006333451.tif 000030
【図２９】
2006333451.tif 000031
【図３０】
2006333451.tif 000032
【図３１】
2006333451.tif 000033
【図３２】
2006333451.tif 000034
【図３３】
2006333451.tif 000035
【図３４】
2006333451.tif 000036
【図３５】
2006333451.tif 000037
【図３６】
2006333451.tif 000038
【図３７】
2006333451.tif 000039
【図３８】
2006333451.tif 000040
【図３９】
2006333451.tif 000041
【図４０】
2006333451.tif 000042
【図４１】
2006333451.tif 000043
【図４２】
2006333451.tif 000044
【図４３】
2006333451.tif 000045
【図４４】
2006333451.tif 000046
【図４５】
2006333451.tif 000047
【図４６】
2006333451.tif 000048
【図４７】
2006333451.tif 000049
【図４８】
2006333451.tif 000050
【図４９】
2006333451.tif 000051
【図５０】
2006333451.tif 000052
【図５１】
2006333451.tif 000053
【図５２】
2006333451.tif 000054
【図５３】
2006333451.tif 000055
【図５４】
2006333451.tif 000056
【図５５】
2006333451.tif 000057
【図５６】
2006333451.tif 000058
【図５７】
2006333451.tif 000059
【図５８】
2006333451.tif 000060