(57)【要約】【課題】要約の作成をより精度良く作成できる映像コンテンツ配信装置、映像コンテンツをダウンロードする前にその要約映像だけをストリーミング視聴して内容を確認することにより、視聴する映像コンテンツを的確に取捨選択することができる映像コンテンツ受信装置を提供する。【解決手段】映像コンテンツ受信装置において、ストリーミング受信部３０２１と、ストリーミング再生部３０２４と、コンテンツ受信部３０２２と、コンテンツ管理部３０２３と、映像再生部３０２５と、映像コンテンツの選択画面を表示するユーザインターフェース３０２６とを備え、ユーザインターフェース３０２６により表示される画面に対する操作者からの操作入力情報による映像コンテンツの再生の際、最初に映像コンテンツの要約のストリーミング映像を受信して再生した後、映像コンテンツを受信して再生する。【選択図】図２
2009278481.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツの要約のストリーミング映像を受信するストリーミング受信部と、
受信したストリーミング映像を再生するストリーミング再生部と、
前記映像コンテンツおよび前記映像コンテンツに関連するメタデータを受信するコンテンツ受信部と、
前記映像コンテンツおよび前記メタデータを管理するコンテンツ管理部と、
前記映像コンテンツを前記メタデータに基づいて再生する映像再生部と、
前記映像コンテンツの選択画面を表示するユーザインターフェースとを備え、
前記ユーザインターフェースにより表示される画面に対する操作者からの操作入力情報による前記映像コンテンツの再生の際、最初に前記映像コンテンツの要約のストリーミング映像を受信して再生した後、前記映像コンテンツを受信して再生することを特徴とする映像コンテンツ受信装置。
【請求項２】
請求項１記載の映像コンテンツ受信装置において、
前記メタデータは、前記映像コンテンツに含まれる複数の代表シーンの再生位置が記録され、
前記映像再生部は、前記メタデータに基づいて、前記代表シーンを連続再生することを特徴とする映像コンテンツ受信装置。
【請求項３】
請求項１記載の映像コンテンツ受信装置において、
前記ユーザインターフェースは、前記映像コンテンツの一覧表示を表示し、前記一覧表示に対する前記操作者からの前記操作入力情報に基づいて選択された前記映像コンテンツに対して、最初にその選択された映像コンテンツの要約視聴の操作画面を表示することを特徴とする映像コンテンツ受信装置。
【請求項４】
請求項３記載の映像コンテンツ受信装置において、
前記ユーザインターフェースは、前記映像コンテンツの前記要約視聴の操作画面を表示後、前記操作者からの前記要約視聴の操作画面に対する操作入力情報による前記映像コンテンツの要約のストリーミング映像の再生が終わると、前記映像コンテンツをダウンロードして再生するかまたは削除するかを選択する操作画面を表示することを特徴とする映像コンテンツ受信装置。
【請求項５】
請求項１記載の映像コンテンツ受信装置において、
前記映像再生部は、映像コンテンツを再生する画面に、前記メタデータに基づいて、前記映像コンテンツの再生時刻、および前記再生時刻に対応したテキスト情報を表示させることを特徴とする映像コンテンツ受信装置。
【請求項６】
映像コンテンツおよび前記映像コンテンツに関連するメタデータを受信するコンテンツ受信部と、
前記映像コンテンツおよび前記メタデータを管理するコンテンツ管理部と、
前記映像コンテンツおよび前記メタデータを保存するストレージ装置と、
前記映像コンテンツの要約となる部分を選択してその再生位置を前記メタデータに記述し、前記映像コンテンツの要約映像を生成する要約生成部と、
前記要約映像をストリーミング送信するストリーミング送信部と、
前記映像コンテンツおよび前記メタデータを送信するコンテンツ送信部とを備え、
前記コンテンツ管理部は、前記映像コンテンツを送信する際、最初に前記映像コンテンツの要約映像をストリーミング送信することを特徴とする映像コンテンツ配信装置。
【請求項７】
請求項６記載の映像コンテンツ配信装置において、
前記要約生成部は、前記映像コンテンツの音響特徴量を抽出する音響特徴量抽出部を有し、
前記要約生成部は、前記音響特徴量抽出部で抽出された音響特徴量に基づいて、前記映像コンテンツの要約となる部分を選択することを特徴とする映像コンテンツ配信装置。
【請求項８】
請求項７記載の映像コンテンツ配信装置において、
前記音響特徴量抽出部は、音声帯域から観測される卓越周波数成分の中心周波数が所定の帯域に含まれていて、かつ、中心周波数における応答倍率が所定の範囲に入っている場合に、この周波数情報を音声信号の周波数特徴として、音響特徴量を抽出することを特徴とする映像コンテンツ配信装置。
【請求項９】
請求項８記載の映像コンテンツ配信装置において、
前記音響特徴量抽出部は、前記音響特徴量の出現頻度の情報に基づいて、前記音響特徴量を複数の意味付けされた特徴量として区分けし、
前記要約生成部は、前記意味付けされた特徴量に基づいて、前記映像コンテンツの要約となる部分を選択することを特徴とする映像コンテンツ配信装置。
【請求項１０】
請求項７記載の映像コンテンツ配信装置において、
前記要約生成部は、前記映像コンテンツ内の各シーン内に含まれる前記音響特徴量に基づいて、前記シーンをランク付けし、ランク付けされた前記シーンの情報に基づいて、前記映像コンテンツの要約となる部分を選択することを特徴とする映像コンテンツ配信装置。
【請求項１１】
請求項６記載の映像コンテンツ配信装置において、
前記要約生成部は、前記映像コンテンツの映像特徴量を抽出する映像特徴量抽出部を有し、
前記要約生成部は、前記映像特徴量抽出部で抽出された映像特徴量に基づいて、前記映像コンテンツの要約となる部分を選択することを特徴とする映像コンテンツ配信装置。
【請求項１２】
請求項６または１１記載の映像コンテンツ配信装置において、
特徴量の分布変化を検出する分布変化検出部を有し、
前記要約生成部は、前記分布変化検出部で検出された分布変化の情報に基づいて、前記映像コンテンツの要約となる部分を選択することを特徴とする映像コンテンツ配信装置。
【請求項１３】
映像コンテンツ配信装置から映像コンテンツ受信装置へ映像コンテンツを配信する映像コンテンツ配信方法であって、
前記映像コンテンツ受信装置からの前記映像コンテンツの配信要求に対して、最初に前記映像コンテンツの要約映像をストリーミング送信することを特徴とする映像コンテンツ配信方法。
【請求項１４】
請求項１３記載の映像コンテンツ配信方法において、
前記要約映像は、前記映像コンテンツの音響特徴量に基づいて、前記映像コンテンツの要約となる部分が選択されて生成されることを特徴とする映像コンテンツ配信方法。
【請求項１５】
請求項１３記載の映像コンテンツ配信方法において、
前記要約映像は、前記映像コンテンツの映像特徴量に基づいて、前記映像コンテンツの要約となる部分が選択されて生成されることを特徴とする映像コンテンツ配信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツ受信装置、映像コンテンツ配信装置および映像コンテンツ配信方法に関し、特に、テレビジョン受像機のように放送番組などの映像コンテンツを表示する映像コンテンツ視聴端末などにより、ビデオメールなどの映像コンテンツをダウンロードする前に要約だけを視聴して内容を確認する技術に関する。
【背景技術】
【０００２】
従来、映像コンテンツの要約を作成する技術として、大量の映像の概要の把握を可能としつつ、映像に対する興味の低下を回避し得る要約映像を作成するものとして、特開２００７−１８４７８１号公報（特許文献１）記載の技術があった。
【０００３】
これは、録画映像または蓄積映像等から要約映像を作成する要約映像作成装置において、ユーザの視聴履歴情報および録画方法情報を利用することによって、各映像に対してユーザが必要であると考えられるシーンの選択や区間の抽出、そして一定の映像再生構成に収束しないユーザの嗜好に適応的な映像を再生する際の構成を可能とし、最終的にユーザの視聴スタイルに合致する要約映像を作成することを可能とするものである。
【特許文献１】特開２００７−１８４７８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術は、要約映像を作成する際にユーザの視聴履歴情報や録画方法情報を利用しており、興味が無い映像コンテンツに対しては視聴履歴情報や録画方法情報が得られない場合がある。それでも特許文献１に開示された装置および方法で興味が無い映像コンテンツを無理に要約すると要約映像としての信頼性が低くなるという問題があった。
【０００５】
また、特許文献１に開示された技術で、ポータルサーバで映像要約を行うためにはポータルサーバが視聴履歴情報および録画方法情報を収集する必要が生じる。すなわちポータルサーバは全加入者の視聴履歴と録画方法を管理する必要が生じてサーバ側のシステムが煩雑になるという問題があった。
【０００６】
また、ユーザがこれらの情報をプライバシー情報だと考えて開示することを拒んだ場合には、要約映像としての信頼性がさらに低下するという問題があった。
【０００７】
そこで、本発明の目的は、要約の作成をより精度良く作成できる映像コンテンツ配信装置、映像コンテンツをダウンロードする前にその要約映像だけをストリーミング視聴して内容を確認することにより、視聴する映像コンテンツを的確に取捨選択することができる映像コンテンツ受信装置を提供することである。
【０００８】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００９】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【００１０】
すなわち、代表的なものの概要は、映像コンテンツ受信装置では、ユーザインターフェースにより表示される画面に対する操作者からの操作入力情報による映像コンテンツの再生の際、最初に映像コンテンツの要約のストリーミング映像を受信して再生した後、映像コンテンツを受信して再生する。
【００１１】
また、映像コンテンツ配信装置では、コンテンツ管理部は、映像コンテンツを送信する際、最初に前記映像コンテンツの要約映像をストリーミング送信する。
【発明の効果】
【００１２】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００１３】
すなわち、代表的なものによって得られる効果は、映像コンテンツ受信装置のユーザは映像コンテンツ配信装置から映像コンテンツをダウンロードする前にストリーミングなどでその内容を知ることができ、また、映像コンテンツ配信装置では、人間の感性に対応した代表シーンを抽出して連結するので生成した要約の品質が高くなる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１５】
＜ハードウェア構成＞
図１により、本発明の一実施の形態に係る映像コンテンツ受信装置のハードウェアについて説明する。図１は本発明の一実施の形態に係る映像コンテンツ受信装置のハードウェアを示す構成図である。
【００１６】
図１において、映像コンテンツ受信装置は、動画を表示可能な表示部を備えた（内蔵した）機器であり、テレビジョン受像機などの各種情報表示装置である。ただし、表示部が別体（外付け）であってもよい。
【００１７】
映像コンテンツ受信装置は、装置の動作を制御する中央制御ユニット（ＣＰＵ）１００１、ＲＯＭ１００２、ＲＡＭ１００３、ネットワークインターフェース１００４、ユーザインターフェースコントローラ１００５、操作部１００６、受光部１００７、表示部１００８、グラフィックコントローラ１００９、ＶＲＡＭ１０１０から構成されている。
【００１８】
ＣＰＵ１００１には、ＲＯＭ１００２とＲＡＭ１００３が内部バスラインを介して接続してあり、さらに外部のネットワークと接続するためのネットワークインターフェース１００４が接続されている。
【００１９】
ＣＰＵ１００１は、後述するメタデータの運用と映像ナビゲーション機能を実行する制御部として機能し、接続されたＲＯＭ１００２とＲＡＭ１００３がメタデータの記憶部としても機能する。
【００２０】
また、メタデータの運用と映像ナビゲーション機能を実行させるプログラムが、ＲＯＭ１００２またはＲＡＭ１００３に実装させてあり、そのプログラムに基づいてＣＰＵ１００１がメタデータの運用と映像ナビゲーション機能を実行する。ＲＡＭ１００３などの記憶部については、半導体メモリの他に、ハードディスクなどの記憶部を使用してもよく、あるいはメモリカードなどの着脱自在の記憶部であってもよい。ハードディスクなどの大容量の記憶部（記録部）を備えた場合には、例えばテレビジョン受像機の場合、放送番組を蓄積する録画機能を備えてもよい。
【００２１】
ネットワークインターフェース１００４としては、例えば、アナログ電話回線用のアナログモデム、ＩＳＤＮ回線用のモデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータまたはモデム、ＬＡＮ（Local Area Network：構内情報通信網）用のアダプタ、無線電話用のアダプタ、Bluetooth（商標）などの無線通信用のアダプタなどが適用可能である。これらの構成のネットワークインターフェース１００４を経由して、インターネットに接続できる構成としてある。
【００２２】
また、各種情報や動画の表示制御を行うためのグラフィックコントローラ１００９を備える。このグラフィックコントローラ１００９に映像データを保持するＶＲＡＭ１０１０が接続してあり、グラフィックコントローラ１００９の制御で描画された映像を、表示部１００８で表示させる。
【００２３】
表示部１００８としては、液晶表示パネルなどの表示部が使用される。尚、表示部１００８には、図示しないチューナが受信した映像信号や外部から入力した映像信号（例えばビデオ再生装置から再生した映像信号）による映像（画像）を表示させることもできる。
【００２４】
これらの映像信号による映像と、後述するインターネットのウェブページなどによる映像とは、グラフィックコントローラ１００９の制御で、１つの画面上に同時に表示させることも可能であり、また後述するキーワードなどの文字情報を重ねて表示させる処理も可能である。
【００２５】
また、各種操作キー，操作ボタンなどで構成されている操作部１００６と、その操作部１００６の操作を受け付けるユーザインターフェースコントローラ１００５を備え、ユーザインターフェースコントローラ１００５が受け付けた操作データがＣＰＵ１００１に供給される。また、受光部１００７が受光（受信）した赤外線信号を、ユーザインターフェースコントローラ１００５で判別する構成としてあり、リモートコントロール装置などからの遠隔制御も可能としてある。
【００２６】
図１の説明および以下の説明では、映像コンテンツの流通を行う部分を中心に説明するため、放送信号を受けるチューナや、デマルチプレックサ（デマックス）や、デコーダなどの例えばＭＰＥＧ形式のＡＶコンテンツを受信して再生するための基本的な構成の詳細については省略しているが、実装している。
【００２７】
また、映像コンテンツ管理装置および映像コンテンツ配信装置も、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３などにより、情報処理する構成としては、同様の構成である。
【００２８】
＜映像コンテンツ管理装置、映像コンテンツ配信装置、映像コンテンツ受信装置のソフトウェア構成＞
次に、図２により、本発明の一実施の形態に係る映像コンテンツ管理装置、映像コンテンツ配信装置、映像コンテンツ受信装置のソフトウェア構成について説明する。図２は本発明の一実施の形態に係る映像コンテンツ管理装置、映像コンテンツ配信装置、映像コンテンツ受信装置のソフトウェア構成を示す構成図である。
【００２９】
図２において、全体構成として、カムコーダなどで撮影した映像コンテンツにメタデータを付与する映像コンテンツ管理装置２００１、映像コンテンツとメタデータを管理する映像コンテンツ配信装置２０１０、前記メタデータが指定する再生制御方法で映像コンテンツを再生する映像コンテンツ受信装置３０２０から構成されている。
【００３０】
映像コンテンツ管理装置２００１は、パーソナルコンピュータや映像コンテンツ編集機器や映像コンテンツ受信装置３０２０に内蔵されているものとする。
【００３１】
映像コンテンツ管理装置２００１は、映像コンテンツとメタデータを管理するコンテンツ管理部２００４、映像コンテンツとメタデータを保存するストレージ装置２００６、メタデータを生成するメタデータ生成部２００３、インタラクティブな操作環境でユーザによるメタデータ生成作業やコンテンツ管理作業を支援するユーザインターフェース２００２、映像コンテンツとメタデータを前記映像コンテンツ配信装置２０１０に送信するコンテンツ送信部２００５から構成されている。
【００３２】
映像コンテンツ配信装置２０１０は、映像コンテンツ管理装置２００１のコンテンツ送信部２００５から送信されたデータを受信するコンテンツ受信部２０１１、受信したデータを管理するコンテンツ管理部２０１３、受信したデータを保存するストレージ装置２０１６と映像コンテンツの要約を生成する要約生成部２０１２、ストリーミング要求を受けて要約映像をストリーミング送信するストリーミング送信部２０１４、映像コンテンツ受信装置３０２０からのダウンロード要求を受けて映像コンテンツとメタデータを送信するコンテンツ送信部２０１５から構成されている。
【００３３】
映像コンテンツ受信装置３０２０は、映像コンテンツ配信装置２０１０からストリーミング送信された要約映像を受信するストリーミング受信部３０２１、受信した映像コンテンツを蓄積しないで再生表示のみ行うストリーミング再生部３０２４、映像コンテンツ配信装置２０１０から送信された映像コンテンツとメタデータを受信するコンテンツ受信部３０２２、受信した映像コンテンツとメタデータを管理するコンテンツ管理部３０２３、映像コンテンツとメタデータを保存するストレージ装置３０２７、ストレージ装置３０２７に保存された映像コンテンツをメタデータが指定する再生制御方法で再生する映像再生部３０２５、操作画面の表示や操作画面を用いたインタラクティブな操作環境を提供するユーザインターフェース３０２６から構成されている。
【００３４】
＜画面の説明＞
次に、図３〜図５により、本発明の一実施の形態に係る映像コンテンツ受信装置のユーザインターフェースの表示画面の構成と操作方法について説明する。図３〜図５は、本発明の一実施の形態に係る映像コンテンツ受信装置のユーザインターフェースの表示画面の構成を示す図であり、この例はビデオメールを想定した例である。
【００３５】
図３（ａ）を初期画面とする。この画面４００１はビデオメールに添付された映像コンテンツのタイトル欄４００２とこのタイトルの属性情報を表示する属性情報欄４００３とビデオメールの差出人を表示する差出人欄４００４とビデオメールの件名を表示する件名欄４００５とビデオメールの受信日時を表示する受信日時欄４００６と画面に表示しきれない情報をスクロール表示するスクロールバー４００７から構成されている。
【００３６】
タイトル欄４００２には映像コンテンツ配信装置２０１０からダウンロードが可能なタイトルの候補としてタイトルＡ４００８とタイトルＢ４００９とタイトルＣ４０１０とタイトルＤ４０１１がサムネイルで表示されている。
【００３７】
属性情報欄４００３にはタイトルの属性情報として、動画を表す動画マーク４０１２やミュージックを表すミュージックマーク４０１３がこれらの再生時間４０１４と一緒に表示されている。
【００３８】
差出人欄４００４には差出人の名前４０１５が表示されている。件名欄４００５には件名４０１６が表示されている。受信日時欄４００６には受信日時４０１７が表示されている。
【００３９】
今、図３（ａ）の画面４００１のタイトルＡ４００８を含む行がハイライトされているとする。この状態でリモコンの「決定」ボタンを押すと、図３（ｂ）の画面に遷移する。この画面にはコマンド表示領域４０１９が新たに表示されてその中に「要約視聴」ボタン４０２０と図３（ａ）の画面へ遷移する「戻る」ボタン４０２１が表示される。
【００４０】
この状態で「要約視聴」ボタン４０２０を選択すると、図４（ａ）に示す要約映像再生画面５００１に遷移してハイライトされたタイトルの要約映像を再生する。この画面には要約映像５００２を表示する。画面左下には要約映像の再生制御ボタン群５００３を表示する。このボタン群は左から順に「一時停止」ボタン、「停止」ボタン、「再生」ボタンが表示されている。画面中央下には「ダウンロード」ボタン５００４と「削除」ボタン５００５が表示されている。
【００４１】
「ダウンロード」ボタン５００４と「削除」ボタン５００５は、要約映像を再生している最中でも、要約映像の再生を終了した後でも、好きなタイミングで押すことができる。「ダウンロード」ボタン５００４と「削除」ボタン５００５の機能は、図４（ｂ）で説明する「ダウンロード」ボタン５００７と「削除」ボタン５００８と同じものとする。
【００４２】
要約映像を全て再生し終えるか、もしくは「停止」ボタンを押すと図４（ｂ）の画面に遷移する。この画面にはコマンド表示領域５００６が新たに表示されて、その中に「ダウンロード」ボタン５００７と「削除」ボタン５００８が表示される。「ダウンロード」ボタン５００７を押すと前記タイトルＡ４００８の映像コンテンツをダウンロードする。
【００４３】
また、「削除」ボタン５００８を押すとタイトルＡ４００８を含む１行を削除する。タイトルＡ４００８の映像コンテンツのダウンロードが完了すると、図５に示す映像コンテンツ表示画面６００１に遷移して映像コンテンツの表示を開始する。
【００４４】
例えば、図３（ａ）のタイトル４００９は見たくない映像コンテンツだったとする。ただし見たくないかどうかは、タイトルを見ただけでは分からない。「要約視聴」ボタン４０２０をこのようなときに押すと、図４（ａ）の画面で要約映像を視聴できるので見たくない映像コンテンツであることが分かる。
【００４５】
直に再生制御ボタン群５００３の「停止」ボタンを押して図４（ｂ）の画面に遷移してから「削除」ボタン５００６を押して見たくない映像コンテンツを削除することができる。
【００４６】
映像コンテンツ表示画面６００１は、映像６００２の右側にメッセージ表示領域６０１０を表示する。メッセージ表示領域６０１０は上下２段構成となっていて上段にメッセージ６０１１、下段に映像コンテンツの特定シーンに対応したキーワードリスト６０１２が表示されている。メッセージ６０１１には「この連休をハワイで家族と過ごしました。」が表示されている。また、キーワードリスト６０１２には「息子と散歩」「ホテルで」「空港で」が表示されている。
【００４７】
また、画面最下段には再生制御ボタン群６００３と映像トラックバー６００４が表示されている。再生制御ボタン群６００３は「一時停止」ボタン、「停止」ボタン、「戻りジャンプ」ボタン、「再生」ボタン、「送りジャンプ」ボタンから構成されている。トラックバー６００４にはチャプタ６００６、チャプタ６００７、チャプタ６００８、チャプタ６００９が表示されている。また現在の再生位置６００５が表示されている。
【００４８】
チャプタ６００７は「息子と散歩」と関連付けられている。チャプタ６００８は「ホテルで」と関連付けられている。チャプタ６００９は「空港で」と関連付けられている。
【００４９】
図５は、キーワードリスト６０１２から「息子と散歩」を選択した例である。「息子と散歩」を選択すると「息子と散歩」に対応したチャプタ６００７から再生が始まる。メッセージ６０１１は、チャプタに６００７に付与したメッセージ「この連休をハワイで家族と過ごしました。」を表示する。映像６００２は息子とハワイ海岸で散歩しているシーンになる。
【００５０】
＜映像コンテンツ受信装置３０２０の処理フロー＞
次に、図６により、本発明の一実施の形態に係る映像コンテンツ受信装置の処理フローについて説明する。図６は本発明の一実施の形態に係る映像コンテンツ受信装置の処理フローである。
【００５１】
図６は、図２に示す映像コンテンツ受信装置３０２０にビデオメールの映像コンテンツをダウンロードするまでの処理フローを示している。
【００５２】
まず、ステップ７００１でビデオメールを起動する。映像コンテンツ受信装置には図３（ａ）の画面４００１が表示される。
【００５３】
ステップ７００２で受信メールリストのタイトル４００２とその属性情報４００３と差出人４００４と件名４００５と受信日時４００６を見てビデオメールを選択する。
【００５４】
ステップ７００３で図３（ｂ）に示すコマンド表示領域４０１９に表示された「要約視聴」ボタン４０２０と「戻る」ボタン４０２１のどちらかを選択する。もしも「戻る」ボタン４０２１が選択された場合にはステップ７００２に戻る。もしも「要約視聴」ボタン４０２０が選択された場合にはステップ７００４に進む。
【００５５】
ステップ７００４で映像コンテンツ配信装置２０１０に要約映像のストリーミング配信を要求する。
【００５６】
ステップ７００５で図４（ａ）に示す要約映像再生画面５００１に遷移して要約映像をストリーミング再生する。ただし要約映像をダウンロードしない。
【００５７】
ステップ７００６でストリーミング再生が終了するか「停止」ボタンが押されるまで待機する。
【００５８】
もしもこのどちらかが起こったらステップ７００７に進む。
【００５９】
ステップ７００７で図４（ｂ）の画面に遷移して「ダウンロード」ボタン５００７と「削除」ボタン５００８のどちらかを選択する。もしも「ダウンロード」ボタン５００７が選択された場合にはステップ７００８に進む。ステップ７００８で映像コンテンツ配信装置２０１０に映像コンテンツの配信を要求する。もしも「削除」ボタン５００８が選択された場合にはステップ７００９に進む。
【００６０】
ステップ７００８では映像コンテンツ配信装置２０１０からビデオメールの映像コンテンツとメタデータをダウンロードする。ステップ７００９では映像コンテンツ配信装置２０１０に対して映像コンテンツの削除要求を出す。
【００６１】
尚、ステップ７００６において、もしも図４（ａ）に示す「ダウンロード」ボタン５００４か「削除」ボタン５００５が押された場合には、図６のフロー図には記載していないが、これらに対応するステップ７００８、ステップ７００９にジャンプする。
【００６２】
＜映像コンテンツ配信装置２０１０の処理フロー＞
次に、図７により、本発明の一実施の形態に係る映像コンテンツ配信装置の処理フローについて説明する。図７は本発明の一実施の形態に係る映像コンテンツ配信装置の処理フローである。
【００６３】
まず、ステップ８００１で映像コンテンツ管理装置２００１からビデオメールを受信する。
【００６４】
ステップ８００２でビデオメールの映像コンテンツとメタデータをストレージ装置２０１６に保存する。ステップ８００３で要約映像を生成する。
【００６５】
ステップ８００４で、もしもビデオメールサービスの加入者から要約映像のストリーミング配信を要求されたら、ステップ８００５に進み前記加入者の映像コンテンツ受信装置に要約映像をストリーミング配信する。ここで映像コンテンツ受信装置の機器ＩＤ等は特に記載しないが映像コンテンツ配信装置２０１０が管理しているものとする。
【００６６】
ステップ８００６で、もしもビデオメールサービスの加入者から映像コンテンツの配信を要求されたら、ステップ８００７に進み映像コンテンツ受信装置の機器ＩＤ等を確認してから映像コンテンツとメタデータを配信する。
【００６７】
ステップ８００８で、もしもビデオメールサービスの加入者から映像コンテンツの削除を要求されたら、ステップ８００９に進み対象となる映像コンテンツとメタデータを削除する。
【００６８】
＜映像コンテンツ管理装置２００１の処理フロー＞
次に、図８により、本発明の一実施の形態に係る映像コンテンツ管理装置の処理フローについて説明する。図８は本発明の一実施の形態に係る映像コンテンツ管理装置の処理フローであり、ビデオメールの送信処理を表している。
【００６９】
まず、ステップ９００１で撮影した映像コンテンツをストレージ装置２００６に保存する。
【００７０】
ステップ９００２で、撮影した映像コンテンツのメタデータを生成して、ストレージ装置２００６に保存する。ここで生成するメタデータは、図５に示すメッセージ６０１１とキーワードリスト６０１２に対応する。
【００７１】
ステップ９００３で、ビデオメールのあて先（機器ＩＤ）と映像コンテンツのタイトルと再生時間と種類とビデオメールの件名を記述したメタデータをストレージ装置２００６に保存する。ここで生成したメタデータはステップ９００２で生成したメタデータに追加して記入するもとのとする。
【００７２】
このメタデータに記述された情報は、映像コンテンツと一緒に映像コンテンツ配信装置２０１０から映像コンテンツ受信装置３０２０に配信されるとき、図３（ａ）に示す映像コンテンツ受信装置３０２０の画面４００１に表示されるタイトル４００２、属性情報４００３、差出人４００４、件名４００５に対応している。
【００７３】
ステップ９００４でストレージ装置２００６から映像コンテンツと対応するメタデータを選択して、映像コンテンツ配信装置２０１０に送信する。
【００７４】
＜要約生成部２０１２のソフトウェア構成＞
次に、図９により、本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部の詳細なソフトウェア構成について説明する。図９は本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部の詳細なソフトウェア構成を示す図である。
【００７５】
図９において、要約生成部２０１２はコンテンツ管理部２０１３から引き渡された映像コンテンツから音響特徴量を抽出する音響特徴量抽出部１０００１、映像特徴量を抽出する映像特徴量抽出部１０００２、特徴量の分布変化を検出する分布変化検出部１０００３、検出された分布変化を利用して要約映像のメタデータを生成するメタデータ生成部１０００４から構成されている。メタデータ生成部１０００４で生成した要約映像のメタデータはコンテンツ管理部２０１３に引き渡す。
【００７６】
＜要約生成部２０１２の処理フロー＞
次に、図１０により、本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部の処理フローについて説明する。図１０は本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部の処理フローである。
【００７７】
まず、ステップ１１００１で要約生成部２０１２がコンテンツ管理部２０１３からビデオメールの映像コンテンツを受け取る。
【００７８】
ステップ１１００２で音響特徴量抽出部１０００１が映像コンテンツから音響特徴量を抽出する。
【００７９】
ステップ１１００３で映像特徴量抽出部１０００２が映像コンテンツから映像特徴量を抽出する。
【００８０】
ステップ１１００４で分布変化検出部１０００３が特徴量の分布変化を検出する。
【００８１】
ステップ１１００５で分布変化検出部１０００３が特徴量分布の変化点を算出する。
【００８２】
ステップ１１００６でメタデータ生成部１０００４がメタデータに変化点の位置と変化点の重要度を記述する。
【００８３】
ステップ１１００７でメタデータをコンテンツ管理部２０１３に引き渡す。
【００８４】
＜要約生成の具体例＞
次に、図１１により、本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部による要約生成の具体例について説明する。図１１は本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部による要約生成の具体例を説明するための説明図である。
【００８５】
尚、図１１は録画番組（ドラマ）を例として取り上げたが、ここで説明する要約生成の方法は放送された映像コンテンツ特有の音響特徴や映像特徴を利用しない。それゆえ個人撮影の映像コンテンツにも適用することができる。また、特徴量の抽出方法はこの後で説明する。
【００８６】
図１１において、要約生成部２０１２がコンテンツ管理部２０１３から受け取った映像コンテンツ１２００１は、ＣＭ（コマーシャル）と主題歌と本編で構成されている。図１１の例では、映像コンテンツ１２００１は、ＣＭ１２００７、ＣＭ１２００８、ＣＭ１２００９を含んでいる。図１１は３本のＣＭを連結して１つのＣＭ区間を構成した例である。
【００８７】
また、映像コンテンツ１２００１は主題歌１２００５、主題歌１２００６を含んでいる。そして、映像コンテンツ１２００１からＣＭと主題歌を差引いた残りの部分が本編となる。
【００８８】
そこで、映像コンテンツ１２００１をＣＭと主題歌と本編に分類して、本編以外を黒色でハッチング表示した図が映像コンテンツ１２０１０となる。
【００８９】
次に、映像コンテンツ１２０１０の音響信号の周波数特徴に着目して音声と楽曲を同定する。映像コンテンツ１２０１０から音声と楽曲の両方もしくはどちらか一方が重畳した部分とを黒色でハッチング表示すると映像コンテンツ１２０２０となる。以後、音声と楽曲の両方もしくはどちらか一方が重畳した部分を「音声・楽曲区間」と表記する。
【００９０】
図１１に明示していないが全く楽曲を含まないＣＭや全く音声を含まない主題歌があってもよい。
【００９１】
映像コンテンツ１２０２０はＣＭに含まれる「音声・楽曲区間」をＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９と表記した。本編に含まれる「音声・楽曲区間」をＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、Ｐ９、Ｐ１０、Ｐ１１、Ｐ１２、Ｐ１３と表記した。
【００９２】
主題歌に含まれる「音声・楽曲区間」をＭ１、Ｍ２と表記した。映像コンテンツ１２０２０に音声と楽曲が重畳した波形の振幅を白色で重ね書きした。
【００９３】
本編の中で音声あるいは楽曲の振幅が所定の閾値以上になる部分を抽出すると映像コンテンツ１２０３０となる。映像コンテンツ１２０３０では抽出した部分を黒色でハッチング表示して示した。抽出した部分を１つにまとめると要約映像１２０３１となる。
【００９４】
本例は映像コンテンツの音響信号に周波数フィルタを使って音声成分と楽曲成分を抽出した後、両成分の波形を重畳すると重要なシーンの振幅が大きくなり、所定の閾値を越えるという仮説を用いた例である。音響信号の周波数特徴量の例を以下で説明する。
【００９５】
＜音響特徴量を抽出する方法＞
次に、図１２および図１３により、本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部での音響特徴量を抽出する方法について説明する。図１２および図１３は本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部での音響特徴量を抽出する方法を説明するための説明図であり、音響信号から音声を抽出する方法を示している。
【００９６】
図１２（ａ）は音響信号に音声が重畳した周波数スペクトルの例を示している。図１２（ｂ）は音響信号に音声が重畳していない周波数スペクトルの例を示している。周波数スペクトルの観測レンジを２５ｋＨｚ（可聴周波数レンジ）とする。
【００９７】
図１２（ａ）と図１２（ｂ）はともに６個の卓越周波数成分（左から順にｆ１，ｆ２，ｆ３，ｆ４，ｆ５，ｆ６）を持つとする。このうちｆ１とｆ２を音声帯域から観測される卓越成分とする。
【００９８】
すると卓越周波数成分の中心周波数（ｆ１，ｆ２）が所定の帯域（帯域１３０１１，帯域１３０１２）に含まれていて、かつ、（ｆ１，ｆ２）の応答倍率（Ｑ値）が所定の範囲に入っている場合を音声信号の周波数特徴とする。
【００９９】
図１２（ａ）の音声信号の周波数特徴量を周波数スペクトルパワーを要素とするベクトル量（Ａ１，Ａ２）と表記する。
【０１００】
例えば、図１２（ｂ）はＦ１のＱ値が低すぎたため音声信号とみなされない例である。      
【０１０１】
図１３にＱ値の定義を示す。Ｑ値は公知の量であり、共振周波数における周波数スペクトラムのエンベロープの先鋭度を表す。
【０１０２】
音声は声帯の振動により発生する。声帯は人体組織で構成されているため組織特異な減衰係数を持つ。この減衰係数がＱ値に一定の影響を与えるため、Ｑ値がとり得る値は生態組織特異の値になる。楽曲の特徴量も同様の考え方で抽出できる。
【０１０３】
このように特徴量はベクトル量で表記されて多次元空間の１点に対応する。本例では音声特徴量のみを取り上げて（Ａ１，Ａ２）と定義した。空間の次元数を拡張すれば同じ方式で映像特徴量も追加できる。映像特徴量としては空間周波数に対応したマザーウェーブレットを用いることができる。
【０１０４】
＜音響特徴量に意味を付ける方法＞
次に、音響特徴量に意味を付ける方法について説明する。
【０１０５】
可聴帯域の音響信号を発生する声帯の振動を観測するためには２５ｋＨｚレンジが必要になる。一方、人が様々な音素を発する周期は０．１秒（１０Ｈｚ）程度で観測できる。
【０１０６】
そこで音響信号の観測周期を０．１秒として観測時の周波数レンジを２５ｋＨｚレンジとする。音声だけでなく楽曲も含めて、ここでは人が音を聞き分ける時間分解能を１０Ｈｚとして説明する。
【０１０７】
音響信号を周期０．１秒で観測すると、０．１秒ごとに音声信号の周波数特徴量を収集できる。収集した音声信号の周波数特徴量Ｔをベクトル量の要素を時間の関数として、以下の数１の式で表記する。
【０１０８】
Ｔ（ｔ）＝（Ａ１（ｔ），Ａ２（ｔ））  …（数１）
ベクトル量の要素をさらに細分化して人物音声（Ａ１）、クラシック音響（Ａ２）、ジャズ音響（Ａ３）、歌謡曲（Ａ４）などと定義する。人物音声の特徴量の場合には上記の特徴量を以下の数２の式で表記できる。
【０１０９】
Ｔ（ｔ）＝（Ａ１１（ｔ），Ａ１２（ｔ））  …（数２）
また、人物音声とクラシック音響が同時にある場合には、以下の数３の式のようにリストを拡張して表現する。
【０１１０】
Ｔ（ｔ）＝（（Ａ１１（ｔ），Ａ１２（ｔ）），
（Ａ２１（ｔ），Ａ２２（ｔ），Ａ２３（ｔ）））  …（数３）
例えば、この特徴量を１時間の映像コンテンツ（の音響データ）に適用すると、周期０．１秒ごとに新しい特徴量を収集できるので３６０００個の特徴量を収集できる。
【０１１１】
この３６０００個の特徴量に対して個々の特徴量がどの程度の出現頻度で出現するかを計算する。
【０１１２】
計算結果から出現頻度が高い特徴量と、逆に出現頻度が低い特徴量を抽出する。抽出した結果に対して、以下の(1) 、(2) のように意味を付ける。この意味には厳密性と確実性が無いが、そうなる可能性が高いという程度の信頼性がある。
【０１１３】
(1) １つの映像コンテンツの中で出現頻度が高い特徴量を「頻繁に出現した特徴量」と意味付ける。この特徴量をＴ１と表記する。
【０１１４】
(2) １つの映像コンテンツの中で出現頻度が低い特徴量を「印象深い特徴量」と意味付ける。この特徴量をＴ２と表記する。
【０１１５】
次に、複数の映像コンテンツを旅行、懇親会、音楽会などにジャンル分けする。
【０１１６】
１つのジャンルを決めて、そこから抽出される特徴量に対する１つの特徴量の出現頻度を計算する。
【０１１７】
例えば、音楽会の映像コンテンツが３０本あったとする。１本あたりの再生時間を１時間と仮定すると合計３０時間となる。この映像コンテンツに前述の特徴量を適用すると１０８００００個の特徴量を収集できる。
【０１１８】
この１０８００００個の特徴量に対して個々の特徴量がどの程度の出現頻度で出現するかを計算する。
【０１１９】
計算結果から出現頻度が高い特徴量と、逆に出現頻度が低い特徴量を抽出する。
【０１２０】
抽出した結果に対して、ここでは、例えば以下の(3) 、(4) のように意味を付ける。
【０１２１】
(3) 同一ジャンルの映像コンテンツの中で出現頻度が高い特徴量を「馴染み深い特徴量」と意味付ける。この特徴量をＴ３と表記する。
【０１２２】
(4) 同一ジャンルの映像コンテンツの中で出現頻度が低い特徴量「珍しい特徴量」と意味付ける。この特徴量をＴ４と表記する。
【０１２３】
このようにして、(1) （Ｔ１）、(2) （Ｔ２）、(3) （Ｔ３）、(4) （Ｔ４）の特徴量に意味を付ける。
【０１２４】
＜シーンを抽出してランク付ける方法＞
次に、シーンを抽出してランク付ける方法について説明する。
【０１２５】
下記の手順で、(1) （Ｔ１）、(2) （Ｔ２）、(3) （Ｔ３）、(4) （Ｔ４）の特徴量を含むシーンＳを抽出して、ランクＲを付ける。
【０１２６】
まず、シーンＳを「(1) （Ｔ１）、(2) （Ｔ２）、(3) （Ｔ３）、(4) （Ｔ４）の特徴量の内、少なくとも１つの特徴量が所定の個数以上連続して含まれている区間」と定義する。
【０１２７】
そして１つのシーンＳに含まれる前記の(1) （Ｔ１）、(2) （Ｔ２）、(3) （Ｔ３）、(4) （Ｔ４）の特徴量の個数をＮＴ１、ＮＴ２、ＮＴ３、ＮＴ４と表記する。
【０１２８】
１つのシーンに含まれる特徴量の個数が最大となる特徴量をこのシーンの代表特徴量とする。
【０１２９】
例えば、Ｋ番目のシーンＳＫから特徴量Ｔ１が最も多く抽出されたとする。Ｋ番目のシーンＳＫから特徴量Ｔ１がＮＴ１個連続して抽出された場合には、Ｔ１をシーンＳＫの代表特徴量とする。そしてシーンＳＫのランクＲＫをＮＴ１とする。
【０１３０】
＜映像特徴量を抽出して映像を要約する方法＞
次に、図１４および図１５により、本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部での映像特徴量を抽出して映像を要約する方法について説明する。図１４および図１５は本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部での映像特徴量を抽出して映像を要約する方法を説明するための説明図である。
【０１３１】
映像特徴量の例として、例えば、映像に含まれる画像の空間周波数がある。この空間周波数を顔、人物、動物、車、道、建物、木、山、空などの意味を持つ画像領域と対応付ける。同様にテロップなどの文字に対応付けることもできる。
【０１３２】
例えば、人の顔は、目、鼻、口などの要素で構成し、各要素は卓越周波数成分を持っている。例えば、目は瞳、白目、まぶたから構成する。まぶたは、円弧状で目玉を上と下から挟み込む構造になっている。
【０１３３】
さらに、まぶたは一重まぶた、二重まぶたなどの特徴を持っている。従って画像を２次元の波形と考えると、目玉は、瞳を中心とした同心円状の局在波形と、上まぶたと下まぶたに対応した円弧状の局在波形を組合せた構造となる。
【０１３４】
そして、これらの局在波形は、それぞれが直交する波形素の線形和に級数展開することができる。この直交する波形素の例を図１４に示す。波形素は周波数ｆと方向θで定義される空間周波数を持つ。
【０１３５】
ここで１つの波形素を１つの空間周波数に対応させる。このとき前記級数を構成する項の係数が卓越した項に対応した空間周波数を卓越周波数と呼ぶ。このようにすると例えば目を例としてみても、複数の卓越周波数を発見することができる。
【０１３６】
図１５は瞳付近１６００１から３個の卓越周波数１６００２，１６００３，１６００４を発見した例である。
【０１３７】
従って、前述した＜音響特徴量を抽出する方法＞と同様に要素数がｎ個の空間周波数特徴量を空間周波数スペクトルパワーを要素とするベクトル量（Ａ１，Ａ２，．．．，Ａｎ）と定義することができる。このように音響特徴量と映像特徴量に同一の定義を適用したことにより、それ以後の＜特徴量に意味を付ける方法＞と＜シーンを抽出してランクを付ける方法＞を同様に適用することができる。
【０１３８】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【０１３９】
本発明は、映像コンテンツ受信装置、映像コンテンツ配信装置および映像コンテンツ配信方法に関し、テレビジョン受像機のように放送番組などの映像コンテンツを表示する映像コンテンツ視聴端末などにより、ビデオメールなどの映像コンテンツをダウンロードする前に要約だけを視聴して内容を確認する機器に広く適用可能である。
【図面の簡単な説明】
【０１４０】
【図１】本発明の一実施の形態に係る映像コンテンツ受信装置のハードウェアを示す構成図である。
【図２】本発明の一実施の形態に係る映像コンテンツ管理装置、映像コンテンツ配信装置、映像コンテンツ受信装置のソフトウェア構成を示す構成図である。
【図３】本発明の一実施の形態に係る映像コンテンツ受信装置のユーザインターフェースの表示画面の構成を示す図である。
【図４】本発明の一実施の形態に係る映像コンテンツ受信装置のユーザインターフェースの表示画面の構成を示す図である。
【図５】本発明の一実施の形態に係る映像コンテンツ受信装置のユーザインターフェースの表示画面の構成を示す図である。
【図６】本発明の一実施の形態に係る映像コンテンツ受信装置の処理フローである。
【図７】本発明の一実施の形態に係る映像コンテンツ配信装置の処理フローである。
【図８】本発明の一実施の形態に係る映像コンテンツ管理装置の処理フローであり、ビデオメールの送信処理を表している。
【図９】本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部の詳細なソフトウェア構成を示す図である。
【図１０】本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部の処理フローである。
【図１１】本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部による要約生成の具体例を説明するための説明図である。
【図１２】本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部での音響特徴量を抽出する方法を説明するための説明図である。
【図１３】本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部での音響特徴量を抽出する方法を説明するための説明図である。
【図１４】本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部での映像特徴量を抽出する方法を説明するための説明図である。
【図１５】本発明の一実施の形態に係る映像コンテンツ配信装置の要約生成部での映像特徴量を抽出する方法を説明するための説明図である。
【符号の説明】
【０１４１】
１００１…中央制御ユニット（ＣＰＵ）、１００２…ＲＯＭ、１００３…ＲＡＭ、１００４…ネットワークインターフェース、１００５…ユーザインターフェースコントローラ、１００６…操作部、１００７…受光部、１００８…表示部、１００９…グラフィックコントローラ、１０１０…ＶＲＡＭ、２００１…映像コンテンツ管理装置、２００２…ユーザインターフェース、２００３…メタデータ生成部、２００４…コンテンツ管理部、２００５…コンテンツ送信部、２００６…ストレージ装置、２０１０…映像コンテンツ配信装置、２０１１…コンテンツ受信部、２０１２…要約生成部、２０１３…コンテンツ管理部、２０１４…ストリーミング送信部、２０１５…コンテンツ送信部、２０１６…ストレージ装置、３０２０…映像コンテンツ受信装置、３０２１…ストリーミング受信部、３０２２…コンテンツ受信部、３０２３…コンテンツ管理部、３０２４…ストリーミング再生部、３０２５…映像再生部、３０２６…ユーザインターフェース、３０２７…ストレージ装置。
【図１】
2009278481.tif 000003
【図２】
2009278481.tif 000004
【図３】
2009278481.tif 000005
【図４】
2009278481.tif 000006
【図５】
2009278481.tif 000007
【図６】
2009278481.tif 000008
【図７】
2009278481.tif 000009
【図８】
2009278481.tif 000010
【図９】
2009278481.tif 000011
【図１０】
2009278481.tif 000012
【図１１】
2009278481.tif 000013
【図１２】
2009278481.tif 000014
【図１３】
2009278481.tif 000015
【図１４】
2009278481.tif 000016
【図１５】
2009278481.tif 000017