(57)【要約】【課題】録画済みのコンテンツに含まれる、曲の再生が行われる区間に対して、その曲の名前を含むメタ情報を設定することができるようにする。【解決手段】CMの放送開始時刻や放送局の情報に基づいて、CM曲情報配信サーバ３からCM曲情報が取得される。CM曲情報配信サーバ３から取得された曲名がCMの音声情報の特徴量と紐付けて記憶される。音楽番組などの、曲の再生が行われる区間を含む番組の録画が行われ、ミュージッククリップの各区間の音声情報の特徴量が抽出された場合、一致検索が行われる。CMの音声情報の特徴量との一致度が閾値以上となる音声情報の特徴量が抽出されたミュージッククリップ中の区間が特定された場合、そのCMで使われている曲の名前がメタ情報としてミュージッククリップに設定される。本発明は、録画機能を有する機器に適用することができる。【選択図】図９
2010166123.tif 000002
【特許請求の範囲】
【請求項１】
CMで使用されている曲の名前を含む情報であるCM曲情報を取得する取得手段と、
録画済みのCMの音声情報の特徴量と、録画済みのコンテンツに含まれる、曲の再生が行われる区間の音声情報の特徴量とを抽出する抽出手段と、
前記曲の再生が行われる区間に、前記録画済みのCMの音声情報の特徴量との一致度が閾値以上となる音声情報の特徴量が抽出された区間が含まれる場合、前記曲の再生が行われる区間のメタ情報として、前記CM曲情報に含まれる情報を設定する設定手段と
を備える情報処理装置。
【請求項２】
前記取得手段は、CMの提供時刻と前記CM曲情報を紐付けて管理するサーバとネットワークを介して通信を行い、前記録画済みのCMの提供時刻と紐付けて管理されている前記CM曲情報を取得する
請求項１に記載の情報処理装置。
【請求項３】
前記曲の再生が行われる区間を提示する場合、前記設定手段により設定された前記メタ情報に含まれる曲の名前を表示させる表示制御手段をさらに備える
請求項１に記載の情報処理装置。
【請求項４】
前記曲の再生が行われる区間全体のうち、前記録画済みのCMの音声情報の特徴量との一致度が閾値以上ある音声情報の特徴量が抽出された区間を再生する再生手段をさらに備える
請求項１に記載の情報処理装置。
【請求項５】
CMで使用されている曲の名前を含む情報であるCM曲情報を取得し、
録画済みのCMの音声情報の特徴量と、録画済みのコンテンツに含まれる、曲の再生が行われる区間の音声情報の特徴量とを抽出し、
前記曲の再生が行われる区間に、前記録画済みのCMの音声情報の特徴量との一致度が閾値以上となる音声情報の特徴量を抽出した区間が含まれる場合、前記曲の再生が行われる区間のメタ情報として、前記CM曲情報に含まれる情報を設定する
ステップを含む情報処理方法。
【請求項６】
CMで使用されている曲の名前を含む情報であるCM曲情報を取得し、
録画済みのCMの音声情報の特徴量と、録画済みのコンテンツに含まれる、曲の再生が行われる区間の音声情報の特徴量とを抽出し、
前記曲の再生が行われる区間に、前記録画済みのCMの音声情報の特徴量との一致度が閾値以上となる音声情報の特徴量を抽出した区間が含まれる場合、前記曲の再生が行われる区間のメタ情報として、前記CM曲情報に含まれる情報を設定する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、録画済みのコンテンツに含まれる、曲の再生が行われる区間に対して、その曲の名前を含むメタ情報を設定することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、ハードディスクレコーダやBlu-ray（商標）レコーダ等の録画機器が普及してきている。
【０００３】
録画機器の使い方として、複数のアーティストが順に演奏を行うような音楽番組を録画した後、各アーティストの演奏区間の開始位置と終了位置にチャプタを設定し、好みのアーティストの区間の再生等を容易に行うことができるようにしておくことが行われている。近年販売されている録画機器の多くには、リモートコントローラを操作するなどして、録画済みの番組の所定の位置にユーザがチャプタを設定することができる機能が搭載されている。
【０００４】
チャプタによって区切られる音楽番組の区間は言い方を変えれば映像付の音楽コンテンツとなる。映像付の音楽コンテンツはミュージッククリップとも呼ばれる。
【０００５】
１つの音楽番組から得られる複数のミュージッククリップの中から好みのものを選択して光ディスクに記録させて残しておいたり、携帯型の音楽プレーヤに転送して外出先で視聴したりすることも行われている。
【０００６】
ところで、従来、「eMarker」（商標）というサービスがある（非特許文献１）。
【０００７】
「eMarker」は携帯型の専用端末を用いて実現されるサービスであり、その専用端末の表面にはボタンが設けられるとともに、内部には時刻情報などを記憶するメモリが設けられる。
【０００８】
ラジオ番組やテレビジョン番組で聴いた曲の名前などを知りたい時にユーザが専用端末のボタンを押すと、押した時の時間帯などの情報が端末内のメモリに記録される。その後、専用端末をパーソナルコンピュータに接続すると、ボタンを押したときに聞いていた曲の名前や、その曲がBGMとして使われているCMの情報などがサーバにおいて検索され、それらの情報がパーソナルコンピュータの画面上に表示される。ユーザは、気になったCM(Commercial Message)の曲をだれが歌っているのかなどを確認することが可能になる。
【０００９】
【特許文献１】特開２００７−１２４６７７号公報
【非特許文献１】“ラジオやテレビで気になった曲やCMをブックマーク  新たなサービス『eMarker』、首都圏にてサービス開始”、平成２０年１２月２２日検索、<URL:http://www.sony.co.jp/SonyInfo/News/Press_Archive/200012/00-061b/>
【発明の概要】
【発明が解決しようとする課題】
【００１０】
光ディスクに記録させたり、音楽プレーヤに転送させたりするミュージッククリップを選択する際にそれぞれのミュージッククリップの曲名が表示されるとした場合、曲名を元にミュージッククリップを選択することができ、便利である。
【００１１】
従来、録画済みの番組にはEPG(Electronic Program Guide)データに基づいて番組名などがメタ情報として自動的に設定されるが、番組全体の一区間であるミュージッククリップに番組名とは異なる情報をメタ情報として自動的に設定するのは難しい。
【００１２】
例えば、音楽番組の名前と同じ名前をミュージッククリップにも設定しておくとした場合、同じ音楽番組を元にして生成された全てのミュージッククリップに同じ名前が設定されてしまうため、ミュージッククリップを選択する際に分かりづらい。
【００１３】
ミュージッククリップの内容を確認してリモートコントローラやキーボードを操作し、ユーザが手動で曲名などのメタ情報を設定するのは面倒である。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、録画済みのコンテンツに含まれる、曲の再生が行われる区間に対して、その曲の名前を含むメタ情報を設定することができるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の一側面の情報処理装置は、CMで使用されている曲の名前を含む情報であるCM曲情報を取得する取得手段と、録画済みのCMの音声情報の特徴量と、録画済みのコンテンツに含まれる、曲の再生が行われる区間の音声情報の特徴量とを抽出する抽出手段と、前記曲の再生が行われる区間に、前記録画済みのCMの音声情報の特徴量との一致度が閾値以上となる音声情報の特徴量が抽出された区間が含まれる場合、前記曲の再生が行われる区間のメタ情報として、前記CM曲情報に含まれる情報を設定する設定手段とを備える。
【００１６】
前記取得手段には、CMの提供時刻と前記CM曲情報を紐付けて管理するサーバとネットワークを介して通信を行わせ、前記録画済みのCMの提供時刻と紐付けて管理されている前記CM曲情報を取得させることができる。
【００１７】
前記曲の再生が行われる区間を提示する場合に、前記設定手段により設定された前記メタ情報に含まれる曲の名前を表示させる表示制御手段をさらに設けることができる。
【００１８】
前記曲の再生が行われる区間全体のうち、前記録画済みのCMの音声情報の特徴量との一致度が閾値以上ある音声情報の特徴量が抽出された区間を再生する再生手段をさらに設けることができる。
【００１９】
本発明の一側面の情報処理方法またはプログラムは、CMで使用されている曲の名前を含む情報であるCM曲情報を取得し、録画済みのCMの音声情報の特徴量と、録画済みのコンテンツに含まれる、曲の再生が行われる区間の音声情報の特徴量とを抽出し、前記曲の再生が行われる区間に、前記録画済みのCMの音声情報の特徴量との一致度が閾値以上となる音声情報の特徴量を抽出した区間が含まれる場合、前記曲の再生が行われる区間のメタ情報として、前記CM曲情報に含まれる情報を設定するステップを含む。
【００２０】
本発明の一側面においては、CMで使用されている曲の名前を含む情報であるCM曲情報が取得され、録画済みのCMの音声情報の特徴量と、録画済みのコンテンツに含まれる、曲の再生が行われる区間の音声情報の特徴量とが抽出される。また、前記曲の再生が行われる区間に、前記録画済みのCMの音声情報の特徴量との一致度が閾値以上となる音声情報の特徴量が抽出された区間が含まれる場合、前記曲の再生が行われる区間のメタ情報として、前記CM曲情報に含まれる情報が設定される。
【発明の効果】
【００２１】
本発明の一側面によれば、録画済みのコンテンツに含まれる、曲の再生が行われる区間に対して、その曲の名前を含むメタ情報を設定することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る通信システムの構成例を示すブロック図である。
【図２】CM曲情報配信サーバにおいて管理されている情報の例を示す図である。
【図３】CM曲情報を取得する録画再生装置の動作の例を示す図である。
【図４】CM曲情報と特徴量の例を示す図である。
【図５】ミュージッククリップの例を示す図である。
【図６】ミュージッククリップの音声情報の特徴量の例を示す図である。
【図７】一致検索の例を示す図である。
【図８】ミュージッククリップのメタ情報の例を示す図である。
【図９】ミュージッククリップのメタ情報を設定するまでの一連の流れを示す図である。
【図１０】ミュージッククリップの一覧画面の例を示す図である。
【図１１】録画再生装置の構成例を示すブロック図である。
【図１２】録画再生装置の録画処理について説明するフローチャートである。
【図１３】録画再生装置のCM曲情報取得処理について説明するフローチャートである。
【図１４】録画再生装置のメタ情報設定処理について説明するフローチャートである。
【図１５】録画再生装置の再生処理について説明するフローチャートである。
【図１６】ミュージッククリップの再生区間の例を示す図である。
【図１７】他の通信システムの構成例を示すブロック図である。
【図１８】メタ情報を設定するまでの一連の流れを示す図である。
【図１９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
［システムの構成と動作］
図１は、本発明の一実施形態に係る通信システムの構成例を示すブロック図である。
【００２４】
図１に示すように、この通信システムは、録画再生装置１とCM曲情報配信サーバ３がインターネットなどよりなるネットワーク２を介して接続されることによって構成される。
【００２５】
録画再生装置１はハードディスクレコーダやBlu-rayレコーダなどの機器である。録画再生装置１にはケーブルを介してテレビジョン受像機が接続される。録画再生装置１は録画再生機能の他に、ネットワーク２を介してCM曲情報配信サーバ３と通信を行う機能を有する。
【００２６】
CM曲情報配信サーバ３は、上述した「eMarker」のサービスを提供するサーバと同様の機能を有する。CM曲情報配信サーバ３は、ネットワーク２を介して送信されてきた時刻の情報に基づいて、その時刻を含む時間帯にテレビジョン放送などによって提供されていたCMで使われている曲の情報を、時刻の情報を送信してきた機器に送信する。
【００２７】
図２は、CM曲情報配信サーバ３において管理されている情報の例を示す図である。
【００２８】
図２に示すように、各CMに対して、放送開始時刻、BGM(Back Ground Music)として使われている曲の名前、曲を演奏するアーティストの名前などの情報が紐付けて管理される。なお、CMには、商品やサービスの宣伝の映像、音声の他に、番組やイベントの宣伝の映像、音声も含まれる。
【００２９】
図２の例においては、CM１に対しては、放送開始時刻「12:00:00」（１２時０分０秒）、曲名「AAA」、アーティスト名「aaa」が紐付けられている。また、CM２に対しては、放送開始時刻「12:00:15」、曲名「BBB」、アーティスト名「bbb」が紐付けられている。
【００３０】
CM３に対しては、放送開始時刻「12:00:30」、曲名「CCC」、アーティスト名「ccc」が紐付けられ、CM４に対しては、放送開始時刻「12:00:45」、曲名「DDD」、アーティスト名「ddd」が紐付けられている。
【００３１】
時刻情報だけでなく、それぞれのCMが放送されたチャンネルの情報なども紐付けて管理されるようにしてもよい。以下、適宜、BGMとしてCM中で使われている曲の名前、アーティスト名などの情報をCM曲情報という。
【００３２】
図１の説明に戻り、録画再生装置１は、このようなCM曲情報を管理するCM曲情報配信サーバ３との間で通信を行い、CM曲情報配信サーバ３から取得したCM曲情報に含まれる情報をミュージッククリップのメタ情報として設定する。
【００３３】
ミュージッククリップは、上述したように映像付の音楽コンテンツである。音楽番組などの録画済みのコンテンツに含まれる、映像とともに曲の再生が行われる区間が録画再生装置１においてはミュージッククリップとして管理される。
【００３４】
例えばユーザがミュージッククリップの一覧の表示を指示した場合、録画再生装置１に接続されるテレビジョン受像機には、各ミュージッククリップのメタ情報に含まれる曲名などの情報が表示される。ユーザは、録画再生装置１において再生するミュージッククリップや、携帯型のミュージックプレーヤに録画再生装置１から転送するミュージッククリップを、曲名を見ながら選択することができる。
【００３５】
図３は、CM曲情報を取得する録画再生装置１の動作の例を示す図である。
【００３６】
図３の例においては、あるバラエティ番組が録画され、音声情報や画像情報が解析されることによって、本編１と本編２の間の区間がCM区間として検出されている。検出されたCM区間は４つのCMであるCM１乃至４から構成されている。
【００３７】
CM１の放送開始時刻は「12:00:00」とされ、CM２の放送開始時刻は「12:00:15」とされている。また、CM３の放送開始時刻は「12:00:30」とされ、CM４の放送開始時刻は「12:00:45」とされている。
【００３８】
CMの検出は、番組の本編とCMの間、CMとCMの間にはシーンチェンジがあること、CM区間では音声がステレオ音声になっていること、１つのCMの区間は１５秒の整数倍の長さの区間になっていることなどに基づいて行われる。画像情報、音声情報のこれらの特徴が録画再生装置１においては抽出される。CM検出については例えば特開２００２−１６８７３号公報に記載されている。
【００３９】
録画再生装置１においては、CM曲情報配信サーバ３に対する問い合わせが行われ、検出されたCMの放送開始時刻の情報に基づいて、それぞれのCMのCM曲情報が取得される。
【００４０】
CM１の放送開始時刻は「12:00:00」であるから、図２に示すようなデータベースに基づいて、図３のCM１が図２のCM１と同じCMであるとしてCM曲情報配信サーバ３において特定される。CM１でBGMとして使われている曲の名前である「AAA」がCM曲情報配信サーバ３から送信され、録画再生装置１により取得される。
【００４１】
図３のCM２乃至４についても同様に、放送開始時刻に基づいてそれぞれ図２のCM２乃至４と同じCMであるとして特定される。図３の例においては、CM２で使われている曲の名前である「BBB」、CM３で使われている曲の名前である「CCC」、CM４で使われている曲の名前である「DDD」が取得されている。
【００４２】
また、録画再生装置１においては、各CMの音声情報の解析が行われることによって特徴量が抽出され、各CMのCM曲情報と紐付けて管理される。CMの音声情報にはBGMとして使われている曲も含まれるから、抽出される特徴量はCMで使われている曲の特徴も表す。例えば、周波数帯域毎の成分の分布を示すパワースペクトル、テンポなどの特徴量が抽出される。
【００４３】
図４は、CM曲情報と特徴量の例を示す図である。
【００４４】
図４の例においては、CM１の情報として、CM１で使われている曲の名前である「AAA」と、CM１の音声情報から抽出された特徴量１の値である「ａ1」と、特徴量２の値である「ａ2」が紐付けて記憶されている。
【００４５】
また、CM２の情報として、CM２で使われている曲の名前である「BBB」と、CM２の音声情報から抽出された特徴量１の値である「ｂ1」と、特徴量２の値である「ｂ2」が紐付けて記憶されている。CM３，４についても同様に、曲の名前と、特徴量１，２の値が紐付けて記憶されている。
【００４６】
このように、録画再生装置１においては、ミュージッククリップのメタ情報を設定するための前処理として、録画済みの番組に含まれるCMで使われている曲の名前などの情報が取得され、CMの音声情報の特徴量と紐付けて記憶される。録画が行われた全ての番組を対象としてこのような処理が行われることにより、録画再生装置１には様々なCMで使われている曲の名前などの情報とCMの音声情報の特徴量が紐付けて記憶されることになる。
【００４７】
CMで使われている曲の名前などの情報とCMの音声情報の特徴量が紐付けて記憶された後、そのCMのデータ自体はミュージッククリップにメタ情報を設定することには用いられないから番組のデータとともに削除されるようにしてもよい。
【００４８】
図５は、ミュージッククリップの例を示す図である。
【００４９】
図５に示す音楽番組は、例えば、複数のアーティストが順に演奏を行う形式の録画済みの番組であり、チャプタが設定されることによって、それぞれのアーティストが演奏する曲１乃至４の区間に区切られている。曲１乃至４の区間は、それぞれミュージッククリップ１乃至４として管理されている。
【００５０】
録画再生装置１においては、このように例えばチャプタが設定されることによって音楽番組が区切られ、ミュージッククリップとして管理される。チャプタが設定されることなく、曲の開始位置と終了位置が検出され、検出された開始位置から終了位置までの区間がミュージッククリップとして管理されるようにしてもよい。
【００５１】
ユーザは、ミュージッククリップ単位で、再生したり、携帯型の音楽プレーヤに転送したりすることができる。
【００５２】
また、録画再生装置１においては、各ミュージッククリップの音声情報の解析が行われ、CMの音声情報と同様に、パワースペクトル、テンポなどの特徴量が抽出される。例えば、１５秒間の区間毎といったように、CMの音声情報の特徴量との比較の対象になる区間毎の音声情報の特徴量が抽出される。
【００５３】
図６は、ミュージッククリップの音声情報の特徴量の例を示す図である。ここでは、各ミュージッククリップの特徴量として、CMの音声情報の特徴量との比較の対象になる１つの区間の音声情報から抽出された特徴量を示している。
【００５４】
図６の例においては、ミュージッククリップ１の音声情報の特徴量として、特徴量１の値である「ｂ1」と特徴量２の値である「ｂ2」が紐付けて記憶されている。ミュージッククリップ１には、特徴量１の値が「ｂ1」、特徴量２の値が「ｂ2」となる音声情報の区間が含まれる。
【００５５】
また、ミュージッククリップ２の音声情報の特徴量として、特徴量１の値である「ｅ1」と特徴量２の値である「ｅ2」が紐付けて記憶されている。ミュージッククリップ２には、特徴量１の値が「ｅ1」、特徴量２の値が「ｅ2」となる音声情報の区間が含まれる。
【００５６】
ミュージッククリップ３，４についても同様に、それぞれの音声情報から抽出された特徴量１の値と特徴量２の値が紐付けて記憶されている。図６の特徴量１，２は、図４の特徴量１，２とそれぞれ同じ種類の特徴量である。
【００５７】
このように、録画再生装置１においては、番組の録画が行われた後、それぞれのミュージッククリップの音声情報の特徴量が抽出され、記憶される。
【００５８】
図７は、一致検索の例を示す図である。
【００５９】
CMで使われている曲の名前などの情報がCMの音声情報の特徴量と紐付けて記憶され、それぞれのミュージッククリップの音声情報の特徴量が記憶された後、録画再生装置１においては特徴量の一致検索が行われる。一致検索により、CMの音声情報の特徴量との一致度が閾値以上ある音声情報の特徴量が抽出されたミュージッククリップの区間が特定される。
【００６０】
図７の例においては、CM１の音声情報の特徴量と、ミュージッククリップ１乃至４の各区間の音声情報の特徴量との一致度がそれぞれ求められている。ミュージッククリップ１乃至４において点線で区切って示すそれぞれの区間が、CM１の音声情報の特徴量との一致度を求める対象になる。
【００６１】
CM１の音声情報の特徴量１の値は「ａ1」、特徴量２の値は「ａ2」である（図４）。図６に示すような特徴量が抽出されている場合、CM１の音声情報の特徴量との一致度が閾値以上ある音声情報の特徴量が抽出された区間として、図７において斜線を付して示すミュージッククリップ４に含まれる区間が特定される。図６に示すように、ミュージッククリップ４には、特徴量１の値が「ａ1」、特徴量２の値が「ａ2」となる音声情報の区間が含まれる。
【００６２】
CM１の音声情報の特徴量との一致度が閾値以上ある音声情報の特徴量が抽出された区間がミュージッククリップ４の区間として特定された場合、CM１で使われている曲の名前である「AAA」が、ミュージッククリップ４のメタ情報として設定される。曲の名前以外にも、CM曲情報に含まれるアーティスト名などの情報がメタ情報として設定される。
【００６３】
他のミュージッククリップについても同様に音声情報の特徴量に基づいて一致検索が行われ、CM曲情報に含まれる情報がメタ情報として設定される。
【００６４】
図８は、ミュージッククリップのメタ情報の例を示す図である。
【００６５】
図８の例においては、ミュージッククリップ４のメタ情報として上述したように「AAA」の曲名が設定されている。
【００６６】
また、ミュージッククリップ１のメタ情報として「BBB」の曲名が設定されている。ミュージッククリップ１は、図６に示すように特徴量１の値が「ｂ1」、特徴量２の値が「ｂ2」となる音声情報の区間を含むコンテンツである。図４の例においては、CM２の音声情報の特徴量の値として同じ値が抽出されているから、CM２で使われている曲の名前である「BBB」が、ミュージッククリップ１のメタ情報として設定されることになる。
【００６７】
図８の例においては、ミュージッククリップ２に対しては曲名「EEE」が設定され、ミュージッククリップ３に対しては曲名「FFF」が設定されている。
【００６８】
このように、音楽番組において再生される曲（ミュージッククリップの曲）と同じ曲がCM中で使われているものと仮定して、一致検索が行われ、CM曲情報配信サーバ３から取得されたCM曲情報がメタ情報としてミュージッククリップに設定される。
【００６９】
例えば、CMで紹介されるような映画の主題歌を演奏するアーティストは、CMが頻繁に放送される映画の封切り前の期間中、音楽番組にもよく出演して主題歌を演奏する。映画のCMのBGMとして主題歌が使用されており、CM曲情報配信サーバ３に曲名が登録されている場合、そのアーティストが出演している音楽番組から得られたミュージッククリップには、CM曲情報配信サーバ３から取得された主題歌の曲名が設定される。
【００７０】
このように、録画済みのコンテンツのうちの曲の再生が行われる区間であるミュージッククリップに対して、その曲の名前を含むメタ情報を設定することが可能になる。
【００７１】
なお、CMで使われている部分は曲全体のうちのサビの部分であることが多い。サビの部分がCMで使われているとした場合、CMの音声情報の特徴量との一致度が閾値以上ある音声情報の特徴量が抽出された区間として特定されるミュージッククリップ中の区間は、そのミュージッククリップで再生される曲のサビの部分となる。このようにして特定されたサビの部分を示す情報が、メタ情報としてミュージッククリップに設定されるようにしてもよい。
【００７２】
図７の例の場合、斜線を付して示す区間を示す情報が、ミュージッククリップ４のメタ情報として設定されることになる。
【００７３】
図９は、ミュージッククリップのメタ情報を設定するまでの一連の流れを示す図である。
【００７４】
バラエティ番組などの所定の番組の録画が行われ、CMが検出された場合、図９において「１：」として示すように、CMの放送開始時刻や放送局の情報に基づいて、CM曲情報配信サーバ３からCM曲情報が取得される。
【００７５】
また、CM曲情報配信サーバ３から取得された曲名が、「２：」として示すようにCMの音声情報の特徴量と紐付けて記憶される。
【００７６】
「３：」として示すように、音楽番組などの、曲の再生が行われる区間を含む番組の録画が行われ、ミュージッククリップの各区間の音声情報の特徴量が抽出された場合、「４：」として示すように一致検索が行われる。
【００７７】
CMの音声情報の特徴量との一致度が閾値以上となる音声情報の特徴量が抽出されたミュージッククリップ中の区間が特定された場合、「５：」として示すように、そのCMで使われている曲の名前がメタ情報としてミュージッククリップに設定される。
【００７８】
以上のようにしてメタ情報として設定された曲名は、例えば、ミュージッククリップの一覧を表示するときに用いられる。
【００７９】
図１０は、録画再生装置１と接続されるテレビジョン受像機に表示される、ミュージッククリップの一覧画面の例を示す図である。
【００８０】
図１０に示す画面は、例えば、録画再生装置１を起動させたときに表示されるメニュー画面から、ミュージッククリップの一覧画面の表示を指示したときに表示される。
【００８１】
図１０の例においては、上から順に、ミュージッククリップの曲名として「BBB」、「EEE」、「FFF」、「AAA」が表示されている。「BBB」、「EEE」、「FFF」、「AAA」は、図８を参照して説明したようにミュージッククリップ１乃至４のメタ情報として設定された曲名である。
【００８２】
「BBB」、「EEE」、「FFF」、「AAA」の左隣にはサムネイル画像Ｓ1乃至Ｓ4がそれぞれ表示されている。サムネイル画像Ｓ1乃至Ｓ4は、例えば、それぞれのミュージッククリップの画像情報に含まれる先頭の１フレームの画像である。
【００８３】
ユーザは、このようにして表示される曲名を見ながらリモートコントローラを操作するなどしてカーソルＣを上下に移動させ、所定のミュージッククリップを選択することができる。
【００８４】
ミュージッククリップを選択した後、画面には、選択したミュージッククリップの操作に関するメニューが表示される。ユーザは、携帯型の音楽プレーヤにミュージッククリップを転送することなどを、そのメニューから指示することができる。
【００８５】
ミュージッククリップを携帯型の音楽プレーヤに転送することが指示された場合、ミュージッククリップのデータ（画像情報、音声情報）とともにメタ情報も転送され、音楽プレーヤの内部のメモリに記憶される。メタ情報も転送されるため、音楽プレーヤの画面にミュージッククリップの曲名を表示させることも可能になる。
【００８６】
［録画装置の構成］
図１１は、録画再生装置１の構成例を示すブロック図である。
【００８７】
図１１に示す構成のうちの少なくとも一部は、録画再生装置１が有するCPU(Central Processing Unit)により所定のプログラムが実行されることによって実現される。
【００８８】
放送受信部１１は、図示せぬアンテナからの信号に基づいて、地上波デジタル放送、BS(Broadcasting Satellite)放送、CS(Communications Satellite)放送などによって放送される番組の信号を受信する。放送受信部１１は、受信した信号に対してデコード処理などの各種の処理を施し、MPEG-TSなどのストリームを番組記録部１２に出力する。
【００８９】
番組記録部１２は、放送受信部１１から供給されたストリームをそのまま、またはMPEG-４形式のストリームに再変換し、ハードディスクなどの記録媒体に記録する。番組記録部１２によりハードディスクに記録されたストリームは、適宜、再生部２４により読み出される。
【００９０】
特徴量抽出部１３は、録画済みの番組の各区間の画像情報、音声情報の特徴量を抽出し、特徴量保持部１４、CM区間判定部１５、および音楽区間判定部１６に出力する。
【００９１】
特徴量保持部１４は、特徴量抽出部１３により抽出された特徴量を録画済みの番組に紐付けて保持する。
【００９２】
CM区間判定部１５は、特徴量抽出部１３により抽出された特徴量に基づいて、録画済みの番組に含まれるCMを検出し、検出したCMの放送開始時刻の情報をCM曲情報・特徴量紐付け部１９に出力する。
【００９３】
音楽区間判定部１６は、特徴量抽出部１３により抽出された特徴量に基づいて、音楽区間、すなわち、曲の再生が行われる区間であるミュージッククリップを検出し、それぞれのミュージッククリップの区間を示す情報を音楽区間・特徴量紐付け部２０に出力する。複数の曲が順に再生される場合、特徴量抽出部１３により抽出された特徴量の変化によって、曲が切り替わったことが検出される。
【００９４】
音楽区間判定部１６により検出される区間には、番組中で人が演奏している区間だけでなく、風景などの映像とともに曲の再生が行われる区間も含まれる。また、１曲の最初から最後までの区間だけでなく、１曲の一部の区間も含まれる。
【００９５】
ネットワーク送受信部１７は、CM曲情報配信サーバ３とネットワーク２を介して通信を行うことによって放送開始時刻や放送局に紐付けられたCM曲情報を取得し、取得したCM曲情報をCM曲情報保持部１８に出力する。CM曲情報・特徴量紐付け部１９からは、特徴量保持部１４からCM曲情報・特徴量紐付け部１９に対して供給された、各CMの放送開始時刻などの情報が供給される。
【００９６】
CM曲情報保持部１８は、ネットワーク送受信部１７により取得されたCM曲情報をハードディスクに記録するなどして録画再生装置１内に保持する。
【００９７】
CM曲情報・特徴量紐付け部１９は、各CMについて、CM曲情報保持部１８により保持されているCM曲情報と、特徴量保持部１４により保持されている音声情報の特徴量を紐付けて管理する。CM曲情報・特徴量紐付け部１９により、図４に示すような情報が管理される。
【００９８】
音楽区間・特徴量紐付け部２０は、音楽区間判定部１６により検出されたミュージッククリップと、特徴量保持部１４により保持されているミュージッククリップの音声情報の特徴量を紐付けて管理する。音楽区間・特徴量紐付け部２０により、図６に示すような情報が管理される。
【００９９】
一致検索部２１は、CM曲情報・特徴量紐付け部１９により管理されているCMの音声情報の特徴量と、音楽区間・特徴量紐付け部２０により管理されているミュージッククリップの各区間の音声情報の特徴量に基づいて一致検索を行う。一致検索部２１により、図７を参照して説明したような処理が行われる。
【０１００】
一致検索部２１は、CMの音声情報の特徴量との一致度が閾値以上になる音声情報の特徴量が抽出されたミュージッククリップの区間を特定した場合、そのCMのCM曲情報をCM曲情報・特徴量紐付け部１９から取得してメタ情報保持部２２に出力する。また、一致検索部２１は、CMの音声情報の特徴量との一致度が閾値以上になる音声情報の特徴量が抽出された区間を含むミュージッククリップの情報を音楽区間・特徴量紐付け部２０から取得し、メタ情報保持部２２に出力する。
【０１０１】
メタ情報保持部２２は、一致検索部２１から供給されたミュージッククリップの情報とCM曲情報を紐付けて管理することによって、ミュージッククリップにメタ情報を設定する。メタ情報保持部２２により、図８に示すような情報が管理される。
【０１０２】
メタ情報提示部２３は、外部のテレビジョン受像機の画面上のGUI(Graphical User Interface)を制御したり、本体の液晶パネルの表示を制御したりして、適宜、ミュージッククリップに設定されているメタ情報をユーザに提示する。メタ情報提示部２３により、例えば、図１０に示すような画面が表示される。
【０１０３】
再生部２４は、再生するミュージッククリップがユーザにより選択された場合、番組記録部１２により記録されている番組のデータからミュージッククリップの区間のデータを読み出し、再生する。再生するミュージッククリップの選択は、図１０に示すような画面から行われる。ミュージッククリップのデータが再生されることによって得られた画像と音声はテレビジョン受像機から出力される。
【０１０４】
［録画再生装置の処理］
次に、以上のような構成を有する録画再生装置１の処理について説明する。
【０１０５】
はじめに、図１２のフローチャートを参照して、番組を録画する録画再生装置１の処理について説明する。
【０１０６】
ステップＳ１において、放送受信部１１は、録画対象になっている番組を受信する。
【０１０７】
ステップＳ２において、番組記録部１２は、放送受信部１１により受信された番組を記録（録画）する。
【０１０８】
ステップＳ３において、特徴量抽出部１３は、録画済みの番組の画像情報、音声情報を解析し、CM検出に用いられる特徴量、ミュージッククリップの検出に用いられる特徴量、一致検索に用いられる特徴量を抽出する。
【０１０９】
以上の処理が繰り返し行われることによって、録画再生装置１には、CM曲情報を取得するために必要なCMを含む番組や、ミュージッククリップとして管理されてメタ情報を設定する対象になる、曲の再生が行われる区間を含む番組が記録される。
【０１１０】
次に、図１３のフローチャートを参照して、CM曲情報を取得する録画再生装置１の処理について説明する。
【０１１１】
図１３に示す処理は、図１２の処理が行われることによって録画済みの番組の特徴量が抽出された後に行われる。
【０１１２】
ステップＳ１１において、CM区間判定部１５は、録画済みの番組の特徴量に基づいてCM検出を行うことによってCMの録画が行われたか否かを判定し、CMの録画が行われたと判定するまで待機する。
【０１１３】
CMの録画が行われたとステップＳ１１において判定された場合、ステップＳ１２において、ネットワーク送受信部１７は、CMの放送開始時刻に基づいてCM曲情報を取得する。CMの録画が行われた場合、CMの放送開始時刻の情報がCM区間判定部１５からCM曲情報・特徴量紐付け部１９に出力され、ネットワーク送受信部１７に供給される。
【０１１４】
ステップＳ１３において、ネットワーク送受信部１７は、CM曲情報を取得することができたか否かを判定する。
【０１１５】
CM曲情報を取得することができたとステップＳ１３において判定された場合、ステップＳ１４において、CM曲情報・特徴量紐付け部１９は、CM曲情報と、CMの音声情報の特徴量を紐付けて記憶する。ネットワーク送受信部１７により取得されたCM曲情報はCM曲情報保持部１８に出力され、保持されており、そのCM曲情報と、特徴量保持部１４により保持されているCMの音声情報の特徴量が紐付けられる。
【０１１６】
ステップＳ１４においてCM曲情報とCMの音声情報の特徴量が紐付けて記憶された後、または、ステップＳ１３においてCM曲情報を取得することができなかったと判定された場合、ステップＳ１１以降の処理が繰り返される。
【０１１７】
次に、図１４のフローチャートを参照して、ミュージッククリップにメタ情報を設定する録画再生装置１の処理について説明する。
【０１１８】
ステップＳ２１において、音楽区間判定部１６は、ミュージッククリップを検出したか否かを録画済みの番組の特徴量に基づいて判定し、検出したと判定するまで待機する。
【０１１９】
ミュージッククリップを検出したとステップＳ２１において判定された場合、ステップＳ２２において、音楽区間・特徴量紐付け部２０は、検出されたミュージッククリップと、そのミュージッククリップの音声情報の特徴量を紐付けて記憶する。
【０１２０】
ステップＳ２３において、一致検索部２１は、CM曲情報・特徴量紐付け部１９と音楽区間・特徴量紐付け部２０により管理されている情報に基づいて、ミュージッククリップの音声情報の特徴量と、CMの音声情報の特徴量の一致検索を行う。
【０１２１】
ステップＳ２４において、一致検索部２１は、CMの音声情報の特徴量との一致度が閾値以上ある（CMの音声情報の特徴量と一致する）音声情報の特徴量が抽出されたミュージッククリップの区間があるか否かを判定する。
【０１２２】
CMの音声情報の特徴量と一致する音声情報の特徴量が抽出された区間があるとステップＳ２４において判定された場合、ステップＳ２５において、メタ情報保持部２２はCM曲情報に含まれる情報をメタ情報としてミュージッククリップに設定し、記憶する。CMの音声情報の特徴量と一致する区間を含むミュージッククリップに対して、そのCMのCM曲情報に含まれる曲名などの情報がメタ情報として設定されることになる。
【０１２３】
ステップＳ２５においてメタ情報が設定された後、または、CMの音声情報の特徴量と一致するミュージッククリップの区間がないとステップＳ２４において判定された場合、ステップＳ２１以降の処理が繰り返される。
【０１２４】
次に、図１５のフローチャートを参照して、ミュージッククリップを再生する録画再生装置１の処理について説明する。
【０１２５】
ステップＳ３１において、メタ情報提示部２３は、メタ情報を表示することが指示されたか否かを判定し、表示することが指示されたと判定するまで待機する。例えば、ミュージッククリップの一覧を表示することがユーザにより指示された場合、メタ情報を表示することが指示されたとして判定される。
【０１２６】
メタ情報を表示することが指示されたとステップＳ３１において判定した場合、ステップＳ３２において、メタ情報提示部２３は、メタ情報保持部２２により保持されている、それぞれのミュージッククリップのメタ情報を表示する。これにより図１０に示すような画面が表示される。
【０１２７】
ステップＳ３３において、再生部２４は、ミュージッククリップの再生が指示されたか否かを判定する。
【０１２８】
ミュージッククリップの再生が指示されたとステップＳ３３において判定した場合、ステップＳ３４において、再生部２４は、番組記録部１２により記録されている番組のデータからミュージッククリップの区間のデータを読み出し、再生する。
【０１２９】
ステップＳ３４においてミュージッククリップの再生が行われた後、または、ステップＳ３３においてミュージッククリップの再生が指示されていないと判定された場合、ステップＳ３１以降の処理が繰り返される。
【０１３０】
以上の処理により、ユーザは、それぞれのミュージッククリップで再生される曲の名前などの情報を確認し、ミュージッククリップを選択することができる。
【０１３１】
図１６は、ミュージッククリップの再生区間の例を示す図である。
【０１３２】
ミュージッククリップのメタ情報としてCMの音声情報の特徴量との一致度が閾値以上ある音声情報の特徴量が抽出された区間を示す情報が設定されている場合、先頭からではなく、その区間だけの再生が行われるようにしてもよい。図１６の位置ｐ1，ｐ2は、CMの音声情報の特徴量との一致度が閾値以上ある音声情報の特徴量が抽出された区間の開始位置と終了位置である。
【０１３３】
CMの音声情報の特徴量との一致度が閾値以上ある音声情報の特徴量が抽出されたミュージッククリップの区間は、曲全体のうちのCMで使われている部分と同じ部分の再生が行われる区間である。CMで使われている部分は上述したように曲のサビの部分であることが多いから、これにより、ミュージッククリップ全体のうちのサビの部分が再生されることになる。
【０１３４】
同じような方法で複数のミュージッククリップの再生を行うことによって、ユーザは、それぞれのミュージッククリップのサビの部分を続けて視聴することが可能になる。
【０１３５】
図１６に示すようなCMの音声情報の特徴量との一致度が閾値以上ある音声情報の特徴量が抽出されたミュージッククリップの区間を時間的に前後に広げた区間を対象として再生が行われるようにしてもよい。
【０１３６】
例えば、画像情報の特徴量としてシーンチェンジの位置が特徴量抽出部１３により検出されている場合、図１６の位置ｐ1の直前にあるシーンチェンジの位置から、位置ｐ2の直後にあるシーンチェンジの位置までが再生される。これにより、サビの部分を含みつつ、映像の再生が自然な形で行われる区間を再生することが可能になる。
【０１３７】
［変形例］
以上においては、録画済みの番組から検出されたCMのCM曲情報が取得されるものとしたが、録画されていないものも含めて、CM曲情報配信サーバ３からCM曲情報がダウンロードされ、録画再生装置１内のハードディスクに記録されるようにしてもよい。この場合、録画済みのCMの音声情報の特徴量と紐付けるCM曲情報は、録画再生装置１内のハードディスクから取得されることになる。
【０１３８】
また、以上においては、曲の再生が行われる区間であるミュージッククリップにメタ情報を設定する場合について説明したが、録画済みの番組のうちの、ある出演者が出演している区間にメタ情報を設定する場合にも同様の処理を適用することができる。
【０１３９】
図１７は、録画済みの番組のうちの、ある出演者が出演している区間にメタ情報を設定する場合の通信システムの構成例を示すブロック図である。
【０１４０】
図１７のCM出演者情報配信サーバ３１は、CMに出演している出演者の名前などの情報であるCM出演者情報を記憶する。CM出演者情報配信サーバ３１は、ネットワーク２を介して送信されてきた時刻の情報に基づいて、その時刻を含む時間帯にテレビジョン放送などによって提供されていたCMのCM出演者情報を、時刻の情報を送信してきた機器に送信する。
【０１４１】
図１８を参照して、録画再生装置１において行われる、録画済みの番組のうちの、ある出演者が出演している区間にメタ情報を設定する一連の流れについて説明する。
【０１４２】
所定の番組である番組１の録画が行われ、番組１からCMが検出された場合、図１８において「１：」として示すように、CMの放送開始時刻や放送局の情報に基づいて、そのCMの出演者の名前がCM出演者情報配信サーバ３１から取得される。
【０１４３】
また、CM出演者情報配信サーバ３１から取得された出演者名が、「２：」として示すようにCMに出演している出演者の顔の特徴量と紐付けて記憶される。すなわち、この例においては、音声情報ではなく、画像情報の解析が行われることによって、出演者の顔の特徴量が抽出され、CM出演者情報と紐付けて記憶される。顔の特徴量としては、例えば、顔全体に占める目部分、鼻部分、口部分などの所定の部分の面積、顔全体におけるそれらの位置関係、顔の色などの情報が抽出される。
【０１４４】
「３：」として示すように、画像情報の解析が行われることによって同じ出演者が映っている区間毎に録画済みの番組２が区切られるとともに、各区間に映っている出演者の顔の特徴量が抽出された場合、「４：」として示すように一致検索が行われる。
【０１４５】
CMの出演者の顔の特徴量との一致度が閾値以上となる出演者の顔の特徴量が抽出された区間が特定された場合、「５：」として示すように、特定された番組２中の区間に対して、そのCMの出演者の名前がメタ情報として設定される。
【０１４６】
以上のようにしてメタ情報として設定された出演者名は、例えば、同じ出演者が映っている区間の一覧を表示するときに用いられる。
【０１４７】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１４８】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４９】
CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続されている。
【０１５０】
バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７が接続される。また、バス５４には、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、リムーバブルメディア６１を駆動するドライブ６０が接続される。
【０１５１】
以上のように構成されるコンピュータでは、CPU５１が、例えば、記憶部５８に記憶されているプログラムを入出力インタフェース５５及びバス５４を介してRAM５３にロードして実行することにより、上述した一連の処理が行われる。
【０１５２】
CPU５１が実行するプログラムは、例えばリムーバブルメディア６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５８にインストールされる。
【０１５３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５４】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１５５】
１  録画再生装置，  ２  ネットワーク，  ３  CM曲情報配信サーバ，  １１  放送受信部，  １２  番組記録部，  １３  特徴量抽出部，  １４  特徴量保持部，  １５  CM区間判定部，  １６  音楽区間判定部，  １７  ネットワーク送受信部，  １８  CM曲情報保持部，  １９  CM曲情報・特徴量紐付け部，  ２０  音楽区間・特徴量紐付け部，  ２１  一致検索部，  ２２  メタ情報保持部，  ２３  メタ情報提示部，  ２４  再生部
【図１】
2010166123.tif 000003
【図２】
2010166123.tif 000004
【図３】
2010166123.tif 000005
【図４】
2010166123.tif 000006
【図５】
2010166123.tif 000007
【図６】
2010166123.tif 000008
【図７】
2010166123.tif 000009
【図８】
2010166123.tif 000010
【図９】
2010166123.tif 000011
【図１０】
2010166123.tif 000012
【図１１】
2010166123.tif 000013
【図１２】
2010166123.tif 000014
【図１３】
2010166123.tif 000015
【図１４】
2010166123.tif 000016
【図１５】
2010166123.tif 000017
【図１６】
2010166123.tif 000018
【図１７】
2010166123.tif 000019
【図１８】
2010166123.tif 000020
【図１９】
2010166123.tif 000021