(57)【要約】受信した放送データから放送コンテンツのプレイリストを作成するプレイリスト作成方法が提供される。そのプレイリスト作成方法は、予め、放送コンテンツの特徴を抽出して、コンテンツ特徴ファイルに蓄積し、該放送コンテンツに関連する情報をコンテンツ情報ＤＢに蓄積するステップと、前記受信したデータの特徴を抽出し、放送特徴ファイルに蓄積するステップと、前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより所定の種類の放送コンテンツを探索するステップと、該所定の種類の放送コンテンツの名前が判明したら、該所定の種類の放送コンテンツに対応するデータを探索結果ファイルとして蓄積するステップと、前記探索結果ファイルと前記コンテンツ情報ＤＢとから該所定の種類の放送コンテンツのプレイリストを作成するステップとを有する。
2002035516.tif 000002
【特許請求の範囲】
【請求項１】
受信したデータからコンテンツのプレイリストを作成するプレイリスト作成方法において、
予め、コンテンツの特徴を抽出して、コンテンツ特徴ファイルに蓄積し、該コンテンツに関連する情報をコンテンツ情報ＤＢに蓄積するステップと、
前記受信したデータの特徴を抽出し、データ特徴ファイルに蓄積するステップと、
前記コンテンツ特徴ファイルのデータと前記データ特徴ファイルのデータとを照合することによりコンテンツを探索するステップと、
前記コンテンツ特徴ファイルのデータと前記データ特徴ファイルのデータが一致したら、該データに対応するデータを探索結果ファイルとして蓄積するステップと、
前記探索結果ファイルと前記コンテンツ情報ＤＢとから該コンテンツのプレイリストを作成するステップと、
を有することを特徴とするプレイリスト作成方法。
【請求項２】
前記探索するステップにおいて、前記データ特徴ファイルにおけるあるデータが前記コンテンツ特徴ファイルに含まれていない場合に、該データを前記コンテンツ特徴ファイルに登録するステップを更に有する請求項１に記載のプレイリスト作成方法。
【請求項３】
前記コンテンツ特徴ファイルに含まれていなかったデータに対応するコンテンツを人間が視聴できるようにするステップと、
該コンテンツに関連する情報を前記コンテンツ情報ＤＢに登録するステップと
を更に有する請求項２に記載のプレイリスト作成方法。
【請求項４】
前記探索するステップにおいて、前記データ特徴ファイルにおけるあるデータが前記コンテンツ特徴ファイルに含まれていない場合に、該データに対応するコンテンツを人間が視聴できるようにするステップと、
該コンテンツを該コンテンツに関連する情報とともに前記プレイリストに追加するステップと
を有する請求項１に記載のプレイリスト作成方法。
【請求項５】
受信したデータから楽曲を認識する楽曲認識方法において、
予め、楽曲コンテンツの特徴を抽出して、コンテンツ特徴ファイルに蓄積するステップと、
前記受信したデータの特徴を抽出し、放送特徴ファイルに蓄積するステップと、
前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索するステップと、
楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積するステップと、
前記探索結果ファイルから楽曲の時系列プレイリストを作成するステップと
を有することを特徴とする楽曲認識方法。
【請求項６】
前記受信したデータが楽曲か否かを判定するステップと、
楽曲である場合にはそのデータが楽曲である旨とそのデータを受信した時刻とを楽曲抽出ファイルに蓄積するステップと、
前記楽曲を探索するステップにおいて、前記放送特徴ファイルのあるデータの楽曲名が判明しなかった場合にはそのデータを楽曲名未抽出ファイルに蓄積するステップと、
前記放送特徴ファイルと前記楽曲抽出ファイルと前記楽曲名未抽出ファイルとから楽曲未検出ファイルを作成するステップと
を更に有する請求項５に記載の楽曲認識方法。
【請求項７】
前記楽曲未検出ファイルに記録された楽曲を人間が聞くことができるようにするステップと、
該楽曲未検出ファイルに記録された楽曲に関する楽曲名と時刻とを前記プレイリストに追加するステップと
を更に有する請求項６に記載の楽曲認識方法。
【請求項８】
前記探索結果ファイルと、楽曲名と関連付けられた情報を有するコンテンツ情報ＤＢとを用いて前記時系列プレイリストを作成し、
該時系列プレイリストは、時刻、該時刻に放送された楽曲名、及び該楽曲名と関連する情報を有する請求項５に記載の楽曲認識方法。
【請求項９】
複数の地域で放送データを受信し、各地域で受信したデータをセンタシステムに送信し、該センタ装置において前記楽曲認識方法により前記時系列プレイリストを作成する請求項５に記載の楽曲認識方法。
【請求項１０】
受信したデータから楽曲を認識する楽曲認識方法において、
予め、楽曲コンテンツの特徴を抽出して、コンテンツ特徴ファイルに蓄積するステップと、
複数の地域で放送のデータを受信するステップと、
各地域において、受信したデータの特徴を抽出し、放送特徴ファイルのデータとしてセンタシステムに送信するステップと、
該センタシステムにおいて、前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合する、ことにより楽曲を探索するステップと、
楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積するステップと、
前記探索結果ファイルから楽曲の時系列プレイリストを作成するステップと
を有することを特徴とする楽曲認識方法。
【請求項１１】
前記コンテンツ情報ＤＢ及び前記楽曲名と関連する情報はＣＭに関する情報を含み、
前記コンテンツ情報ＤＢにおける該ＣＭに関する情報は、ＣＭ認識方法により前記コンテンツ情報ＤＢに予め登録され、該ＣＭ認識方法は、
受信したデータからＣＭデータを検出するステップと、
前記ＣＭデータの特徴を抽出し、放送特徴ファイルに蓄積するステップと、
前記放送特徴ファイルと予めＣＭコンテンツの特徴が格納されているマスタＣＭコンテンツ特徴ファイルとのデータの照合を行うステップと、
放送特徴ファイルにおけるデータがマスタＣＭコンテンツ特徴ファイルにない場合には、該データを新たなＣＭとして前記コンテンツ情報ＤＢに含まれるマスタＣＭコンテンツ特徴ファイルに登録するステップと
を有することを特徴とする請求項８に記載の楽曲認識方法。
【請求項１２】
受信したデータからＣＭを認識し、認識されたＣＭデータを蓄積するためのＣＭ認識方法において、
受信したデータからＣＭデータを検出するステップと、
前記ＣＭデータの特徴を抽出し、放送特徴ファイルに蓄積するステップと、
前記放送特徴ファイルと予めＣＭコンテンツの特徴が格納されているマスタＣＭコンテンツ特徴ファイルとのデータの照合を行うステップと、
放送特徴ファイルにおけるデータがマスタＣＭコンテンツ特徴ファイルにない場合には、該データを新たなＣＭとしてマスタＣＭコンテンツ特徴ファイルに登録するステップと
を有することを特徴とするＣＭ認識方法。
【請求項１３】
前記受信したデータからＣＭデータを検出するステップは、ＣＭデータの開始点及び終了点を検出するステップを有し、
前記ＣＭデータの特徴を抽出する際に、検出された前記ＣＭデータの前記開始点と前記終了点の中心から該開始点及び該終了点への均等の長さ部分を取り出した一定長部分を特徴化する請求項１２記載のＣＭ認識方法。
【請求項１４】
前記データの照合の結果により、マスタＣＭコンテンツ特徴ファイルになかったＣＭデータを表示するステップと、
該ＣＭデータに関連する情報をマスタＣＭコンテンツ特徴ファイルを含むＣＭ管理データベース群の各データベースに登録するステップと
を更に有する請求項１２に記載のＣＭ認識方法。
【請求項１５】
受信したデータからコンテンツのプレイリストを作成するプレイリスト作成システムにおいて、
予めコンテンツの特徴を蓄積したコンテンツ特徴ファイルのデータと、コンテンツに関連する情報を蓄積したコンテンツ情報ＤＢのデータを取得する手段と、
受信したデータの特徴を抽出し、データ特徴ファイルに蓄積する手段と、
前記コンテンツ特徴ファイルのデータと前記データ特徴ファイルのデータとを照合することによりコンテンツを探索する手段と、
前記コンテンツ特徴ファイルのデータと前記データ特徴ファイルのデータが一致したら、該データに対応するデータを探索結果ファイルとして蓄積する手段と、
前記探索結果ファイルと、前記コンテンツ情報ＤＢとから該所定の種類のコンテンツのプレイリストを作成する手段と、
を有することを特徴とするプレイリスト作成システム。
【請求項１６】
前記探索する手段において、前記データ特徴ファイルにおけるあるデータが前記コンテンツ特徴ファイルに含まれていない場合に、該データを前記コンテンツ特徴ファイルに登録する手段を更に有する請求項１５に記載のプレイリスト作成システム。
【請求項１７】
前記コンテンツ特徴ファイルに含まれていなかったデータに対応するコンテンツを人間が視聴できるようにする手段と、
該コンテンツに関連する情報を前記コンテンツ情報ＤＢに登録する手段と
を更に有する請求項１６に記載のプレイリスト作成システム。
【請求項１８】
前記探索する手段において、前記データ特徴ファイルにおけるあるデータが前記コンテンツ特徴ファイルに含まれていない場合に、該データに対応するコンテンツを人間が視聴できるようにする手段と、
該コンテンツを該コンテンツに関連する情報とともに前記プレイリストに追加する手段と
を更に有する請求項１５に記載のプレイリスト作成システム。
【請求項１９】
受信したデータから楽曲を認識する楽曲認識システムにおいて、
楽曲コンテンツの特徴を蓄積したコンテンツ特徴ファイルのデータを取得する手段と、
前記受信したデータの特徴を抽出し、放送特徴ファイルに蓄積する手段と、
前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索する手段と、
楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積する手段と、
前記探索結果ファイルから楽曲の時系列プレイリストを作成する手段と
を有することを特徴とする楽曲認識システム。
【請求項２０】
前記受信したデータが楽曲か否かを判定する手段と、
楽曲である場合にはそのデータが楽曲である旨とそのデータを受信した時刻とを楽曲抽出ファイルに蓄積する手段と、
前記楽曲を探索する手段において、前記放送特徴ファイルのあるデータの楽曲名が判明しなかった場合にはそのデータを楽曲名未抽出ファイルに蓄積する手段と、
前記放送特徴ファイルと前記楽曲抽出ファイルと前記楽曲名未抽出ファイルとから楽曲未検出ファイルを作成する手段と
を更に有する請求項１９に記載の楽曲認識システム。
【請求項２１】
前記楽曲未検出ファイルに記録された楽曲を人間が聞くことができるようにする手段と、
該楽曲未検出ファイルに記録された楽曲に関する楽曲名と時刻とを前記プレイリストに追加するステップと
を更に有する請求項２０に記載の楽曲認識システム。
【請求項２２】
楽曲名と関連付けられた情報を有するコンテンツ情報ＤＢからデータを取得する手段と、
前記探索結果ファイルとコンテンツ情報ＤＢのデータとを用いて前記時系列プレイリストを作成する手段とを有し、
該時系列プレイリストは、時刻、該時刻に放送された楽曲名、及び該楽曲名と関連する情報を有する請求項１９に記載の楽曲認識システム。
【請求項２３】
受信したデータから楽曲を認識する楽曲認識システムにおいて、
放送データを受信する装置を複数の地域に備え、
各地域の装置から各地域で受信したデータを受信するセンタシステムを備え、該センタシステムは、
楽曲コンテンツの特徴を蓄積したコンテンツ特徴ファイルのデータを取得する手段と、
前記受信したデータの特徴を抽出し、放送特徴ファイルに蓄積する手段と、
前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索する手段と、
楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積する手段と、
前記探索結果ファイルから楽曲の時系列プレイリストを作成する手段と
を有することを特徴とする楽曲認識システム。
【請求項２４】
受信したデータから楽曲を認識する楽曲認識システムにおいて、
放送データを受信し、該放送データの特徴を抽出する装置を複数の地域に備え、
各地域の装置から各地域で受信した放送データの特徴データを放送特徴ファイルとして受信するセンタシステムを備え、該センタシステムは、
楽曲コンテンツの特徴を蓄積したコンテンツ特徴ファイルのデータを取得する手段と、
前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索する手段と、
楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積する手段と、
前記探索結果ファイルから楽曲の時系列プレイリストを作成する手段と
を有することを特徴とする楽曲認識システム。
【請求項２５】
受信したデータからＣＭを認識し、認識されたＣＭデータを蓄積するためのＣＭ認識システムにおいて、
受信したデータからＣＭデータを検出する手段と、
前記ＣＭデータの特徴を抽出し、放送特徴ファイルに蓄積する手段と、
前記放送特徴ファイルと予めＣＭコンテンツの特徴が格納されているマスタＣＭコンテンツ特徴ファイルとのデータの照合を行う手段と、
放送特徴ファイルにおけるデータがマスタＣＭコンテンツ特徴ファイルにない場合には、該データを新たなＣＭとしてマスタＣＭコンテンツ特徴ファイルに登録する手段と
を有することを特徴とするＣＭ認識システム。
【請求項２６】
前記受信したデータからＣＭデータを検出する手段は、ＣＭデータの開始点及び終了点を検出する手段を有し、
前記ＣＭデータの特徴を抽出する際に、検出された前記ＣＭデータの前記開始点と前記終了点の中心から該開始点及び該終了点への均等の長さ部分を取り出した一定長部分を特徴化する請求項２５記載のＣＭ認識システム。
【請求項２７】
前記データの照合の結果により、マスタＣＭコンテンツ特徴ファイルになかったＣＭデータを表示する手段と、
該ＣＭデータに関連する情報をマスタＣＭコンテンツ特徴ファイルを含むＣＭ管理データベース群の各データベースに登録する手段と
を更に有する請求項２５に記載のＣＭ認識システム。
【請求項２８】
受信したデータからコンテンツのプレイリストを作成する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
受信したデータの特徴を抽出し、データ特徴ファイルに蓄積する手順と、
前記コンテンツの特徴を蓄積したコンテンツ特徴ファイルのデータを取得し、該データと前記データ特徴ファイルのデータを照合することによりコンテンツを探索する手順と、
前記コンテンツ特徴ファイルのデータと前記データ特徴ファイルのデータが一致したら、該データに対応するデータを探索結果ファイルとして蓄積する手順と、
前記探索結果ファイルと、コンテンツに関連する情報を蓄積したコンテンツ情報ＤＢとから該コンテンツのプレイリストを作成する手順と
をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２９】
前記データ特徴ファイルにおけるあるデータが前記コンテンツ特徴ファイルに含まれていない場合に、該データを前記コンテンツ特徴ファイルに登録する手順を更に有する請求項２８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３０】
前記コンテンツ特徴ファイルに含まれていなかったデータに対応するコンテンツを人間が視聴できるようにする手順と、
該コンテンツに関連する情報を前記コンテンツ情報ＤＢに登録する手順と
を更に有する請求項２９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３１】
前記データ特徴ファイルにおけるあるデータが前記コンテンツ特徴ファイルに含まれていない場合に、該データに対応するコンテンツを人間が視聴できるようにする手順と、
該コンテンツを該コンテンツに関連する情報とともに前記プレイリストに追加する手順と
を更に有する請求項２８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３２】
受信したデータから楽曲を認識する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記受信したデータの特徴を抽出し、放送特徴ファイルに蓄積する手順と、
楽曲コンテンツの特徴を蓄積したコンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索する手順と、
楽曲名が判明したら、該楽曲の特徴を探索結果ファイルとして蓄積する手順と、
前記探索結果ファイルから楽曲の時系列プレイリストを作成する手順と
をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３３】
前記受信したデータが楽曲か否かを判定する手順と、
楽曲である場合にはそのデータが楽曲である旨とそのデータを受信した時刻とを楽曲抽出ファイルに蓄積する手順と、
前記楽曲を探索する手順において、前記放送特徴ファイルのあるデータの楽曲名が判明しなかった場合にはそのデータを楽曲名未抽出ファイルに蓄積する手順と、
前記放送特徴ファイルと前記楽曲抽出ファイルと前記楽曲名未抽出ファイルとから楽曲未検出ファイルを作成する手順と
を更に有する請求項３２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３４】
前記楽曲未検出ファイルに記録された楽曲を人間が聞くことができるようにする手順と、
該楽曲未検出ファイルに記録された楽曲に関する楽曲名と時刻とを前記プレイリストに追加するステップと
を更に有する請求項３３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３５】
楽曲名と関連付けられた情報を有するコンテンツ情報ＤＢからデータを取得する手順と、
前記探索結果ファイルとコンテンツ情報ＤＢのデータとを用いて前記時系列プレイリストを作成する手順とを有し、
該時系列プレイリストは、時刻、該時刻に放送された楽曲名、及び該楽曲名と関連する情報を有する請求項３２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３６】
受信したデータから楽曲を認識する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
各地域の装置から各地域で受信した放送データの特徴データを放送特徴ファイルとして受信する手順と、
楽曲コンテンツの特徴を蓄積したコンテンツ特徴ファイルのデータと前記放送特徴ファイルのデータを照合することにより楽曲を探索する手順と、
楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積する手順と、
前記探索結果ファイルから楽曲の時系列プレイリストを作成する手順と
をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３７】
受信したデータからＣＭを認識し、認識されたＣＭデータを蓄積する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
受信したデータからＣＭデータを検出する手順と、
前記ＣＭデータの特徴を抽出し、放送特徴ファイルに蓄積する手順と、
前記放送特徴ファイルと予めＣＭコンテンツの特徴が格納されているマスタＣＭコンテンツ特徴ファイルとのデータの照合を行う手順と、
放送特徴ファイルにおけるデータがマスタＣＭコンテンツ特徴ファイルにない場合には、該データを新たなＣＭとしてマスタＣＭコンテンツ特徴ファイルに登録する手順と
をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３８】
前記受信したデータからＣＭデータを検出する手順は、ＣＭデータの開始点及び終了点を検出する手順を有し、
前記ＣＭデータの特徴を抽出する際に、検出された前記ＣＭデータの前記開始点と前記終了点の中心から該開始点及び該終了点への均等の長さ部分を取り出した一定長部分を特徴化する請求項３７記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３９】
前記データの照合の結果により、マスタＣＭコンテンツ特徴ファイルになかったＣＭデータを表示する手順と、
該ＣＭデータに関連する情報をマスタＣＭコンテンツ特徴ファイルを含むＣＭ管理データベース群の各データベースに登録する手順と
を更に有する請求項３７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
技術分野
本発明は、楽曲認識方法及びシステム及び楽曲認識プログラムを格納した記憶媒体に係り、特に、ＴＶやＦＭ等で放送された映像または、音声情報のうち、放送された楽曲名をリアルタイムに認識・蓄積するための楽曲認識方法及びシステム及び楽曲認識プログラムを格納した記憶媒体に関する。
また、本発明は、ＣＭ認識方法及びシステム及びＣＭ認識プログラムを格納した記憶媒体に係り、特に、ＴＶやＦＭ等で放送されたＣＭをリアルタイムに認識・蓄積するためのＣＭ認識方法及びシステム及びＣＭ認識プログラムを格納した記憶媒体に関する。
背景技術
従来、リアルタイムに放送された映像情報や音楽情報のコンテンツに使用されている楽曲名をリアルタイムに認識し、それを記憶装置に蓄積するシステムは存在していない。
また、リアルタイムに放送されたＣＭをリアルタイムに認識、蓄積する装置も存在していない。また、所定の長さで区切られたＣＭ情報だけで、ＣＭデータを比較・認識するシステムは存在していない。
上記のように、従来のシステムには、オンエアされた楽曲をモニタするための技術がなく、オンエアされた時刻情報と共に楽曲名を記憶装置上に蓄積することはできない。時刻情報をある楽曲名に付与する場合には人手による処理しかなく、放送された楽曲名、当該楽曲が放送された時刻情報をリアルタイムに付与することができない。
また、ＣＭについても、オンエアされた映像、または、音声情報のうち、放送されたＣＭをリアルタイムに認識・蓄積する装置はなく、人手で行うしか方法がなく、リアルタイム性、規模の拡大にも限界がある。
発明の開示
本発明は、上記の点に鑑みなされたもので、ＴＶやＦＭ等でオンエアされた映像または、音声情報のうち、放送された楽曲の楽曲名をリアルタイムに認識し、蓄積することが可能なプレイリスト作成技術を提供することを目的とする。
また、本発明の目的は、オンエアだけでなく、インターネット等の通信ネットワークを介して例えばストリーミング伝送された放送データに対しても、タグ情報や透かし情報が無くてもリアルタイムに目的とする楽曲データを比較・認識することが可能なプレイリスト作成技術を提供することを目的とする。
また、本発明の目的は、ＴＶやＦＭ等でオンエアされた映像または、音声情報のうち、放送されたＣＭをリアルタイムに認識し、蓄積することが可能なＣＭ認識技術を提供することを目的とする。
上記の目的を達成するために、本発明は次のように構成することができる。
本発明は、受信したデータからコンテンツのプレイリストを作成するプレイリスト作成方法において、
予め、コンテンツの特徴を抽出して、コンテンツ特徴ファイルに蓄積し、該コンテンツに関連する情報をコンテンツ情報ＤＢに蓄積するステップと、
前記受信したデータの特徴を抽出し、データ特徴ファイルに蓄積するステップと、
前記コンテンツ特徴ファイルのデータと前記データ特徴ファイルのデータとを照合することによりコンテンツを探索するステップと、
前記コンテンツ特徴ファイルのデータと前記データ特徴ファイルのデータが一致したら、該データに対応するデータを探索結果ファイルとして蓄積するステップと、
前記探索結果ファイルと前記コンテンツ情報ＤＢとから該コンテンツのプレイリストを作成するステップとを有する。
本発明によれば、オンエアされた放送データ等から時系列プレイリストを自動的に作成することが可能となる。なお、上記データ特徴ファイルとは、例えば放送特徴ファイルである。
上記の構成において、前記データ特徴ファイルにおけるあるデータが前記コンテンツ特徴ファイルに含まれていない場合に、該データに対応するコンテンツの特徴データを前記コンテンツ特徴ファイルに登録するステップを更に有するようにしてもよい。
本発明によれば、コンテンツ特徴ファイルへのデータ登録を自動的に行うことが可能となる。
上記の構成において、前記コンテンツ特徴ファイルに含まれていなかったデータに対応するコンテンツを人間が視聴できるようにするステップと、
該コンテンツに関連する情報を前記コンテンツ情報ＤＢに登録するステップとを更に有するようにしてもよい。
本発明によれば、自動的に登録されたコンテンツ特徴ファイルのデータに関連する情報を登録することができ、その登録した情報を用いることにより、時系列プレイリストを自動的に作成することが可能となる。
上記の構成において、前記データ特徴ファイルにおけるあるデータが前記コンテンツ特徴ファイルに含まれていない場合に、該データに対応するコンテンツを人間が視聴できるようにするステップと、
該コンテンツを該コンテンツに関連する情報とともに前記プレイリストに追加するステップとを有するようにしてもよい。
本発明によれば、時系列プレイリストを補完することができ、より精度の高いプレイリストを作成することが可能となる。
上記の目的を達成するために本発明は次のように構成することもできる。
本発明は受信したデータから楽曲を認識する楽曲認識方法であり、
予め、楽曲コンテンツの特徴を抽出して、コンテンツ特徴ファイルに蓄積するステップと、
前記受信したデータの特徴を抽出し、放送特徴ファイルに蓄積するステップと、
前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索するステップと、
楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積するステップと、
前記探索結果ファイルから楽曲の時系列プレイリストを作成するステップとを有する。
本発明によれば、楽曲に関する時系列プレイリストを自動的に作成することが可能となる。
上記の構成において、前記受信したデータが楽曲か否かを判定するステップと、
楽曲である場合にはそのデータが楽曲である旨とそのデータを受信した時刻とを楽曲抽出ファイルに蓄積するステップと、
前記楽曲を探索するステップにおいて、前記放送特徴ファイルのあるデータの楽曲名が判明しなかった場合にはそのデータを楽曲名未抽出ファイルに蓄積するステップと、
前記放送特徴ファイルと前記楽曲抽出ファイルと前記楽曲名未抽出ファイルとから楽曲未検出ファイルを作成するステップとを更に有するようにしてもよい。
本発明によれば、楽曲であるにもかかわらず、時系列プレイリストに掲載されていないものを把握することが可能となる。
上記の構成において、前記楽曲未検出ファイルに記録された楽曲を人間が聞くことができるようにするステップと、
該楽曲未検出ファイルに記録された楽曲に関する楽曲名と時刻とを前記プレイリストに追加するステップとを更に有するようにしてもよい。
本発明によれば、時系列プレイリストを補完することが可能となり、より精度の高い時系列プレイリストを作成することが可能となる。
上記構成において、前記探索結果ファイルと、楽曲名と関連付けられた情報を有するコンテンツ情報ＤＢとを用いて前記時系列プレイリストを作成し、
該時系列プレイリストは、時刻、該時刻に放送された楽曲名、及び該楽曲名と関連する情報を有するようにしてもよい。
本発明によれば、楽曲名とその楽曲名に関連する種々の情報を有する時系列プレイリストを自動的に作成することが可能となる。
上記の構成において、複数の地域で放送データを受信し、各地域で受信したデータをセンタシステムに送信し、該センタ装置において前記楽曲認識方法により前記時系列プレイリストを作成するようにしてもよい。
本発明によれば、各地域の放送局で放送された内容に関する時系列プレイリストを作成することが可能となる。
また、本発明は、受信したデータから楽曲を認識する楽曲認識方法であり、
予め、楽曲コンテンツの特徴を抽出して、コンテンツ特徴ファイルに蓄積するステップと、
複数の地域で放送のデータを受信するステップと、
各地域において、受信したデータの特徴を抽出し、放送特徴ファイルのデータとしてセンタシステムに送信するステップと、
該センタシステムにおいて、前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索するステップと、
楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積するステップと、
前記探索結果ファイルから楽曲の時系列プレイリストを作成するステップとを有する。
本発明によれば、各地域で放送特徴ファイルを作成してセンタに送信するので、センタへの伝送量が軽減される。
上記の構成において、前記コンテンツ情報ＤＢ及び前記楽曲名と関連する情報はＣＭに関する情報を含み、
前記コンテンツ情報ＤＢにおける該ＣＭに関する情報は、ＣＭ認識方法により前記コンテンツ情報ＤＢに予め登録され、該ＣＭ認識方法は、
受信したデータからＣＭデータを検出するステップと、
前記ＣＭデータの特徴を抽出し、放送特徴ファイルに蓄積するステップと、
前記放送特徴ファイルと予めＣＭコンテンツの特徴が格納されているマスタＣＭコンテンツ特徴ファイルとのデータの照合を行うステップと、
放送特徴ファイルにおけるデータがマスタＣＭコンテンツ特徴ファイルにない場合には、該データを新たなＣＭとして前記コンテンツ情報ＤＢに含まれるマスタＣＭコンテンツ特徴ファイルに登録するステップとを有するようにしてもよい。
本発明によれば、ＣＭ情報を含んだ時系列プレイリストを作成することが可能となる。
上記の目的を達成するために本発明は次のように構成することもできる。
本発明は、受信したデータからＣＭを認識し、認識されたＣＭデータを蓄積するためのＣＭ認識方法であり、
受信したデータからＣＭデータを検出するステップと、
前記ＣＭデータの特徴を抽出し、放送特徴ファイルに蓄積するステップと、
前記放送特徴ファイルと予めＣＭコンテンツの特徴が格納されているマスタＣＭコンテンツ特徴ファイルとのデータの照合を行うステップと、
放送特徴ファイルにおけるデータがマスタＣＭコンテンツ特徴ファイルにない場合には、該データを新たなＣＭとしてマスタＣＭコンテンツ特徴ファイルに登録するステップとを有する。
人手で行われていたＣＭモニタリング作業を自動化することが可能となり、時系列プレイリスト作成に適したＣＭデータを提供することが可能となる。
上記の構成において、前記受信したデータからＣＭデータを検出するステップは、ＣＭデータの開始点及び終了点を検出するステップを有し、
前記ＣＭデータの特徴を抽出する際に、検出された前記ＣＭデータの前記開始点と前記終了点の中心から該開始点及び該終了点への均等の長さ部分を取り出した一定長部分を特徴化するようにしてもよい。
本発明によれば、ＣＭデータの入力誤差を吸収することが可能となる。
上記の構成において、前記データの照合の結果により、マスタＣＭコンテンツ特徴ファイルになかったＣＭデータを表示するステップと、
該ＣＭデータに関連する情報をマスタＣＭコンテンツ特徴ファイルを含むＣＭ管理データベース群の各データベースに登録するステップとを更に有するようにしてもよい。
本発明によれば、マスタＣＭコンテンツ特徴ファイルに自動的に登録されたＣＭデータに関連する情報を登録することができる。この情報を用いることにより、ＣＭに関する情報を有する時系列プレイリストを作成することが可能となる。
本発明の他の目的、特徴、機能、利点は、後の詳細な説明を添付の図面を参照して読むことにより、より明確になる。
発明を実施するための最良の形態
［第１の実施の形態］
図１及び図２に本実施の形態における原理を示す。
図１に示すように、本実施の形態においては、予め、コンテンツの特徴を抽出して、コンテンツ特徴ファイルに蓄積しておき（ステップ１）、受信したデータの特徴を抽出し、放送特徴ファイルに蓄積し（ステップ２）、コンテンツ特徴ファイルと放送特徴ファイルのデータを照合することにより楽曲を探索し（ステップ３）、楽曲が判明したら、該楽曲に関する情報を探索結果ファイルとして蓄積し（ステップ４）、探索結果ファイルから楽曲の時系列プレイリストを作成し、蓄積する（ステップ５）。
また、図２に示すように本実施の形態の楽曲認識システムの原理構成は、予め、コンテンツを作成すると共に、楽曲コンテンツの特徴を抽出し、コンテンツ特徴ファイル３２０に蓄積するコンテンツ作成手段３００と、受信したデータの特徴を抽出し、放送特徴ファイル１４０に蓄積する特徴抽出手段１０５と、コンテンツ特徴ファイル３２０と放送特徴ファイル１４０のデータを照合することにより楽曲を探索し、探索結果を探索結果ファイル１５０に格納する楽曲探索手段１２０と、探索結果ファイル１５０から時系列的な楽曲の時系列プレイリストを作成し、蓄積するリスト作成手段２００とを有する。
図３は、本発明の楽曲認識システムの概要を示す。同図に示すシステムは、オンエアキャプチャ／探索装置１００、楽曲確認／登録装置２００、コンテンツ作成装置３００から構成される。これらの装置はＰＣ等で構成される。なお、これらの各装置の機能を有する１台のＰＣでも本システムは実行可能であるが、ＰＣの処理負荷、パフォーマンスコスト、現行ハードウェアのスペック等を勘案し、３つの装置に分けている。
オンエアキャプチャ／探索装置１００は、オンエアキャプチャ部１１０、探索部１２０、楽曲抽出ファイル１３０、放送特徴ファイル１４０、探索結果ファイル１５０、楽曲名未抽出ファイル１６０、楽曲未検出ファイル１７０、時刻データ提供部１８０から構成される。
オンエアキャプチャ部１１０は、ＴＶ、ラジオ放送局から連続して放送データをモニタリングし、モニタリングした放送データが楽曲か非楽曲かを判定し、楽曲である場合には、楽曲抽出ファイル１３０に、モニタリングした時間における放送が楽曲である旨を記録すると共に、当該楽曲を７．５秒間隔のリアルタイムで当該放送データの特徴を抽出し、放送特徴ファイル１４０に蓄積する。また、当該楽曲を７．５秒間隔で図示しないファイルに楽曲をデジタルデータとして蓄積しておく。なお、オンエアキャプチャ部１１０は、時刻データ提供部１８０からの時刻情報に基づき、上記の処理を行う。また、キャプチャした情報にタイムスタンプを付与して記録する。
ここで、７．５秒間隔とする理由は、一般のＣＭにて流れる楽曲を知りたい場合のＣＭの放送時間が現行最小１５秒であるため、その半分の時間を探索間隔とすることにより楽曲データの探索を確実に行うことができるからである。
なお、オンエアキャプチャ部１１０において、楽曲か非楽曲かを判定することは、予め楽曲か非楽曲であるか（楽曲でない、つまりトーク等）の判定が可能な既存技術（例えば、「楽覧」（楽曲／非楽曲検出技術）：特願平８−３４０２９３、特願平１０−６８１５８等）により実現できる。オンエアキャプチャ部１１０は、当該技術を用いて楽曲と判定された旨を楽曲抽出ファイル１３０に登録する。
探索部１２０は、コンテンツ作成装置３００で作成されたコンテンツの特徴が蓄積されているファイルをメモリ上に読み込み、さらに、放送特徴ファイル１４０も読み込んで、２つのファイルのマッチングを行い、マッチング結果を探索結果ファイル１５０に格納する。マッチングに成功しなかったデータは楽曲名未抽出ファイル１６０に格納する。
上記のマッチングによる探索は、特許第３０６５３１４号、「高速信号探索方法、装置およびその記録媒体」等に記載された学習アクティブ探索方法を用いることができる。この方法では、コンテンツ特徴ファイルのデータと放送特徴ファイルのデータとの類似値を計算し、計算した類似値と閾値との比較によって探索を行う。なお、詳細については上記特許第３０６５３１４号を参照することにより知ることができる。
楽曲抽出ファイル１３０は、楽曲を示す旨の情報にタイムスタンプが付与されたデータからなり、オンエアキャプチャ部１１０で作成される放送特徴ファイルは、ＴＡＺファイル（バイナリファイル）である。なお、ＴＡＺファイルは、学習アクティブ探索において高速に比較処理が可能なファイルである。
なお、放送内容については図示しないＷＡＶファイル等に保持しておく。
放送特徴ファイル１４０は、オンエアキャプチャ部１１０でオンエアされている放送データを自動キャプチャし、特徴が抽出された当該放送データの特徴データを蓄積する。
楽曲未検出ファイル１７０には、楽曲であるにもかかわらずマッチングに成功しなかったデータを、楽曲抽出ファイル１３０、楽曲名未抽出ファイル１６０、放送特徴ファイル１４０とから抽出し格納する。
探索結果ファイル１５０には、探索部１２０において、コンテンツ作成装置３００で作成されたコンテンツ特徴ファイル（後述する）と放送特徴ファイル１４０のマッチングの結果が蓄積される。すなわち、マッチングの結果、一致したデータに対応する情報（楽曲名等）を探索結果ファイルに蓄積し、コンテンツ特徴ファイルに存在しなかった放送特徴ファイル１４０のデータを楽曲名未抽出ファイル（後述する）に蓄積する。
楽曲確認／登録装置２００は、楽曲確認部２１０、登録部２２０、から構成され、時系列プレイリスト２３０を出力する。
楽曲確認部２１０は、探索結果ファイル１５０及びコンテンツ情報ＤＢ３３０を用いて、認識された楽曲に対応する時刻、楽曲名、アーティスト、番組（ＣＭ）名、クライアント、商品、タレント、ＣＤ情報等を抽出して、登録部２２０に渡す。
登録部２２０は、楽曲確認部２１０で抽出された内容を時刻順に、時系列プレイリストファイル２３０に登録する。
また、楽曲確認／登録装置２００にて、楽曲未検出ファイルに格納された放送内容をオペレータが確認することにより、楽曲を認識し、時系列プレイリストに当該データを追加する。なお、オペレータは、楽曲未検出ファイルにおける時刻情報を基にして、ＷＡＶファイル等の形式でオンエアキャプチャ部１１０によりキャプチャされた楽曲を聞くことにより、放送内容を確認することができる。
コンテンツ作成装置３００は、コンテンツ作成部３１０、コンテンツ特徴ファイル３２０、及びコンテンツ情報ＤＢ３３０から構成される。
コンテンツ作成部３１０は、楽曲が記録されている媒体からコンテンツを取得して、当該楽曲及び、コンテンツ特徴ファイル３２０に流用可能な属性データをコンテンツ情報データベース３３０に蓄積し、さらに、楽曲の特徴を抽出して、楽曲名と共にコンテンツ特徴ファイル３２０に蓄積する。
コンテンツ特徴ファイル３２０は、コンテンツ作成部３１０で作成されるファイルで、楽曲名及び当該楽曲の特徴情報が格納される。
コンテンツ情報ＤＢ３３０には、コンテンツ作成部３１０により楽曲の全属性データが格納される。
次に、上記の楽曲認識システムの動作を説明する。
図４に、本発明の楽曲認識システムの動作の概要を示す。
ステップ１０１）　コンテンツ作成装置３００において、楽曲コンテンツの記録媒体等から楽曲、及び当該楽曲の属性データをコンテンツ情報ＤＢ３３０に登録する。属性データは、例えば、楽曲名、アーティスト名、番組名、クライアント名、商品名、タレント名等の情報である。
ステップ１０２）　コンテンツ作成装置３００において、楽曲の特徴を抽出し、コンテンツ特徴ファイル３２０に蓄積する。
ここまでの処理は、以下の処理の前提処理である。
ステップ１０３）　オンエアキャプチャ／探索装置１００において、オンエアされている映像や音声をキャプチャする。なお、「オンエアされている映像や音声」には、インターネットを介して放送される映像や音声を含む。
ステップ１０４）　オンエアキャプチャ／探索装置１００は、キャプチャした内容について、楽曲／非楽曲を検出する任意の技術により、放送データが楽曲または、非楽曲であるか否かを検出する。
ステップ１０５）　ステップ１０３において、楽曲である場合には、楽曲抽出ファイル１３０にその時間の放送が楽曲である旨を記録する。楽曲である旨を記録するとは、例えば、当該時間に楽曲を示すフラグを立てることである。
ステップ１０６）　また、上記のステップ１０４、１０５と同時に、７．５秒間隔でリアルタイムで楽曲の特徴を抽出して放送特徴ファイル１４０に蓄積する。また、楽曲の放送データも図示しないファイルに蓄積する。
ステップ１０７）　次に、オンエアキャプチャ／探索装置１００において、楽曲の探索を行うために、探索のアプリケーションを起動させると共に、前述のステップ１０２でコンテンツ作成装置３００で作成されたコンテンツ特徴ファイル３２０の内容をメモリ上に読み込む。
ステップ１０８）　オンエアキャプチャ／探索装置１００の探索部１２０では、放送特徴ファイル１４０も読み込み、２つのファイルのマッチングを行う。このとき、前述の学習アクティブ探索技術を用いるものとする。
ステップ１０９）　上記のマッチングの結果を探索結果ファイル１５０に蓄積する。マッチングができなかった特徴データについては楽曲名未抽出ファイル１６０に格納する。
ステップ１１０）　次に、楽曲確認／登録装置２００では、コンテンツ作成装置３００からコンテンツ情報ＤＢ３３０の各内容を読み込む。
ステップ１１１）　さらに、楽曲確認／登録装置２００は、オンエアキャプチャ／探索装置１００から探索結果ファイル１５０を読み込む。
ステップ１１２）　これにより、楽曲確認／登録装置２００は、探索結果ファイル１５０におけるデータとコンテンツ情報ＤＢ３３０におけるデータとから、楽曲名、アーティスト名、キャプチャした番組、クライアント、商品、タレント等の情報を抽出して、時系列にこれらのデータを並べ替える処理を行って、時系列プレイリストを作成し、時系列プレイリストＤＢ２３０として蓄積する。
ステップ１１３）　また、楽曲未検出プレイリストに記録された特徴データに対応する楽曲名を、オペレータが当該楽曲を視聴することにより確認し、時系列プレイリストを補完する。
［第２の実施の形態］
次に、本発明の第２の実施の形態として、ＴＶ及びＦＭ／ＡＭでオンエアされた映像または、音声情報のうち、ＣＭ（コマーシャル）を認識・蓄積するＣＭ認識システムについて説明する。なお、当該ＣＭ認識システムにより作成されたＣＭデータを参照することにより、第１の実施の形態において認識された楽曲からＣＭデータを含むプレイリストを作成することが可能となる。
図５は、本発明のＣＭ認識システムの概要を示す図である。
同図に示すＣＭ認識システムは、オンエアキャプチャ／探索装置４００、ＣＭ確認／更新部５００、及びＣＭ管理データベース群６００から構成される。
オンエアキャプチャ／探索装置４００は、キャプチャ部４１０、探索部４２０、ＦＭ／ＡＭ・ＣＭファイル４３０、放送特徴ファイル４４０、ＣＭデータファイル４５０及び、ＴＶ・ＣＭファイル４６０、時刻データ提供部４７０から構成される。
キャプチャ部４１０は、ＴＶ、ラジオ放送局のオンエアから連続して放送データをモニタリングし、ＣＭのスタート・エンドを判定することによりモニタリングした放送データがＣＭか否かを判定し、ＣＭである場合には、モニタリングしたＣＭデータをＴＶ・ＣＭファイル４６０に格納し、もしくはＦＭ／ＡＭ・ＣＭファイル４３０に格納する。また、キャプチャ部４１０は、時刻データ提供部４７０から提供される時刻情報を用いてＣＭデータにタイムスタンプを付与する。
さらに、キャプチャ部４１０は、キャプチャしたデータからＣＭの特徴データを作成し、放送特徴ファイル４４０に格納する。後述するように、特徴ファイル４４０を作成する際に、ＣＭのスタート・エンドにより切り出されたデータのカット点の誤差を吸収するために、ＣＭデータ中心から両端にかけて均等にカッティングした一定長（８．０秒間）のデータとして再加工する。そして、再加工されたオンエアデータを、学習アクティブ探索技術に開示された技術を用いて特徴データ化し、ＴＡＺ形式にして格納する。なお、ＴＡＺファイルは、探索部４２０における学習アクティグ探索において高速な比較処理を可能とするファイルである。
探索部４２０は、放送特徴ファイル４４０とマスタＣＭ管理データベース群６００にあるＣＭの特徴が蓄積されているファイルをメモリ上に読み込んで、２つのファイルのマッチングを行い、マッチング結果をＣＭデータファイル４５０に格納する。なお、探索部４２０では、学習アクティブ探索（特許第３０６５３１４号等）を用いるものとする。この場合、マッチング結果として、ＣＭが探索できなかったものについて、そのＣＭデータをオンエア時間を名称としてＣＭデータファイル４５０に蓄積する。
ＦＭ／ＡＭ・ＣＭファイル４３０には、キャプチャ部４１０でキャプチャされたＦＭ／ＡＭでオンエアされたＣＭデータがＷＡＶ形式（音のみの形式）のファイルとして格納される。
放送特徴ファイル４４０は、キャプチャ部４１０でキャプチャされたＣＭデータから抽出されたＣＭの特徴データが格納される。また、当該放送特徴ファイル４４０は、ＴＡＺファイル（バイナリファイル）である。
ＴＶ・ＣＭファイル４６０は、キャプチャ部４１０でキャプチャされたＴＶでオンエアされたＣＭデータがＡＶＩ形式のファイルとして格納される。
ＣＭ確認／更新部５００は、ＣＭ名等が判明しないＣＭデータが格納されているＣＭデータファイル４５０を読み込む。当該ＣＭデータファイル４５０のＣＭは、新規のＣＭである可能性が高いため、例えば、Ｗｉｎｄｏｗｓ　Ｍｅｄｉａ　Ｐｌａｙｅｒ　７等のソフトウェアを用いて新規登録されたＣＭの確認をオペレータが行い、広告主（クライアント）、商品名、楽曲名、タレント名等を抽出し、ＣＭ管理データベース群６００のファイルに格納する。
ＣＭ管理データベース群６００は、ＣＭマスタ６１０、商品マスタ６２０、タレントマスタ６３０、楽曲名マスタ６４０、広告主マスタ６５０、マスタＣＭコンテンツ特徴ファイル６６０からなる。商品マスタ６２０、タレントマスタ６３０、楽曲名マスタ６４０、広告主マスタ６５０、マスタＣＭコンテンツ特徴ファイル６６０におけるデータは、ＣＭ確認／更新部５００で抽出される。また、これらのマスタはＣＭマスタ６１０に格納されたＣＭデータの属性毎に作成されているマスタファイルである。
次に、上記の構成における動作を説明する。
図６、図７は、本発明のＣＭ認識システムの動作の概要を示すフローチャートである。
ステップ３０１）　オンエアキャプチャ／探索装置４００のキャプチャ部４１０において、オンエアされている放送データをキャプチャする。
ステップ３０２）　キャプチャ部４１０は、キャプチャした放送データからＣＭデータを検出し、ＣＭデータから前述した方法で放送特徴を抽出する。
ステップ３０３）　抽出された放送特徴を放送特徴ファイル４４０に格納し、ステップ３０７に進む。
ステップ３０４、３０５）　上記の処理を行うとともに、ＴＶ・ＣＭをＴＶ・ＣＭファイル４６０に格納する。
ステップ３０６）　また、抽出されたＣＭがＦＭ／ＡＭでのオンエアされていたＣＭの場合には、当該ＣＭをＦＭ／ＡＭ・ＣＭファイル４３０に格納する。
ステップ３０７）　ステップ３０３の後、探索部４２０は、放送特徴ファイル４４０とＣＭ管理データベース群６００のマスタＣＭコンテンツ特徴ファイル６６０をメモリ上に読み込んで、２つのファイルを比較する学習アクティブ探索を行う。
ステップ３０８）　探索により、ＣＭが判明した場合にはステップ３０７に移行し、次の放送特徴ファイル４４０のデータとマスタＣＭコンテンツ特徴ファイル６６０の探索を行う。ＣＭが判明しない場合にはステップ３０９に移行する。
ステップ３０９）　ＣＭが判明しない場合には、オンエア時間を名称としてＣＭデータファイル４５０に登録する。
ステップ３１０）　ＣＭ確認／更新部５００において、既存のソフトウェア等により、オペレータがＣＭデータファイル４５０に登録されたＣＭの確認を行う。
ステップ３１１）　オペレータにより、ＣＭマスタ６１０のメンテナンスを行い、さらに、当該ＣＭマスタ６１０から、各種属性毎のマスタのメンテナンスを行う。
このようにしてデータベースに新規のＣＭを登録することができる。
［第３の実施の形態］
第１の実施の形態のように、認識した楽曲から時系列プレイリストを作成することと同様にして、第２の実施の形態において認識したＣＭから時系列プレイリストを作成することも可能である。
また、第２の実施の形態のＣＭの例と同様にして、楽曲に関するコンテンツ特徴ファイル、コンテンツ情報ＤＢを更新することも可能である。
更に、第１の実施の形態のようにして時系列プレイリストを作成しながら、第２の実施の形態のようにしてＣＭまたは楽曲に関するコンテンツ特徴ファイル、コンテンツ情報ＤＢを更新していくことが可能である。この具体例については後述する。
以下、図面と共に上記の各実施の形態に対応する具体例を説明する。
［第１の実施例に対応する具体例（第１の具体例）］
図８は、本発明の第１の具体例の楽曲認識システムの構成を示す図である。
同図に示す各装置において、図３の構成と同一部分には、同一符号を付与し、その説明を省略する。
図９は、本発明の第１の具体例の楽曲認識システムの動作のフローチャートである。
以下、図８、図９に基づいて本発明の楽曲認識システムについて説明する。
本楽曲認識システムでは、図８に示すように、リアルタイムに放送内容をキャプチャするＰＣ１１０と放送特徴ファイル１４０を探索するＰＣ１２０を接続したオンエアキャプチャ／探索装置１００と、楽曲コンテンツのコンテンツ特徴を保持するコンテンツ特徴ファイル３２０及びコンテンツ情報ＤＢ３３０を管理するＰＣ３１０を有するコンテンツ作成装置３００と、時系列プレイリストをＤＢに登録する楽曲確認／登録装置２００が接続された構成をとる。
図９に示す処理系Ａにおいて、ＰＣ１１０が、オンエア内容をキャプチャし（ステップ２０１）、キャプチャデータから７．５秒間隔で、放送特徴ファイル１４０を出力しており（ステップ２０２）、次に、ＰＣ１２０がコンテンツ作成装置３００から取得して、予めメモリ上に展開された楽曲コンテンツ特徴ファイル３２０の内容と放送特徴ファイル１４０とを用いて、学習アクティブ探索により楽曲を探索し（ステップ２０３）、探索結果を探索結果ファイル１５０に出力する（ステップ２０５）。また、このとき、探索によって楽曲名が判明しない場合には、特徴データを楽曲名未抽出ファイルに格納する（ステップ２０７）。
上記の処理が済むと、楽曲確認／登録装置２００において、探索結果ファイル１５０の探索結果とコンテンツ情報ＤＢから時系列プレイリストを作成して、ＤＢ２３０に蓄積する。
図９に示す処理系Ｂにおいて、オンエアキャプチャ／探索装置１００のＰＣ１１０では、放送データが楽曲か否かを判定し（ステップ３０１）、楽曲である場合には楽曲である旨とタイムスタンプを楽曲抽出ファイル１３０に出力する（ステップ３０２）。また、楽曲自体も図示しないＷＡＶファイル等にタイムスタンプを付して蓄積しておく。
そして、楽曲名未抽出ファイル１６０（処理系Ａ）と、楽曲抽出ファイル１３０（処理系Ｂ）をマージすることで、時間別の楽曲名未検出ファイル１７０を出力することが可能となり（ステップ２０８、２０９）、オペレータを介して、探索結果ファイル１５０にフィードバックすることが可能となる。これにより、時系列プレイリストを補完することが可能となる。
なお、オペレータの作業としては、探索を行うＰＣ１２０において、楽曲未検出ファイルの内容を確認しながら、探索結果ファイル１５０に必要なデータ項目を補完する。
なお、上記におけるコンテンツ特徴ファイル３２０、放送特徴ファイル１５０はＴＡＺファイル（学習アクティブ探索のためのバイナリファイル）を用いるものとする。
プレイリストの作成においては、探索結果ファイルと、ＣＭマスタ等を含むコンテンツ情報ＤＢとを結合させる。具体例については下記の適用例において説明する。
なお、図８の例においては、ＰＣ１１０が全国各地の放送内容を当該地域からデータ受信することによりキャプチャし、放送特徴ファイルの作成等を行うことができる。また、ＰＣ１１０を全国各地に配置し、各ＰＣ１１０において、そこでの放送内容をキャプチャして放送特徴ファイルを作成し、その放送特徴ファイルをセンタに配置したＰＣ１２０に送信するような構成としてもよい。
次に、本発明の適用例を説明する。
図１０は、本発明の上記具体例の適用例を示す図である。
同図において、コンテンツ管理センタは、図８に示すコンテンツ作成装置３００に対応する。また、データセンタは、図８のオンエアキャプチャ／探索装置１００に対応するものとする。
まず、コンテンツ管理センタでは、レコード会社から試聴用のＣＤ等を入手し、ＣＤ販売ショップ等からＤＶＤや新譜ＣＤを購入し、これらの記録媒体からコンテンツをコンテンツの属性と共に、コンテンツ情報ＤＢ３３０に格納すると共に、コンテンツの特徴を抽出してコンテンツ特徴ファイル３２０（図１０の例では、楽曲データベース）に格納しておく。
次に、例えば全国各地に配置されたアンテナを介して取得されたＴＶ（ＶＨＳ）やＦＭ等の放送内容、または、衛星放送等をパラボラアンテナを介して取得された放送内容をデータセンタがチューナーを介して取得する。データセンタでは、取得した放送データを７．５秒間隔でディジタル化すると共に、データの特徴を抽出し、放送特徴ファイル１４０に格納すると共に、楽曲かトーク等の非楽曲かを判別してその結果を楽曲抽出ファイル１３０に格納する。
データセンタの探索用のＰＣにおいて、コンテンツ管理センタから予め取得していたコンテンツ特徴ファイルと、放送特徴ファイルから検索エンジン（学習アクティブ探索技術）を用いて楽曲を探索し、探索結果ファイル１５０に格納する。
これにより、データセンタ内の楽曲確認／登録装置２００として利用されるＰＣにおいて、探索結果ファイル、コンテンツ情報ＤＢ３３０を用いて、時系列プレイリストを作成する。図１０の例では、時刻（探索結果ファイルに付与されているタイムスタンプ）順に、楽曲名、アーティスト、番組（ＣＭ）、クライアント、商品、タレント、ＣＤ情報等を時系列プレイリストとして、Ｗｅｂサイト等で利用されるデータベースに登録する。また、探索ができなかった楽曲については、オペレータにより楽曲の追加がなされる。
図１１に、時系列プレイリスト作成にあたり用いられる各ファイルとそれらの関係を示す。
同図に示すように、放送特徴ファイルとコンテンツ特徴ファイルとから探索結果ファイルと楽曲名未抽出ファイルが生成される。そして、探索結果ファイルとコンテンツ情報ＤＢとから時系列プレイリストが作成される。
一方、楽曲抽出ファイルと楽曲名未抽出ファイル等から楽曲未検出ファイルが作成され、当該ファイルに記録された楽曲に対応する楽曲名などをオペレータが確認することにより、時系列プレイリストを補完できる。また、楽曲名等を確認した楽曲については、必要に応じて特徴化することによりコンテンツ特徴ファイルに追加することができる。これにより、ＴＡＺ４に相当する楽曲をキャプチャしたときにはこの楽曲を認識することが可能となる。
次に、コンテンツ情報ＤＢを用いて図１０に示した時系列プレイリストを作成する方法を図１２、１３を用いて説明する。
図１２は、プレイリストにおいて時刻９時における各項目を決定する場合を示す図である。同図に示すように、コンテンツ情報ＤＢには、ＴＡＺデータから紐付けされている各種データベース（マスタデータベース）がある。したがって、ＴＡＺデータから楽曲名が判明すれば、音源マスタから各種マスタをたどっていくことにより、時刻９時における各情報を取得できる。また、放送局名と時刻から番組名もわかる。このようにして種々の関連情報を含む時系列プレイリストを作成することが可能となる。
図１３は、時刻１１時４６分における場合であり、上記と同様に、ＴＡＺデータから各種マスタを用いて当該時刻に対応する各種情報を取得できる。
次に、本発明の楽曲認識システムのシミュレーション結果について説明する。シミュレーションは、放送サンプルとして７曲の楽曲が含まれる実際のＦＭ放送の録音（約３５分間）を使用し、データベースサンプルとして、ＣＤ楽曲１９３曲を使用し、このうち、６曲が上記の放送サンプルに含まれる。
シミュレーションの条件としては、放送サンプルは、７．５秒毎に１９３曲全てと照合（１９３曲＝約２０時間）するものとし、ＰＣサーバ機のスペックとして、１ＣＰＵ（Ｐｅｎｔｉｕｍ　Ｘｅｏｎ　９３３ＭＨＺ），２ＧＢメモリ、Ｌｉｎｕｘ　ｇｃｃ　２９１を用いる。
上記の条件により、本発明の方法のシミュレーションを実施した結果、検出すべき６曲を全て正しく検出し、時間誤差は、概ね７．５秒以内であり、速度は、３５分（２１００秒）を約４５秒で完了した。これは、実時間の約５０倍速（＝２１００／４５）であり、実時間なら９０００曲程度の処理が見込めるといえる。
また、上記の実施例では、図８、図９に基づいて説明したが、図９に示す動作をプログラムとして構築し、データセンタ及びコンテンツ管理センタで利用されるコンピュータに接続されるディスク装置や、フロッピーディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際に、データセンタやコンピュータ管理センタで利用されるＰＣにインストールすることにより、容易に本発明を実現できる。
［第２の実施の形態に対応する具体例（第２の具体例）］
ここでは、放送されている放送データからＣＭをリアルタイムに検出し、当該ＣＭを認識及び蓄積する例を説明する。前述したように、このようして蓄積されたＣＭデータを上記のマスタファイルとして用いることによりＣＭに関連した情報を含む時系列プレイリスト作成を行うことができる。
図１４は、本発明の第２の実施例のＣＭ認識システムの構成を示す図である。
同図に示す構成要素において、図５と同一構成部分には同一符号を付し、その説明を省略する。
本実施例のＣＭ認識システムでは、放送内容をキャプチャするキャプチャＰＣ部４１０と、放送特徴ファイル４４０とマスタＣＭコンテンツ特徴ファイル６６０を比較する学習アクティブ探索ＰＣ４２０からなるオンエアキャプチャ／探索部４００と、学習アクティブ探索ＰＣ４２０により出力されたＣＭデータ４５０を参照して、ＣＭの確認及び更新処理を行うＣＭ確認／更新部５００と、ＣＭの各種マスタファイルを管理するＣＭ管理データベース６００から構成される。
ここで、図１４におけるファイル形式について説明する。
放送特徴ファイル４４０は、リアルタイムに抽出されたＴＶ・ＣＭ及び、ＦＭ／ＡＭ・ＣＭの双方の特徴が格納されるＴＡＺ形式のファイルである。
ＴＶ・ＣＭファイル４６０は、ＴＶ・ＣＭが格納されるＡＶＩ形式のファイルであり、放送特徴ファイル４４０の内容と対で管理される。
ＦＭ／ＡＭ・ＣＭファイル４３０は、ＦＭ／ＡＭ・ＣＭが格納されるＷＡＶ形式のファイルであり、放送特徴ファイル４４０の内容と対で管理される。
ＣＭデータファイル４５０は、新規登録されるべきＣＭが格納されるファイルであり、ＴＶ・ＣＭである場合には、当該データは例えばＡＶＩ形式で格納され、ＦＭ／ＡＭ・ＣＭである場合には、当該データは、ＷＡＶ形式で格納される。
ＣＭ管理データベース群６００のマスタＣＭコンテンツ特徴ファイル６６０は、ＴＡＺ形式で格納される。
以下に、上記の構成における動作を前述の図６、７を参照して説明する。
キャプチャＰＣ４１０がオンエア内容をキャプチャする（ステップ３０１）。次に、キャプチャＰＣ４１０は、ＣＭ検出モジュールにより、ＣＭのスタート・エンドを取得する。当該ＣＭ検出モジュールとしては、特願平６−３１２９７６「映像カット点検出方法及び装置」（谷村・外村）等がある。
次に、ＣＭ検出モジュールで切り出されたデータのカット点の誤差を吸収するために、図１５に示すように、切り出されたデータをＣＭデータ中心から両端にかけて均等にカッティングした一定長（８．０秒間）のデータとして再加工し、これを放送特徴として抽出し（ステップ３０２）、放送特徴ファイル４４０に格納する（ステップ３０３）。
また、キャプチャＰＣ４１０は、ＣＭ検出モジュールによりオンエアデータがＴＶの場合にはＡＶＩ形式、ＦＭ／ＡＭの場合はＷＡＶ形式としてオンエアデータを格納する（ステップ３０４、３０５、３０６）。
次に、学習アクティブ探索ＰＣ４２０は、放送特徴ファイル４４０とＣＭ管理データベース群６００のマスタＣＭコンテンツ特徴ファイル６６０をメモリ上に読み込んで学習アクティブ探索を行う（ステップ３０７）。ここで、ＣＭコンテンツ特徴ファイル６６０に登録されていない場合には、ＣＭはＣＭデータファイル４５０に登録される（ステップ３０９）。また、マスタＣＭコンテンツ特徴ファイル６６０に登録されていない場合、当該ＣＭはマスタＣＭコンテンツ特徴ファイル６６０に無条件にエントリする。
次に、ＣＭデータファイル４５０に登録されたＣＭの確認をＣＭ確認／更新部５００において行う（ステップ３１０）。ＣＭの確認処理は、既存のソフトウェアを用いて行う。また、オペレータにより最終的な様々な付加情報を追加することで当該ＣＭをＣＭマスタ６１０に登録する。さらに、当該ＣＭマスタ６１０に登録されたＣＭの属性により、商品マスタ６２０、タレントマスタ６３０、楽曲名マスタ６４０、広告主マスタ６５０、マスタＣＭコンテンツ特徴ファイル６６０を対応するデータで更新する（ステップ３１１）。
また、上記の実施例では、図６、図７に示すフローチャートに基づいて説明したが、図６に示す動作をプログラムとして構築し、オンエアキャプチャ／探索装置で利用されるコンピュータに接続されるディスク装置や、フロッピーディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際に、当該オンエアキャプチャ／探索装置で利用されるＰＣ（キャプチャＰＣ，学習アクティブ探索ＰＣ）にインストールすることにより、容易に本発明を実現できる。
上記の実施例では、ＴＶ，ＦＭ／ＡＭ等の放送局からオンエアされている放送データをキャプチャして、認識・蓄積する処理を示したが、この例に限定されることなく、インターネット等の通信ネットワークを介して伝送されたデータについても上記と同様の処理を適用することが可能である。
なお、上記の実施例において、楽曲では７．５秒間隔、ＣＭでは、８秒間隔で特徴化する例を示しているがこれは一例であり、これに限定されるものではない。
［第３の実施の形態に対応する具体例（第３の具体例）］
次に、楽曲、ＣＭをキャプチャすることにより第１の実施例のようにプレイリストを作成するとともに、第２の実施例のようにコンテンツ作成部におけるデータを登録する例について説明する。
図１６に第３の具体例におけるシステム構成を示す。
同図に示すように、第３の具体例における楽曲ＣＭ認識システムは、放送内容をキャプチャし、楽曲及びＣＭの探索を行うオンエアキャプチャ部／探索装置７００、コンテンツ情報ＤＢを作成するコンテンツ作成装置８００、探索結果ファイルとコンテンツ情報ＤＢとから時系列プレイリストを作成するとともに、新たに確認された楽曲やＣＭの属性情報をコンテンツ作成装置８００に登録する楽曲・ＣＭ確認／登録装置９００とを有する。
オンエアキャプチャ／探索装置７００は、オンエアキャプチャ部７１０、探索部７２０、楽曲・ＣＭ抽出ファイル７３０、放送特徴ファイル７４０、探索結果ファイル７５０、楽曲・ＣＭ未抽出ファイル７６０、楽曲・ＣＭ未検出ファイル７７０、コンテンツ特徴ファイル作成部７８０を有する。また、コンテンツ作成装置はコンテンツ作成部８１０、コンテンツ特徴ファイル８２０、コンテンツ情報ＤＢ８３０を有する。
図１７は図１６に示すシステムの動作概要を示すフローチャートである。図１７を参照して動作概要を説明する。
まず、コンテンツ作成装置８００において、楽曲、ＣＭの特徴を抽出してコンテンツ特徴ファイルとして蓄積しておく（ステップ４０１）。オンエアキャプチャ／探索装置７００において、オンエアキャプチャ部７１０が楽曲、ＣＭを含む放送コンテンツをキャプチャしＡＶＩファイル、ＷＡＶファイル等として蓄積するとともに、コンテンツの特徴を抽出して放送特徴ファイル７４０に蓄積する（ステップ４０２）。次に、コンテンツ特徴ファイル８２０と放送特徴ファイル７４０とを用いて楽曲、ＣＭを探索する（ステップ４０３）。そして、楽曲又はＣＭが判明した場合には、楽曲又はＣＭに関する情報を探索結果ファイルに蓄積し（ステップ４０４）、時系列プレイリストを作成する（ステップ４０５）。楽曲又はＣＭが判明しない場合には、楽曲又はＣＭが判明しなかった特徴データ等を楽曲・ＣＭ未抽出ファイルに蓄積し（ステップ４０６）、当該楽曲、ＣＭに対応するコンテンツ特徴ファイルを作成してコンテンツ作成装置８００におけるコンテンツ特徴ファイル８２０に自動的に登録する（ステップ４０７）。
次に、図１８に示すオンエアキャプチャ部／探索装置７００における処理のフローチャートを用いて上記の処理をより詳細に説明する。
図１８に示すように、本実施例におけるオンエアキャプチャ部／探索装置７００における処理は、楽曲、ＣＭの探索を行う処理系１、楽曲検出、楽曲の判別、蓄積を行う処理系２、ＣＭの検出、蓄積を行う処理系３に分けることができる。
処理系２では、第１の実施例と同様にして、放送内容が楽曲か否かを判定し、楽曲抽出ファイルを作成するとともに楽曲データをＷＡＶファイル等として蓄積する（ステップ５０１〜５０３）。図１９に楽曲データの蓄積方法を示す。このように、楽曲と判定された部分を７．５秒ごとに蓄積する。
処理系３では、第２の実施例と同様にして、放送におけるカット点を検出することによりＣＭ抽出ファイルを作成するとともにＣＭデータをＡＶＩファイル等として蓄積しておく（ステップ５１１〜５１３）。図２０にその様子を示す。このように、カット点の間のＣＭ部分を蓄積する。
なお、ＣＭ抽出ファイルとは、楽曲における楽曲抽出ファイルと同様のものであり、ＣＭである旨とその時間が記録される。
処理系１においては、楽曲に関しては第１の実施例と同様にして、また、ＣＭに関しては第２の実施例と同様にして、特徴の抽出、楽曲又はＣＭの探索が行われる（ステップ５２１、５２２）。
楽曲又はＣＭの名前が判明した場合には、探索結果ファイル７５０を作成する（ステップ５２３）。楽曲又はＣＭの名前が判明しない場合には楽曲、ＣＭ未抽出ファイルに当該データを格納し（ステップ５２４）、当該データを用いて自動的にコンテンツ特徴ファイルを作成し（ステップ５２５）、コンテンツ特徴ファイル５２０に仮登録する。
図２１に、楽曲・ＣＭ未抽出ファイルからコンテンツ特徴ファイルを作成する処理を示す。このように、楽曲・ＣＭ未抽出ファイルにおけるデータに対応する楽曲、ＣＭのデータファイル（ＡＶＩ又はＷＡＶ）からコンテンツ特徴ファイルを作成する。
また、第１の実施例と同様に、楽曲・ＣＭ未抽出ファイルと楽曲・ＣＭ抽出ファイル等とから楽曲・ＣＭ未検出ファイルを作成し（ステップ５２６）、オペレータが楽曲、ＣＭを確認し、確認された楽曲、ＣＭにより時系列プレイリストの補完を行う（ステップ５２７）。更に、確認の結果を用いてコンテンツ作成装置における各種データベースの更新を行い（ＴＡＺファイルと曲名、アーティスト名などとの紐付けを行う）、これにより仮登録したコンテンツ特徴ファイルを正式に登録する（ステップ５２８）。
このような処理を行うことにより、時系列プレイリストの作成を行いながら、時系列プレイリストの作成の基となるコンテンツ特徴ファイルのデータ追加、及び楽曲やＣＭに関連する情報の登録を行うことが可能となる。
上述のように、リアルタイムで楽曲を認識する本発明によれば、オンエアの放送データ（ＣＭに利用される楽曲等）を７．５秒間隔でディジタル化して特徴化し、予め用意された楽曲のコンテンツ特徴ファイルと照合し、放送された時刻情報共に楽曲名を記憶装置上に時系列リストとして蓄積することが可能となる。これにより、楽曲名、アーティスト名、番組（ＣＭ）、クライアント、商品、タレント、ＣＤ情報等の時刻別プレイリストを取得でき、意味のある情報結果を取得することができる。この情報を対象販売ターゲットによりマーケティング情報などに活用することができる。
なお、７．５秒間隔でディジタル化し特徴化するのは、一般的にＣＭの放送時間が現行最小１５秒であるため、探索を確実に行うためにその半分の時間をとったものである。従って、コンテンツの種類によりディジタル化間隔時間を７．５秒ではなく他の値に変更することも有効である。
また、本発明によれば、従来、人手で行われていたＣＭモニタリング作業をリアルタイムに自動認識することが可能となり、タグ情報や透かし情報が無くてもリアルタイムにＴＶ及びＦＭ／ＡＭでオンエアされたＣＭデータを登録することができる。そして、このＣＭデータは時系列プレイリストの作成に用いることが可能となる。
また、本発明によれば、時系列プレイリストの作成の過程で、楽曲名等が判明しなかったデータを自動的にコンテンツ作成装置に登録することができるので、コンテンツ作成装置におけるデータベースのデータを充実させることができ、より精度の高い時系列プレイリストを作成することが可能となる。
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【図面の簡単な説明】
図１は、本発明の原理を説明するための図である。
図２は、本発明の原理構成図である。
図３は、本発明の楽曲認識システムの概要を示す図である。
図４は、本発明の楽曲認識システムの動作の概要を示すシーケンスチャートである。
図５は、本発明のＣＭ認識システムの概要を示す図である。
図６は、本発明のＣＭ認識システムの動作の概要を示すフローチャート（その１）である。
図７は、本発明のＣＭ認識システムの動作の概要を示すフローチャート（その２）である。
図８は、本発明の第１の具体例の楽曲認識システムの概要を示す図である。
図９は、本発明の第１の具体例の楽曲認識システムのフローチャートである。
図１０は、本発明の第１の実施例の適用例を示す図である。
図１１は、時系列プレイリスト作成にあたり用いられる各ファイルとそれらの関係を示す図である。
図１２は、時系列プレイリストにおける属性情報を説明するための図である。
図１３は、時系列プレイリストにおける属性情報を説明するための図である。
図１４は、本発明の第２の具体例のＣＭ認識システムの概要を示す図である。
図１５は、ＣＭデータ特徴化のためのカッティング方法を説明するための図である。
図１６は、本発明の第３の具体例におけるシステム構成を示す図である。
図１７は、図１６に示すシステムの動作概要を示すフローチャートである。
図１８は、本発明の第３の具体例におけるシステムの動作を詳細に示すフローチャートである。
図１９は、楽曲データの蓄積方法を示す図である。
図２０は、ＣＭデータの蓄積方法を示す図である。
図２１は、楽曲・ＣＭ未抽出ファイルからコンテンツ特徴ファイルを作成する処理を示す図である。
【図１】
2002035516.tif 000003
【図２】
2002035516.tif 000004
【図３】
2002035516.tif 000005
【図４】
2002035516.tif 000006
【図５】
2002035516.tif 000007
【図６】
2002035516.tif 000008
【図７】
2002035516.tif 000009
【図８】
2002035516.tif 000010
【図９】
2002035516.tif 000011
【図１０】
2002035516.tif 000012
【図１１】
2002035516.tif 000013
【図１２】
2002035516.tif 000014
【図１３】
2002035516.tif 000015
【図１４】
2002035516.tif 000016
【図１５】
2002035516.tif 000017
【図１６】
2002035516.tif 000018
【図１７】
2002035516.tif 000019
【図１８】
2002035516.tif 000020
【図１９】
2002035516.tif 000021
【図２０】
2002035516.tif 000022
【図２１】
2002035516.tif 000023
【国際調査報告】
2002035516.tif 000024
2002035516.tif 000025
2002035516.tif 000026
2002035516.tif 000027