(57)【要約】【課題】多数の楽曲の連続放送記録から分割抽出した楽曲音声データに正しい曲名を付与する。【解決手段】放送記録から楽曲音声データを分割抽出して各音声波形の音声指紋を抽出し、楽曲指紋データベースで照合して曲名を識別する。識別曲名を抽出順に並べた抽出曲名順列と放送順に正しい曲名を並べた放送曲名順列を作成し、放送曲名順列の曲名が抽出曲名順列にも存在するか各先頭から順にチェックし、存在した場合にはその曲名を第１の同一曲名とし、放送曲名順列の該曲名に続く曲名が抽出曲名順列の該曲名に続く順列に存在するかチェックし、第２の同一曲名が存在し、且つ各順列における第１の同一曲名と第２の同一曲名の間の曲数が同数であった場合には抽出曲名順列の第１の同一曲名と第２の同一曲名間の各曲名を放送曲名順列の第１の同一曲名と第２の同一曲名間の各曲名で置き換える訂正を行なう。【選択図】図１
2013171139.tif 000002
【特許請求の範囲】
【請求項１】
曲名と放送順が判明している多数の楽曲の連続放送記録から楽曲音声データを分割抽出して曲名と関連付ける楽曲音声データと曲名との関連付け方法であって、
前記放送記録から楽曲の音声データを曲別に分割抽出して記録する音声データ抽出段階と、
該分割抽出した各楽曲音声データの音声波形の特徴である音声指紋を抽出し、楽曲指紋情報データベースの記憶する多数の楽曲の音声指紋と照合してその曲名を識別する曲名識別段階と、
該識別した曲名を分割抽出順に並べた抽出曲名順列と、予め判明している曲名を判明している放送順に並べた放送曲名順列とを比較し、放送曲名順列の先頭から順に同名の第１の同一曲名が抽出曲名順列に存在するか先頭から順にチェックし、該第１の同一曲名が存在した場合には放送曲名順列の第１の同一曲名に続く曲名が抽出曲名順列の第１の同一曲名に続く曲名中に存在するか並び順にチェックし、同名の第２の同一曲名が存在した場合には各順列における第１の同一曲名と第２の同一曲名の間に存在する曲数を比較して同数であった場合には抽出曲名順列の第１の同一曲名と第２の同一曲名との間の各曲名を放送曲名順列の第１の同一曲名と第２の同一曲名との間の各曲名で置き換える訂正段階と、を含むことを特徴とする楽曲音声データと曲名との関連付け方法。
【請求項２】
請求項１に記載の楽曲音声データと曲名との関連付け方法において、前記訂正段階において前記第２の同一曲名が存在し、且つ前記曲数が一致した場合には、放送曲名順列の第２の同一曲名に続く曲名が抽出曲名順列の第２の同一曲名に続く曲名中に存在するか並び順にチェックし、同名の第３の同一曲名が存在した場合には各順列における第２の同一曲名と第３の同一曲名の間に存在する曲数を比較して同数であった場合には抽出曲名順列の第２の同一曲名と第３の同一曲名との間の各曲名を放送曲名順列の第２の同一曲名と第３の同一曲名との間の各曲名で置き換える訂正を更に行うことを特徴とする楽曲音声データと曲名との関連付け方法。
【請求項３】
請求項１又は２に記載の楽曲音声データと曲名との関連付け方法において、前記訂正段階において放送曲名順列と抽出曲名順列に前記共通する第１の同一曲名が存在し、且つ各順列における先頭から第１の同一曲名までの曲数が同数であった場合には、抽出曲名順列の先頭から第１の同一曲名までの各曲名を放送曲名順列の先頭から第１の同一曲名までの間の各曲名で置き換える訂正を更に行うことを特徴とする楽曲音声データと曲名との関連付け方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続放送された音楽番組の録音から個々の楽曲音声データを分割抽出して各楽曲音声データに正しい曲名を関連付ける方法に関する。
【背景技術】
【０００２】
近年、高品質、高効率な音声データ圧縮方式が開発されたことと小型で大容量のハードディスクが普及したことにより、テレビ放送、ＦＭ放送から流される長時間音楽番組をハードディスクに記録しておいて後日、視聴することが可能になった。しかし、長時間の音楽番組をそのまま連続録音したものからの再生では、好みの楽曲部分のみを再生するには不便である。長時間の録音記録から個々の楽曲部分のみを分割抽出して録音しなおし、分割抽出した各楽曲音声データに曲名、アーティスト名等のメタ情報を関連付けておけば、メタ情報を検索することで望みの楽曲を容易に再生させることができる。
【０００３】
テレビ放送、ＦＭ放送などにより流される音楽番組の録音を基にこのような再生システムを構築するには、録音中に含まれる多数の楽曲の音声データを楽曲単位で分割抽出する作業と、記録した個々の楽曲音声データに正しいメタ情報を関連付ける作業とが必要とされる。
【０００４】
音楽番組の録音にはナレーションやトーク等の音声も含まれており、それらを除いて楽曲の音声部分のみを抽出する作業は簡単ではない。また、例え楽曲の音声部分のみを抽出できたとしても、楽曲は連続して放送される場合が多く、楽曲間の区切りを検出することも容易ではない。加えて、分割抽出した楽曲音声データに曲名、アーティスト名等の正しいメタ情報を人手に頼らず自動で関連付けることには更なる困難が伴う。
【０００５】
こうした問題の解決策として各種の提案がされている。例えば、特許文献１には、ラジオ放送録音時に放送内容に関する管理情報も同時に受信して記録しておき、管理情報に含まれる各イベントの開始時刻と終了時刻に基づいて楽曲を切り分け、切り分けた楽曲に管理情報に含まれるメタ情報を関連付ける技術が開示されている。しかし、この技術の場合は各楽曲の正確な開始時刻と終了時刻の提供を受ける必要がある。今日、そのような詳細データを提供している放送局はごく一部に限られ、一般には数時間単位の時間枠の中で放送される多数の曲名を羅列した情報しか入手できないという問題がある。
【０００６】
また、特許文献２には、録画した番組データの信号処理により各楽曲の開始時間・終了時間を検出して楽曲を切り分け、切り分けた各楽曲の音声信号を楽曲指紋情報データベースと照合してメタ情報を認識する。その際、番組出演者を記載したＥＰＧ（電子番組表）情報から予め出演者情報を入手しておいて出演者に限定した照合を行うことで認識率を高める。最後に検出した開始時間・終了時間と認識したメタ情報とを関連付けて保存するという技術が開示されている。この技術の場合は特許文献１のような詳細な管理情報は必要とせず、電子番組表程度の情報があればよい。しかし、照合対象を出演者群の楽曲に限定する方法で認識率を高めているとはいえ、最終的な楽曲認識精度は信号処理した音声データと楽曲指紋データベースとの照合に依拠しており高い精度を得ることは難しい。その照合に誤りがあった場合の訂正手段が考慮されていない点にも問題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２８２２６号公報
【特許文献２】特開２００９−１４７７７５号公報
【特許文献３】特開２００６−１６３０６３号公報
【特許文献４】特開２００４−２４０２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、従来技術のこうした問題点を解決するためになされたもので、その課題は放送順序と曲名が判明している多数の楽曲が音楽番組として連続放送された場合に、その放送から直接に、又はその録音から個々の楽曲部分を楽曲音声データとして分割抽出し、抽出した各楽曲音声データに正しい曲名を人手に頼らず自動で付与する方法を提供することにある。
【課題を解決するための手段】
【０００９】
前記課題を解決するための請求項１に記載の発明は、曲名と放送順が判明している多数の楽曲の連続放送記録から楽曲音声データを分割抽出して曲名と関連付ける楽曲音声データと曲名との関連付け方法であって、前記放送記録から楽曲の音声データを曲別に分割抽出して記録する音声データ抽出段階と、該分割抽出した各楽曲音声データの音声波形の特徴である音声指紋を抽出し、楽曲指紋情報データベースの記憶する多数の楽曲の音声指紋と照合してその曲名を識別する曲名識別段階と、該識別した曲名を分割抽出順に並べた抽出曲名順列と、予め判明している曲名を判明している放送順に並べた放送曲名順列とを比較し、放送曲名順列の先頭から順に同名の第１の同一曲名が抽出曲名順列に存在するか先頭から順にチェックし、該第１の同一曲名が存在した場合には放送曲名順列の第１の同一曲名に続く曲名が抽出曲名順列の第１の同一曲名に続く曲名中に存在するか並び順にチェックし、同名の第２の同一曲名が存在した場合には各順列における第１の同一曲名と第２の同一曲名の間に存在する曲数を比較して同数であった場合には抽出曲名順列の第１の同一曲名と第２の同一曲名との間の各曲名を放送曲名順列の第１の同一曲名と第２の同一曲名との間の各曲名で置き換える訂正段階と、を含むことを特徴とする楽曲音声データと曲名との関連付け方法である。
【００１０】
本方法では楽曲指紋情報データベースと照合して識別した各楽曲の曲名を抽出順に並べた抽出曲名順列を、予め判明している正しい曲名を放送順に並べた放送曲名順列と比較して誤りと思われる曲名を正しいと思われる曲名に置き換える訂正を行う。このため楽曲音声指紋データベースとの照合のみで曲名を認識する従来方法に比べて曲名の認識精度が高まる効果が得られる。
【００１１】
また、請求項２に記載の発明は、請求項１に記載の楽曲音声データと曲名との関連付け方法において、前記訂正段階において前記第２の同一曲名が存在し、且つ前記曲数が一致した場合には、放送曲名順列の第２の同一曲名に続く曲名が抽出曲名順列の第２の同一曲名に続く曲名中に存在するか並び順にチェックし、同名の第３の同一曲名が存在した場合には各順列における第２の同一曲名と第３の同一曲名の間に存在する曲数を比較して同数であった場合には抽出曲名順列の第２の同一曲名と第３の同一曲名との間の各曲名を放送曲名順列の第２の同一曲名と第３の同一曲名との間の各曲名で置き換える訂正を更に行なうことを特徴とする楽曲音声データと曲名との関連付け方法である。
【００１２】
このような方法によれば、二つの順列中に同一曲名である曲名が等しい曲数を挟んで存在した場合には、抽出曲名順列のその間の曲名を放送曲名順列のその間の曲名で置き換える訂正が行われる。これにより楽曲音声指紋データベースとの照合のみで曲名を認識する従来方法に比べて曲名の認識精度が高まる効果が得られる。
【００１３】
また、請求項３に記載の発明は、請求項１又は２に記載の楽曲音声データと曲名との関連付け方法において、前記訂正段階において放送曲名順列と抽出曲名順列に前記共通する第１の同一曲名が存在し、且つ各順列における先頭から第１の同一曲名までの曲数が同数であった場合には、抽出曲名順列の先頭から第１の同一曲名までの各曲名を放送曲名順列の先頭から第１の同一曲名までの間の各曲名で置き換える訂正を更に行うことを特徴とする楽曲音声データと曲名との関連付け方法である。
【００１４】
このような方法によれば、抽出曲名順列の先頭から第１の同一曲名までの間の曲名についても放送曲名順列の先頭から第１の同一曲名までの間の正しい曲名に訂正される。これにより楽曲音声指紋データベースとの照合のみで曲名を認識する従来方法に比べて曲名の認識精度が高まる効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】自動関連付け装置１の構成と処理の流れをブロック図で示したものである。
【図２】抽出曲名順列と放送曲名順列の例である。
【図３】分割・照合しなおした後の抽出曲名順列と放送曲名順列の例である。
【図４】曲名訂正部１２が実行する制御フローである。
【図５】図４の制御フローの続き部分である。
【図６】関連付け記録部１３の出力の例である。
【発明を実施するための形態】
【００１６】
以下、本発明に係る音楽番組から分割抽出した楽曲音声データにメタ情報の一つである曲名を関連付ける関連付け方法について、その関連付けを自動で行う自動関連付け装置の構成と動作を説明しつつ説明する。図１は自動関連付け装置１の構成と処理の流れをブロック図で示したものである。前述の特許文献２に開示されている発明では、多数の楽曲を流す音楽放送を記録した楽曲音声データから楽曲別に楽曲音声データを抽出し、抽出した各楽曲音声データを予め作成してある楽曲指紋データベースと照合して各楽曲音声データの曲名を含むメタ情報を取得する手順を採っている。本発明の関連付け方法も楽曲指紋データベースと照合して各楽曲音声データの曲名を識別するまでの順序は同じである。しかし、楽曲指紋データベースとの照合のみで曲名を認識するのでは高い認識精度を得るのは困難であることから、本発明では楽曲指紋データベースとの照合で識別された曲名に訂正を加える方法を追加実行することで認識精度を一層高めていることに特徴がある。
【００１７】
図１に示すように、長時間かけて連続放送される多数の楽曲の放送音声は、アンテナ３又は、図示しないインターネット回線等を介して音声記録部４に放送音声データとして記録される。記録された放送音声データは、楽曲分割抽出記録部５にて楽曲部分のみが楽曲単位で抽出され楽曲音声データとして記録される。連続する放送音声データの中から楽曲部分のみを楽曲単位で抽出する方法については各種技術が提案され、既に実現されているのでそれらの技術を採用できる。
【００１８】
例えば、特許文献３には分割対象楽曲（放送音声データ）を細分化し、細分化した各区間の音声データからそれぞれ特徴量を抽出して抽出した特徴量を元に全ての細分化区間同士の類似度を算出。算出した類似度から各細分化区間の平均類似度を算出してそれを元に楽曲分割点を決定する楽曲自動分割方法が詳細に開示されている。この方法を本発明の楽曲分割抽出記録部５に採用してもよい。
【００１９】
楽曲別に分割抽出された楽曲音声データは、次の楽曲音声指紋抽出部６にて各楽曲音声データの音声指紋が抽出される。音声指紋とはその楽曲の音声データの特徴を表す物理量をいう。ここで抽出される音声指紋は、次の照合部８にて楽曲指紋データベース７と照合してその楽曲音声データの曲名を探し当てるためのもので、楽曲指紋データベース７が記録している音声指紋と同じ種類の音声指紋を抽出する。ここでいう音声指紋（音声特徴物理量）とは、例えば、楽曲の演奏時間の長さ、楽曲音声データの周波数スペクトルのスペクトルパワー、周波数スペクトルの中心周波数、周波数スペクトルバンド幅、周波数スペクトルの高域成分と低域成分の大局的な形状、周波数スペクトルとそれに時間軸上で隣接する周波数スペクトルの相関係数の時系列の分散値等である。
【００２０】
次の照合部８では、楽曲音声指紋抽出部６で抽出した音声指紋（音声特徴物理量）を予め準備されている楽曲指紋データベース７の記憶する各楽曲の音声指紋と照合してその音声データの曲名を識別する。照合に使用する音声指紋として扱いが一番簡単なのは楽曲の演奏時間の長さである。楽曲分割抽出記録部５で分割抽出した各楽曲の演奏時間を計測し、楽曲指紋データベース７に記録されている各楽曲の演奏時間と照合して所定誤差以内であればその演奏時間に対応する曲名を楽曲音声データの曲名と認識する。この方法は簡単ではあるが、曲名が違っても演奏時間が類似する楽曲が多いため認識精度がそれほど高くない欠点がある。
【００２１】
この欠点を補うため、次のような曲名の照合を加えてもよい。本願発明は連続放送される音楽番組で流される多数の楽曲の曲名と放送順が予め判明していることを前提にしている。これらの情報はインターネット等を介して流される曲名と放送順を含む電子番組表から予め入手して放送曲名順列記録部１１に記憶させてある。従って、前記演奏時間の照合により該当しそうな曲名が複数見つかった場合には、見つかった曲名が放送曲名順列記録部１１に記憶されている放送曲名リストに含まれているかチェックし、含まれていない曲名は外すようにする。このようにすれば認識精度を高めることができる。また、これとは反対に、先に放送曲名順列記録部１１が記憶している各楽曲の演奏時間を楽曲指紋データベース７から取得して記録しておき、楽曲分割抽出記録部５で分割抽出した音声データの演奏時間をそれら演奏時間と比較して一致したものをその曲名として認識するようにしてもよい。
【００２２】
前記例示した音声指紋（音声特徴物理量）の内の楽曲の演奏時間以外の音声特徴物理量を使用する方法については、例えば、特許文献４に詳細に説明されている。この特許文献４は音声、音楽、騒音等の音種を精度よく判別する方法を扱ったものであるが曲名の判別にも採用できる。楽曲によってそれらの音声特徴物理量に違いがあるからである。
【００２３】
照合部８で認識された各楽曲の曲名は抽出曲名順列作成部１０に送られ、放送順に並べた抽出曲名順列が作成される。この抽出曲名順列は、照合部８での曲名認識精度が１００％ではないため誤りを含んでいることが多い。また、楽曲分割抽出記録部５での分割抽出も１００％正確とはいえず、本来は一つの楽曲が二つに分割されたり、連続する二つの楽曲が一つの楽曲として分割されたりするためこの点からも作成された抽出曲名順列は誤りを含んでいる可能性が高い。そこで作成された抽出曲名順列を放送曲名順列記録部１１が記憶している予め判明している放送曲名順列と曲名訂正部１２にて比較して誤りの訂正を行う。
【００２４】
次に、曲名訂正部１２が行う訂正方法について先にその考え方を説明する。例として、抽出曲名順列が図２に示すような「ａ，Ｂ，ｃ，ｄ，Ｅ，ｆ，ｙ，Ｇ，ｈ，ｉ，Ｊ」、放送曲名順列が「Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ」であったとする。最初に放送曲名順列の先頭の曲名「Ａ」が抽出曲名順列に含まれているかその先頭から順にチェックする。この場合は存在しないので、次に２番目の曲名「Ｂ」が存在するかチェックする。すると２番目に曲名「Ｂ」が存在する（曲名「Ｂ」が請求項に記載の「第１の同一曲名」に相当する。）。存在したならば、次に放送曲名順列の曲名「Ｂ」に続く曲名「Ｃ」が抽出曲名順列に存在する曲名「Ｂ」の次から順にチェックする。この場合は存在しないので、続いて放送曲名順列の曲名「Ｃ」に続く曲名「Ｄ」が抽出曲名順列に存在するか曲名「Ｂ」の次から順にチェックする。これも存在しないので、続いて放送曲名順列の曲名「Ｄ」に続く曲名「Ｅ」が抽出曲名順列に含まれている曲名「Ｂ」の次から順にチェックする。すると曲名「Ｂ」から３番目に曲名「Ｅ」が存在することが判明する（曲名「Ｅ」が請求項に記載の「第２の同一曲名」に相当する。）。判明したならば、放送曲名順列の曲名「Ｂ」と曲名「Ｅ」間の曲数が同数かチェックする。同数であった場合は抽出曲名順列の曲名「Ｂ」と曲名「Ｅ」間の曲名「ｃ」、「ｄ」は誤りで、正しい曲名は放送曲名順列の曲名「Ｂ」と曲名「Ｅ」間の曲名「Ｃ」、「Ｄ」と判断して置き換え（訂正）を行う。
【００２５】
続いて放送曲名順列の曲名「Ｅ」に続く曲名「Ｆ」が抽出曲名順列に含まれているか曲名「Ｅ」の次から順にチェックする。この場合は存在しないので、続いて放送曲名順列の曲名「Ｆ」に続く曲名「Ｇ」が抽出曲名順列に含まれている曲名「Ｅ」の次から順にチェックする。すると曲名「Ｅ」から３番目に曲名「Ｇ」が存在する（曲名「Ｇ」が請求項に記載の「第３の同一曲名」に相当する。）。そこで、放送曲名順列の曲名「Ｅ」と曲名「Ｇ」間の曲数と抽出曲名順列の曲名「Ｅ」と曲名「Ｇ」間の曲数が同数かチェックする。この場合は異なる。同数でなかった場合は楽曲分割抽出記録部５での分割抽出、又は照合部８での照合に誤りがあったものと思われるので楽曲分割抽出記録部５での分割抽出の条件、又は／及び照合部８での照合条件に変更を加えて抽出曲名順列の再作成を行なう。
【００２６】
再作成により今度は図３に示すような抽出曲名順列「ａ，Ｂ，ｃ，ｄ，Ｅ，ｆ，Ｇ，ｈ，ｉ  ，Ｊ」が得られたとする。曲名訂正部１２では前回と同様のチェックを最初から繰り返す。今度は放送曲名順列の曲名「Ｅ」と曲名「Ｇ」間の曲数と抽出曲名順列の曲名「Ｅ」と曲名「Ｇ」間の曲数とが一致する。そこで抽出曲名順列の曲名「Ｅ」と曲名「Ｇ」間の曲名「ｆ」を曲名「Ｆ」に訂正する。以下、同様の手順で訂正を繰り返す。
【００２７】
以上の方法では図２の抽出曲名順列における曲名「Ｂ」（第１の同一曲名）より前の曲名の訂正はできない。曲名「Ｂ」より前の曲名の訂正は抽出曲名順列の曲名「Ｂ」より前の曲数と放送曲名順列の曲名「Ｂ」より前の曲数が同数かチェックし、同数の場合は抽出曲名順列の曲名「Ｂ」より前の曲名を放送曲名順列の曲名「Ｂ」より前の曲名で置き換えることで行なう。曲数が同数でなかった場合は、楽曲分割抽出記録部５での分割抽出、又は照合部８での照合に誤りがあったものと思われるので楽曲分割抽出記録部５での分割抽出の条件、又は／及び照合部８での照合条件に変更を加えて抽出曲名順列の再作成を行なう。以上のような訂正を加えた上で分割抽出して得た各楽曲音声データにそれぞれの曲名を関連付け、結果を関連付け記録部１３にて記録する。関連付けて記録したデータは、分割抽出して得た多数の楽曲音声データ中の任意の楽曲音声データを再生する際の検索などに使用される。
【００２８】
次に上記訂正のために演算機能と記憶機能を備える曲名訂正部１２が実行する制御フローを図４、図５のフローを参照して説明する。最初に曲名訂正部１２は抽出曲名順列作成部１０と放送曲名順列記録部１１からそれぞれ抽出曲名順列と放送曲名順列を読み出して記憶する（ステップＳ１）。続いてそれらの順列に含まれる曲数を数え、抽出曲名順列中の曲数をＭｍａｘ、放送曲名順列中の曲数をＮｍａｘとする（ステップＳ２）。
【００２９】
ステップＳ３では変数Ｎａ、Ｍａ、ｎを設け、それらの初期値を「０」とする。ステップＳ４では変数Ｎａの値を直前の（Ｎａ＋ｎ）の値で、変数Ｍａの値を直前の（Ｍａ＋ｎ）の値で置き換える。この段階では変数Ｎａ、Ｍａの値はともに「０」である。続くステップＳ５では変数ｎの値を「１」とし、また、新たな変数ｍを設けてその値を「１」とする。
【００３０】
続くステップＳ６では（Ｎａ＋ｎ）とＮｍａｘの値を比較する。（Ｎａ＋ｎ）がＮｍａｘより大きくなかった場合（ＮＯの場合）はステップＳ７に移る。この段階では（Ｎａ＋ｎ）の方が小さいのでステップＳ７に移る。ステップＳ７では放送曲名順列の先頭から（Ｎａ＋ｎ）番目の曲名を読み出す。読み出した曲名を読み出し曲名Ｘとする。この段階では（Ｎａ＋ｎ）の値は「１」であるので図２に示した放送曲名順列の先頭の曲名Ａが読み出される。読み出し曲名ＸはＡになる。これで分かるようにステップＳ６の不等式中の（Ｎａ＋ｎ）は放送曲名順列から読み出す曲名の先頭からの順番を指定する変数である。この変数（Ｎａ＋ｎ）の値が放送曲名順列に含まれる曲数Ｎｍａｘより大きいと曲名を読み出せない。ステップＳ６はそのチェックを行っている。（Ｎａ＋ｎ）がＮｍａｘより大きい場合は以後の処理を中止して終了する。
【００３１】
ステップＳ８ではステップＳ６と同様に（Ｍａ＋ｍ）とＭｍａｘの値を比較する。（Ｍａ＋ｍ）は抽出曲名順列から読み出す曲名の先頭からの順番を指定する変数である。この変数（Ｍａ＋ｍ）の値が抽出曲名順列に含まれる曲数Ｍｍａｘより大きいと曲名を読み出せない。ステップＳ８はそのチェックを行っている。（Ｍａ＋ｍ）がＭｍａｘより大きくなかった場合（ＮＯの場合）はステップＳ９に移る。この段階では（Ｍａ＋ｍ）の方が小さいのでステップＳ９に移る。ステップＳ９では抽出曲名順列の先頭から（Ｍａ＋ｍ）番目の曲名を読み出す。読み出した曲名を読み出し曲名Ｙとする。この段階では（Ｎａ＋ｎ）の値は「１」であるので図２に示した抽出曲名順列の先頭の曲名ａが読み出される。読み出し曲名Ｙはａになる。
【００３２】
続くステップＳ１０では放送曲名順列から読み出した曲名Ｘと抽出曲名順列から読み出した曲名Ｙが同じかチェックする。今回の場合、曲名ＸはＡ、曲名Ｙはａで異なるためステップＳ１１に移る。ステップＳ１１ではｍをインクリメントする。ｍの値は「２」になる。そしてステップＳ８に戻る。
【００３３】
ステップＳ８のチェックを経てステップＳ９で抽出曲名順列の先頭から（Ｍａ＋ｍ）番目の曲名を読み出す。今回は（Ｍａ＋ｍ）の値は「２」になっているので先頭から２番目のＢが読み出されて読み出し曲名Ｙとなる。そしてステップＳ１０にて曲名Ｘと比較される。読み出し曲名ＸはＡのままであるので一致しない。そこでステップＳ１１にてｍの値を再度インクリメントしてステップＳ９に戻る。このようにステップＳ１１にてｍの値をインクリメントしながらＹ＝Ｘが成立するまで繰り返す。これは抽出曲名順列に曲名Ｘ（曲名Ａ）が存在しないか先頭から順にチェックしていることになる。図２の例の場合、抽出曲名順列中には曲名Ｘ（曲名Ａ）は存在しないので、やがてステップＳ８にて（Ｍ＋ｍ）＞Ｍｍａｘの条件が成立してステップＳ１２に移る。
【００３４】
ステップＳ１２ではｎの値がインクリメントされて「２」に変わる。ｍの値は初期値の「１」に戻される。そしてステップＳ６に戻る。ステップＳ６でのチェックを経た後、ステップＳ７では（Ｎａ＋ｎ）の値が「２」に変わっているので今度は放送曲名順列の先頭から２番目の曲名Ｂが読み出されて読み出し曲名Ｘになる。そして、再びステップＳ８〜ステップＳ１１のチェックループを繰り返す。
【００３５】
今度はｍの値が「２」になったときに（Ｍａ＋ｍ）の値が「２」になって抽出曲名順列の先頭から２番目の曲名Ｂが読み出され、読み出し曲名Ｙとなる。するとステップＳ１０のＹ＝Ｘの判定がＹＥＳになる。判定がＹＥＳとなった場合は図５のステップＳ１３に移る。なお、抽出曲名順列の中に曲名Ｂも存在しなかった場合はステップＳ８の判定がＹＥＳになるので、ステップＳ１２にてｎの値をインクリメントし、ｍの値を「１」に戻して次の順番の曲名を読み出し同じチェックを繰り返す。
【００３６】
Ｙ＝Ｘの判定がＹＥＳとなったらステップＳ１３に移り、ｎ＝ｍが成立しているかチェックする。この判定がＹＥＳということは、放送曲名順列の先頭から（Ｎａ＋ｎ）番目に存在する曲名Ｘと抽出曲名順列の先頭から（Ｍａ＋ｍ）（（Ｍａ＋ｎ）に等しい。）番目に存在する曲名Ｙとが同じであることを意味する。最初にＹ＝Ｘが成立するときのＮａ、Ｍａの値は「０」である。従って、放送曲名順列において曲名Ｘの前に存在する曲数（ｎ−１）と、抽出曲名順列において曲名Ｙ（曲名Ｘと同じ。）の前に存在する曲数（ｍ−１）（（ｎ−１）に等しい。）とが等しいことになる。この場合はステップＳ１４に移る。ステップＳ１４では抽出曲名順列の先頭から（Ｍａ＋１）番目と（Ｍａ＋ｍ−１）番目（（Ｍａ＋ｎ−１）番目に等しい。）間に存在する曲名を放送曲名順列の先頭から（Ｎａ＋１）番目と（Ｎａ＋ｎ−１）番目間に存在する曲名で置き換える。最初はＭａ、Ｎａが共に「０」であるので抽出曲名順列の曲名Ｙより前に存在する曲名を放送曲名順列の曲名Ｘより前に存在する正しい曲名で訂正することになる。
【００３７】
図２の例の場合は曲名Ｘ＝曲名Ｙ＝Ｂ、ｎ＝ｍ＝２となるので、抽出曲名順列の曲名Ｂ（曲名Ｙ）の前に存在する曲名ａが、放送曲名順列の曲名Ｂ（曲名Ｘ）の前に存在する曲名Ａで置き換えられる。これにより間違って認識された曲名ａが図３に示すように正しい曲名Ａに訂正される。ステップＳ１４にて訂正を終えたらステップＳ１５に移り、訂正後の抽出曲名順列を関連付け記録部１３に出力する。そしてステップＳ４に戻る。
【００３８】
ステップＳ１３にてｎとｍが等しくないと判定された場合はステップＳ１６に移る。最初はＮａ＝Ｍａ＝０であるので、抽出曲名順列の曲名Ｂ（曲名Ｙ）の前に存在する曲数と放送曲名順列の曲名Ｂ（曲名Ｘ）の前に存在する曲数が等しくないことを意味する。この場合は、抽出曲名順列の順番Ｍａと順番（Ｍａ＋ｍ）との間に存在する曲（Ｎａ＝Ｍａ＝０の場合は０番目とｎ番目の間に存在する曲）についての楽曲分割抽出部５における分割抽出、又は照合部８における照合に誤りがあったと認められるので、そね旨を関連付け記録部１３に出力する。そしてステップＳ４に戻る。
【００３９】
戻った先のステップＳ４ではＮａの値を直前の（Ｎａ＋ｎ）の値に、Ｍａの値を直前の（Ｍａ＋ｎ）の値に置き換える。図２の例の場合はＮａ、Ｍａの値は共に「２」になる。次のステップＳ５ではｎ、ｍの値を共に「１」に戻す。そして、前回と同様にステップＳ６〜ステップＳ１６の処理の２度目を実行する。
【００４０】
ステップＳ７では放送曲名順列の（Ｎａ＋ｎ）番目の曲名が読み出され、ステップＳ９では抽出曲名順列の（Ｍａ＋ｎ）番目の曲名が読み出される。図２の例の場合、放送曲名順列からは最初に（２＋１）番目の曲名Ｃが読み出され、抽出曲名順列の（２＋ｍ）番目の曲名とステップＳ１０で比較される。抽出曲名順列の（２＋１）番目以降には曲名Ｃが存在しないためステップＳ１２にてｎの値がインクリメントされて「２」となり次のステップＳ７では曲名Ｄが読み出される。曲名Ｄも抽出曲名順列の（２＋１）番目以降に存在しないため再度ｎの値がインクリメントされて「３」となり曲名Ｅが読み出される。今度はｍ＝３になったときに抽出曲名順列から同じ曲名Ｅが読みだされる。ステップＳ１０におけるＹ＝Ｘの判定がＹＥＳとなりステップＳ１３に移る。
【００４１】
ステップＳ１３にてｎ＝ｍと判定された場合は、放送曲名順列におけるＮａ番目から（Ｎａ＋ｎ）番目の曲の間に存在する曲数と抽出曲名順列におけるＭａ番目から（Ｍａ＋ｍ）番目の曲の間に存在する曲数が同数ということである。この場合はステップＳ１４にて抽出曲名順列におけるＭａ番目から（Ｍａ＋ｍ）番目の曲の間に存在する曲名を放送曲名順列におけるＮａ番目から（Ｎａ＋ｎ）番目の曲の間に存在する曲名で置き換える訂正を行う。
【００４２】
ステップＳ１３にてｎとｍとが等しくないと判定された場合は、放送曲名順列におけるＮａ番目から（Ｎａ＋ｎ）番目の曲の間に存在する曲数と抽出曲名順列におけるＭａ番目から（Ｍａ＋ｍ）番目の曲の間に存在する曲数が等しくないことを意味する。この場合は抽出曲名順列におけるＭａ番目から（Ｍａ＋ｍ）番目までの間の楽曲の分割抽出に誤りがあったと考えられるのでその旨をステップＳ１６にて出力する。図２の例の場合、Ｎａ＝５、ｎ＝２のときに放送曲名順列から読み出された曲名Ｇは、抽出曲名順列においてＭａ＝５、ｍ＝３となったときに読み出される曲名Ｇと一致する。この場合はｎとｍの値が異なるため放送曲名順列における曲名Ｅと曲名Ｇの間の曲数と抽出曲名順列における曲名Ｅと曲名Ｇの間の曲数とが等しくないことになる。その場合は、抽出曲名順列における曲名Ｅと曲名Ｇの間に存在する曲ｆ、ｙ  についての楽曲分割抽出部５における分割抽出、又は照合部８における照合に誤りがあったと認められるので、その旨を関連付け記録部１３に出力する。そしてステップＳ４に戻る。
【００４３】
以上のような処理の繰り返しにより、抽出曲名順列の中で楽曲分割抽出部５における分割抽出と照合部８における照合とが正しく行なわれたと推定される曲名の楽曲音声データに対して放送曲名順列の正しい曲名が関連付けられる。関連付け記録部１３はそれらの結果をまとめて例えば図６に示すような表にして出力する。誤りがあると推定される曲名部分については、楽曲分割抽出記録部５における分割抽出と楽曲音声指紋抽出部６における指紋データ抽出の条件に修正を加えてやり直し、再度の訂正にて関連付けを正確なものに仕上げる。
【００４４】
以上説明した本発明の音楽番組から分割抽出した楽曲音声データと曲名との関連付け方法は、楽曲音声指紋と照合して推定した各楽曲の曲名を順番に並べた抽出曲名順列を予め判明している正しい曲名を放送順に並べた放送順曲名順列と照合し、誤りと思われる曲名を正しいと曲名に置き換える訂正を行う。このため各楽曲の曲名の認識精度が楽曲音声指紋との照合のみで行う方法に比べて向上する効果が得られる。
【符号の説明】
【００４５】
図面中、１は自動関連付け装置１、４は音声記録部、５は楽曲分割抽出記録部、６は楽曲音声指紋抽出部、７は楽曲指紋データベース、８は照合部、１０は抽出曲名順列作成部、１１は放送曲名順列記録部、１２は曲名訂正部、１３は関連付け記録部を示す。
【図１】
2013171139.tif 000003
【図２】
2013171139.tif 000004
【図３】
2013171139.tif 000005
【図４】
2013171139.tif 000006
【図５】
2013171139.tif 000007
【図６】
2013171139.tif 000008