(57)【要約】  従来に比して楽曲を構成する楽器音に基づく楽器の検出率を向上させることが可能な楽器種類検出装置等を提供する。  楽曲に相当する楽曲データＳinを分析し、当該楽曲を構成する楽器の種類を検出させるための信号を生成する楽曲分析部ＡＮ１において、楽曲データＳinにおける時間軸に沿った音楽的特徴、例えば単一楽器音データＳtonalを抽出し、その検出された音楽的特徴に基づいて楽器検出部Ｄ１に楽器の種類を検出させる。
2009101703.tif 000002
【特許請求の範囲】
【請求項１】
楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析装置において、
前記楽曲データにおける時間軸に沿った音楽的特徴を検出する検出手段と、
前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する生成手段と、
を備えることを特徴とする楽曲データ分析装置。
【請求項２】
請求項１に記載の楽曲データ分析装置において、
前記音楽的特徴は、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間であると共に、
前記生成手段は、前記楽曲データにおける前記単一楽音区間を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析装置。
【請求項３】
請求項１又は２に記載の楽曲データ分析装置において、
前記音楽的特徴は、前記楽曲データにおける音符一つ分に相当する音が発音される間隔である発音間隔であり、
前記生成手段は、前記楽曲データにおける前記発音間隔を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析装置。
【請求項４】
請求項１から３のいずれか一項に記載の楽曲データ分析装置において、
前記音楽的特徴は、前記楽曲としての時間的な構成であり、
前記生成手段は、前記楽曲データにおける前記構成を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析装置。
【請求項５】
請求項１から４のいずれか一項に記載の楽曲データ分析装置と、
前記生成された種類検出用信号により示される音楽的特徴に対応する前記楽曲データを用いて、前記種類を検出する種類検出手段と、
を備えることを特徴とする楽曲種類検出装置。
【請求項６】
楽曲を構成する楽器の種類を検出する楽器種類検出装置において、
前記楽曲に対応する前記楽曲データに基づいて当該楽曲を構成する楽器の種類を検出し、種類信号を生成する第１検出手段と、
単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間を検出する第２検出手段と、
前記生成された種類信号のうち、前記検出された単一楽音区間に含まれる前記楽曲データのみに基づいて生成された当該種類信号により示される前記種類を、検出されるべき当該楽器の種類とする種類判定手段と、
を備えることを特徴とする楽器種類検出装置。
【請求項７】
請求項６に記載の楽器種類検出装置において、
前記第１検出手段は、
前記種類の特定に用いられる楽器モデルに相当する楽器モデル情報を記憶する記憶手段と、
前記楽曲データにおける音符一つ分に相当する音が発音される間隔である発音間隔を検出する発音間隔検出手段と、
前記検出された発音間隔に対応する前記楽器モデル情報と前記楽曲データとを比較して前記種類を検出して前記種類信号を生成する比較手段と、
を備えることを特徴とする楽器種類検出装置。
【請求項８】
請求項６又は７に記載の楽器種類検出装置において、
前記楽曲としての時間的な構成を検出する第３検出手段を更に備え、
前記種類判定手段は、前記生成された種類信号のうち、前記検出された構成に対応する当該種類信号により示される前記種類を、検出されるべき当該楽器の種類とすることを特徴とする楽器種類検出装置。
【請求項９】
楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析方法において、
前記楽曲データにおける時間軸に沿った音楽的特徴を検出する検出工程と、
前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する生成工程と、
を含むことを特徴とする楽曲データ分析方法。
【請求項１０】
楽曲を構成する楽器の種類を検出する楽器種類検出方法において、
前記楽曲に対応する前記楽曲データに基づいて当該楽曲を構成する楽器の種類を検出し、種類信号を生成する第１検出工程と、
単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間を検出する第２検出工程と、
前記生成された種類信号のうち、前記検出された単一楽音区間に含まれる前記楽曲データのみに基づいて生成された当該種類信号により示される前記種類を、検出されるべき当該楽器の種類とする種類判定工程と、
を含むことを特徴とする楽器種類検出装置。
【請求項１１】
楽曲に相当する楽曲データが入力されるコンピュータを、請求項１から４のいずれか一項に記載の楽曲データ分析装置として機能させることを特徴とする楽曲データ分析用プログラム。
【請求項１２】
楽曲に相当する楽曲データが入力されるコンピュータを、請求項５から８のいずれか一項に記載の楽器種類検出装置として機能させることを特徴とする楽器種類検出用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、楽曲データ分析装置及び楽器種類検出装置、楽曲データ分析方法及び楽器種類検出装置並びに楽曲データ分析用プログラム及び楽器種類検出用プログラムの技術分野に属する。より詳細には、楽曲を演奏している楽器の種類等を検出するための楽曲データ分析装置、楽曲データ分析方法及び楽曲データ分析用プログラム、並びに当該分析結果を用いる楽器種類検出装置及び楽器種類検出装置並びに楽器種類検出用プログラムの技術分野に属する。
【背景技術】
【０００２】
近年、いわゆるホームサーバや携帯型オーディオ機器等のように、夫々が楽曲に相当する多数の楽曲データを電子的に記録し、これを再生して音楽を楽しむことが広く一般化しつつある。そして、当該音楽を楽しむに当たっては、多数の楽曲の中から所望する楽曲を迅速に検索することが望まれる。【０００３】
ここで、当該検索に際しては色々な検索方法があるが、当該検索方法の中の一つに、例えば、「ピアノの演奏が含まれている楽曲」又は「ギターの演奏が含まれている楽曲」の如く、楽器をキーワードとして検索する検索方法がある。そして、この検索方法が実現されるためには、上記ホームサーバ等に記録されている楽曲夫々について、どのような楽器により演奏されているものかを迅速且つ正確に検出することが必要になる。【０００４】
そこで近年では、例えば下記特許文献１乃至３に記載されているような検索方法が開発されている。そして、これら特許文献１乃至３に開示されている従来技術による検索方法は、全て、外部から入力されてくる楽曲データの全てに対して同様の楽器認識処理を施すものであり、また全ての楽曲についてやはり同様の楽器認識処理を施すものであった。
【特許文献１】特開２００５−４９８５９公報
【特許文献２】特表２００６−５０８３９０公報
【特許文献３】特開２００３−１５６８４公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した各特許文献に記載された従来技術では、全ての楽曲について、また一の楽曲の全てについて、同様の楽器認識処理を実行するものであるため、楽器認識率の低下を来す場合があるという問題点があった。これは、上述したように一の楽曲の全てについて楽器認識処理の対象とすると、結果的に楽器認識に適さない楽曲の部分もその認識処理の対象となるため、全体として楽器認識率が低下するのである。【０００６】
そこで、本願は上記の問題点に鑑みて為されたもので、その課題の一例は、従来に比して楽曲を構成する楽器音に基づく当該楽器の検出率を向上させることが可能な楽器種類検出装置等を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、請求項１に記載の発明は、楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析装置において、前記楽曲データにおける時間軸に沿った音楽的特徴を検出する単一楽器音区間検出部等の検出手段と、前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する単一楽器音区間検出部等の生成手段と、を備える。【０００８】
上記の課題を解決するために、請求項５に記載の発明は、請求項１から４のいずれか一項に記載の楽曲データ分析装置と、前記生成された種類検出用信号により示される音楽的特徴に対応する前記楽曲データを用いて、前記種類を検出する楽器検出部等の種類検出手段と、を備える。【０００９】
上記の課題を解決するために、請求項６に記載の発明は、楽曲を構成する楽器の種類を検出する楽器種類検出装置において、前記楽曲に対応する前記楽曲データに基づいて当該楽曲を構成する楽器の種類を検出し、種類信号を生成する楽器検出部等の第１検出手段と、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間を検出する単一楽器音区間検出部等の第２検出手段と、前記生成された種類信号のうち、前記検出された単一楽音区間に含まれる前記楽曲データのみに基づいて生成された当該種類信号により示される前記種類を、検出されるべき当該楽器の種類とする結果記憶部等の種類判定手段と、を備える。【００１０】
上記の課題を解決するために、請求項９に記載の発明は、楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析方法において、前記楽曲データにおける時間軸に沿った音楽的特徴を検出する検出工程と、前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する生成工程と、を含む。【００１１】
上記の課題を解決するために、請求項１０に記載の発明は、楽曲を構成する楽器の種類を検出する楽器種類検出方法において、前記楽曲に対応する前記楽曲データに基づいて当該楽曲を構成する楽器の種類を検出し、種類信号を生成する第１検出工程と、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間を検出する第２検出工程と、前記生成された種類信号のうち、前記検出された単一楽音区間に含まれる前記楽曲データのみに基づいて生成された当該種類信号により示される前記種類を、検出されるべき当該楽器の種類とする種類判定工程と、を含む。【００１２】
上記の課題を解決するために、請求項１１に記載の発明は、楽曲に相当する楽曲データが入力されるコンピュータを、請求項１から４のいずれか一項に記載の楽曲データ分析装置として機能させる。【００１３】
上記の課題を解決するために、請求項１２に記載の発明は、楽曲に相当する楽曲データが入力されるコンピュータを、請求項５から８のいずれか一項に記載の楽器種類検出装置として機能させる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る楽曲再生装置の概要構成を示すブロック図である。
【図２】第１実施形態に係る検出結果テーブルの内容を例示する図である。
【図３】第２実施形態に係る楽曲再生装置の概要構成を示すブロック図である。
【図４】第２実施形態に係る検出結果テーブルの内容を例示する図である。
【図５】第３実施形態に係る楽曲再生装置の概要構成を示すブロック図である。
【図６】第３実施形態に係る検出結果テーブルの内容を例示する図である。
【図７】第４実施形態に係る楽曲再生装置の概要構成を示すブロック図である。
【図８】第４実施形態に係る検出結果テーブルの内容を例示する図である。
【符号の説明】
【００１５】
１    データ入力部
２    単一楽器音区間検出部
３    発音位置検出部
４    特徴量算出部
５    比較部
６    条件入力部
７    結果記憶部
８    再生部
１０    発音間隔検出部
１１    モデル切換部
１２    楽曲構造解析部
１３、１４    スイッチ
ＡＮ１、ＡＮ２、ＡＮ３、ＡＮ４    楽曲分析部
Ｄ１、Ｄ２    楽器検出部
Ｓ１、Ｓ２、Ｓ３、Ｓ４    楽曲再生装置
ＤＢ１、ＤＢ２    モデル蓄積部
Ｔ１、Ｔ２、Ｔ３、Ｔ４    検出結果テーブル
【発明を実施するための最良の形態】
【００１６】
次に、本願を実施するための最良の形態について、図面に基づいて説明する。なお、以下に説明する各実施形態は、例えば音楽ＤＶＤ（Digital Versatile Disc）や音楽サーバ等の、楽曲が多数記録されている記録媒体から所望の楽器により演奏されている楽曲を検索して再生する楽曲再生装置に対して本願を適用した場合の実施の形態である。
（Ｉ）第１実施形態
始めに、本願に係る第１実施形態について、図１及び図２を用いて説明する。なお図１は第１実施形態に係る楽曲再生装置の概要構成を示すブロック図であり、図２は第１実施形態に係る検出結果テーブルの内容を例示する図である。【００１７】
図１に示すように、第１実施形態に係る楽曲再生装置Ｓ１は、データ入力部１と、楽曲分析部ＡＮ１と、種類検出手段としての楽器検出部Ｄ１と、操作ボタン、キーボード又はマウス等からなる条件入力部６と、ハードディスクドライブ等からなる結果記憶部７と、液晶ディスプレイ等からなる図示しない表示部及び図示しないスピーカ等からなる再生部８と、により構成されている。また、楽曲分析部ＡＮ１は検出手段及び生成手段としての単一楽器音区間検出部２を備えて構成されている。更に楽器検出部Ｄ１は、発音位置検出部３と、特徴量算出部４と、比較部５と、モデル蓄積部ＤＢ１と、により構成されている。【００１８】
次に動作を説明する。【００１９】
先ず、第１実施形態に係る楽器検出処理の対象となる楽曲に相当する楽曲データは、上記音楽ＤＶＤ等から出力され、データ入力部１を介して楽曲データＳinとして楽曲分析部ＡＮ１に出力される。【００２０】
これにより、楽曲分析部ＡＮ１を構成する単一楽器音区間検出部２は、後述する方法により、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる当該楽曲データＳinの時間的区間である単一楽器音区間に属する当該楽曲データＳinを、元の当該楽曲データＳin全体の中から抽出する。そして、当該抽出結果は、単一楽器音データＳtonalとして楽器検出部Ｄ１に出力される。ここで、単一楽器音区間には、例えばピアノ又はギター等の楽器が単一で演奏されている時間的区間の他に、例えばバックでドラムスが小さくリズムを取りつつギターがメイン楽器として演奏されている時間的区間も含まれる。【００２１】
次に、楽器検出部Ｄ１は、楽曲分析部ＡＮ１から入力された単一楽器音データＳtonalに基づいて、当該単一楽器音データＳtonalに相当する時間的区間の楽曲を演奏している楽器を検出し、当該検出された結果を示す検出結果信号Ｓcompを生成して結果記憶部７に出力する。【００２２】
これにより、結果記憶部７は、当該検出結果信号Ｓcompとして出力されて来る楽器の検出結果を、元の楽曲データＳinに相当する楽曲の楽曲名及び演奏者名等を示す情報と共に不揮発性に記憶する。なお、当該楽曲名及び演奏者名等を示す情報は、楽器検出の対象とされた楽曲データＳinに対応付けて図示しないネットワーク等を介して取得される。【００２３】
次に、条件入力部６は、楽曲の再生を所望する使用者により操作されるものであり、聞きたい楽器名等を含む楽曲の検索条件等を示す条件情報Ｓconを当該操作に対応して生成し、結果記憶部７に出力する。【００２４】
そして、結果記憶部７は、楽器検出部Ｄ１から出力されて来た各楽曲データＳin毎の検出結果信号Ｓcompにより示される楽器と、上記条件情報Ｓconに含まれている楽器と、を比較する。これにより、結果記憶部７は、当該条件情報Ｓconに含まれている楽器に合致した楽器を含む検出結果信号Ｓcompに対応する楽曲の楽曲名及び演奏者名等を含む再生情報Ｓplayを生成して再生部８へ出力する。【００２５】
最後に、再生部８は、再生情報Ｓplayの内容を図示しない表示部に表示する。これにより、上記使用者により再生すべき楽曲（その使用者が聞きたい楽器の演奏部分を含む楽曲）が選択されると、再生部８は、当該選択された楽曲に対応する楽曲データＳinを図示しないネットワーク等を介して取得して再生／出力する。【００２６】
次に、上記楽器検出部Ｄ１の動作について、図１を用いて説明する。【００２７】
楽器検出部Ｄ１に入力された上記単一楽器音データＳtonalは、図１に示すように特徴量算出部４及び発音位置検出部３に夫々出力される。【００２８】
そして、発音位置検出部３は、後述する方法により、単一楽器音データＳtonalとしてその演奏が検出された楽器が、当該単一楽器音データＳtonalに相当する楽譜における一つの音符に相当する音を発音したタイミング及びその発音している時間を夫々検出する。この検出結果は、発音信号Ｓposとして特徴量算出部４に出力される。【００２９】
これにより、特徴量算出部４は、従来から知られている特徴量算出方法により、発音信号Ｓposにより示される発音位置毎に単一楽器音データＳtonalの音響的特徴量を算出し、特徴量信号Ｓtとして比較部５に出力する。このとき、上記特徴量算出方法は、比較部５におけるモデル比較方法に対応した方法である必要がある。この特徴量算出部４により、単一楽器音データＳtonalにおける一音（一つの音符に相当する音）毎に特徴量信号Ｓtが生成される。【００３０】
次に、比較部５は、特徴量信号Ｓtにより示される一音毎の音響的特徴量と、モデル蓄積部ＤＢ１に蓄積されており且つモデル信号Ｓmodとして比較部５に出力されている楽器毎の音響モデルとを比較する。【００３１】
ここで、モデル蓄積部ＤＢ１には、例えばＨＭＭ（Hidden Markov Model（隠れマルコフモデル））を用いた楽器音モデルに相当するデータが、各楽器毎に蓄積され、夫々の楽器音モデル毎にモデル信号Ｓmodとして比較部５に出力される。【００３２】
そして、比較部５では、例えばいわゆるビタビアルゴリズムを用いて楽器音の認識処理を一音毎に行う。より具体的には、楽器音モデルに対して一音毎の特徴量との対数尤度を計算し、その対数尤度が最大となる楽器音モデルがその一音を演奏する楽器に相当する楽器音モデルであり、この楽器を示す上記検出結果信号Ｓcompが結果記憶部７に出力される。なお、信頼度が低い認識結果を除外するべく、上記対数尤度に閾値を設定し、閾値以下の対数尤度をもつ認識結果は除外するように構成することも可能である。【００３３】
次に、上記単一楽器音区間検出部２の動作について、より具体的に説明する。【００３４】
第１実施形態に係る単一楽器音区間検出部２は、いわゆる（単一）音声生成機構モデルを楽器生成機構モデルへ応用することを原理として上記単一楽器音区間を検出する。【００３５】
すなわち、一般に、ピアノ又はギターのような打弦楽器や撥弦楽器では、音源となる弦に振動を与えると、その直後から音としてのパワーが減衰し、その後共鳴音が主となって終音する。この結果、当該打弦楽器や撥弦楽器の場合、いわゆる線形予測残差パワー値が小さくなる。これに対し、複数の楽器が同時に演奏されている場合、上述した音声生成機構モデルを応用した楽器生成機構モデルが適用できないため、上記線形予測残差パワー値としては大きくなる。【００３６】
そして、単一楽器音区間検出部２は、楽曲データＳinにおけるこの線形予測残差パワー値の大小により、予め実験的に設定されている当該線形予測残差パワー値の閾値を超えない線形予測残差パワー値を有する当該楽曲データＳinの時間的区間については打弦楽器や撥弦楽器についての単一楽器音区間でないと判定して無視する。これに対し、当該閾値を越えた線形予測残差パワー値を有する楽曲データＳinの時間的区間については当該単一楽器音区間であると判定する。これにより、単一楽器音区間検出部２は、当該単一楽器音区間であると判定された時間的区間に属する楽曲データＳinを抽出し、単一楽器音データＳtonalとして楽器検出部Ｄ１に出力する。【００３７】
なお、上述した単一楽器音区間検出部２の動作は、本出願人により出願番号ＰＣＴ／ＪＰ２００７／５５８９９として国際出願済の内容であり、より詳細には、当該特許出願における第５図並びに明細書段落番号００７１乃至００８１等に記載されている技術である。【００３８】
次に、上記発音位置検出部３の動作について、より具体的に説明する。【００３９】
発音位置検出部３においては、上記単一楽器音データＳtonalとして入力された楽曲データに対して、発音開始タイミング検出処理と発音終了タイミング検出処理とを行って上記発音信号Ｓposを生成する。【００４０】
そして、先ず発音開始タイミング検出処理として具体的には、例えば、時間波形の時間変化に着目して発音開始タイミングを検出する方法や、時間−周波数空間の特徴量変化に着目して発音開始タイミングを検出する方法が考えられる。なおこれらの方法を併用しても良い。【００４１】
ここで、前者では、単一楽器音データＳtonalとしての時間軸波形の傾きやパワー時間変化、位相時間変化又はピッチ時間変化割合のいずれかが大きい部分を検出してその部分に相当するタイミングを発音開始タイミングとする。一方後者では、音の立ち上がりが鋭いほど全周波数成分でパワー値が上昇することから周波数の帯域別に波形の時間変化を観測して検出し、その部分に相当するタイミングを発音開始タイミングとするか、或いはいわゆる周波数重心の時間変化割合が大きい部分を検出し、その部分に相当するタイミングを発音開始タイミングとする。【００４２】
次に発音終了タイミング検出処理として具体的には、例えば、単一楽器音データＳtonalにおける次の音の発音開始タイミングの直前のタイミングを発音終了タイミングとする第一の方法、上記発音開始タイミングから予め設定されている一定時間が経過したタイミングを発音終了タイミングとする第二の方法、又は上記発音開始タイミングから単一楽器音データＳtonalとしての音響パワーが予め設定されているパワー底値まで減衰するまでの時間が経過したタイミングを発音終了タイミングとする第三の方法、等が採用可能である。このとき、上記第二の方法における一定時間の決定方法としては、例えば、多数の楽曲の平均ＢＰＭ（Beat Per Minute）値が「１２０」であるとすると、
一定時間＝１２０／６０＝２（秒）（四拍子なら、２／４＝０．５秒／拍）
とするのが好適である。【００４３】
次に、第１実施形態に係る楽曲再生装置Ｓ１における楽器検出処理の結果として結果記憶部７に記憶される内容について、図２を用いて例示する。【００４４】
第１実施形態に係る楽曲分析部ＡＮ１における上述した動作並びに上記楽器検出部Ｄ１における上述した動作の結果として得られる上記検出結果信号Ｓcompの内容としては、図２に例示するように、発音位置検出部３により検出／特定された一音毎に、その一音を他の一音から識別するための音番号情報と、上記発音開始タイミングに相当するサンプル値を示す立ち上がりサンプル値情報と、上記発音終了タイミングに相当するサンプル値を示す立ち下がりサンプル値情報と、上記単一楽器音区間検出部２が動作したか否かを示す単一演奏区間検出情報と、検出された楽器の名称を含む検出結果情報と、が含まれている。そして、結果記憶部７は、当該各情報を、図２に例示する検出結果テーブルＴ１として記憶している。このとき、当該検出結果テーブルＴ１には、上記音番号情報が記述されている音番号欄Ｎと、上立ち上がりサンプル値情報が記述されている立ち上がりサンプル値欄ＵＰと、上記示す立ち下がりサンプル値情報が記述されている立ち下がりサンプル値欄ＤＰと、上記単一演奏区間検出情報が記述されている単一演奏区間検出欄ＴＬと、上記検出結果情報が記述されている検出結果欄Ｒと、が含まれている。【００４５】
そして、このような検出結果テーブルＴ１が記憶されている結果記憶部７に対して、例えば「単一演奏区間検出；有り、演奏楽器；ピアノ」なる内容を有する上記条件情報Ｓconが入力されると、それに基づいて検出結果テーブルＴ１内が検索された結果、その出力たる上記再生情報Ｓplayとして、音番号「１」（図２参照）の単一楽器音データＳtonalを含む楽曲データＳinに相当する楽曲の楽曲名及び演奏者名等を含む情報が再生部８に出力されることとなる。【００４６】
以上説明した第１実施形態に係る楽曲再生装置Ｓ１の動作によれば、楽曲データＳinにおける時間軸に沿った音楽的特徴として単一楽器音区間を検出し、この検出された単一楽器音区間に含まれる単一楽器音データＳtonalを用いて楽器種類の検出を行うので、種類を検出する楽器が含まれている楽曲の楽曲データＳinにおける音楽的な特徴に合わせた当該種類検出を高精度に実行させることができる。【００４７】
従って、楽曲データＳinの全てを用いて楽器を検出する場合に比して、より高精度に楽器の種類を検出することができる。【００４８】
また、単一楽器音データＳtonalを用いるので、単一の楽器音等により構成される楽曲データＳinのみを楽器種類の検出対象とさせることで、より当該種類の検出精度を向上させることができる。【００４９】
なお、本願の発明者らは、上記第２実施形態に係る楽器検出処理の高精度化の具体的実験結果として、楽曲データＳin全体を用いた楽器検出処理の検出率（正解率）が発音数４８に対して３０％であり、楽曲データＳinにおける単一楽器音データＳtonal以外の部分（即ち、複数楽器により演奏されている楽曲データＳinのみ）を用いた楽器検出処理の検出率が発音数３１に対して６％であるのに対し、単一楽器音データＳtonalを用いて楽器種類の検出を行った場合の検出結果が発音数１７に対して７６％であったとの実験結果を得ている。この結果を見ても、第１実施形態に係る楽曲再生装置Ｓ１の動作による効果の高さが確認できる。
（II）第２実施形態
次に、本願に係る他の実施形態である第２実施形態について、図３及び図４を用いて説明する。なお図３は第２実施形態に係る楽曲再生装置の概要構成を示すブロック図であり、図４は第２実施形態に係る検出結果テーブルの内容を例示する図である。なお、図３及び図４において、第１実施形態に係る図１及び図２と同一の部材については、同一の部材番号を付して細部の説明は省略する。【００５０】
上述した第１実施形態では、単一楽器音区間検出部２により楽器データＳinから抽出された単一楽器音データＳtonalを用いて楽器の検出を行ったが、以下に説明する第２実施形態では、これに加えて、楽曲データＳinにおける各音（各一音）の間隔（発音間隔）を検出し、この検出結果により、比較部５における比較の対象となる楽器音モデルを最適化する。【００５１】
すなわち、図３に示すように、第２実施形態に係る楽曲再生装置Ｓ２は、データ入力部１と、楽曲分析部ＡＮ２と、楽器検出部Ｄ２と、条件入力部６と、結果記憶部７と、再生部８と、により構成されている。また、楽曲分析部ＡＮ２は、単一楽器音区間検出部２と、発音間隔検出部１０と、を備えて構成されている。更に楽器検出部Ｄ２は、発音位置検出部３と、特徴量算出部４と、比較部５と、モデル切換部１１と、モデル蓄積部ＤＢ２と、により構成されている。【００５２】
次に、第２実施形態に特有の楽曲分析部ＡＮ２及び楽器検出部Ｄ２の動作にいて説明する。【００５３】
楽曲分析部ＡＮ２を構成する単一楽器音区間検出部２は、第１実施形態の場合と同様の動作により単一楽器音データＳtonalを生成して楽器検出部Ｄ２に出力する。【００５４】
これに加えて、楽曲分析部ＡＮ２を構成する発音間隔検出部１０は、楽曲データＳinにおける上記発音間隔を検出し、当該検出された発音間隔を示す間隔信号Ｓintを生成して楽器検出部Ｄ２及び結果記憶部７に出力する。【００５５】
次に、楽器検出部Ｄ２は、楽曲分析部ＡＮ２から入力された単一楽器音データＳtonal及び間隔信号Ｓintに基づいて、当該単一楽器音データＳtonalに相当する時間的区間の楽曲を演奏している楽器を検出し、当該検出された結果を示す上記検出結果信号Ｓcompを生成して結果記憶部７に出力する。【００５６】
このとき、楽器検出部Ｄ２内のモデル蓄積部ＤＢ２には、上記楽器音モデルが、発音間隔検出部１０により検出される発音間隔毎の楽器音モデルが蓄積されている。より具体的には、例えば発音間隔０．５秒の楽曲データＳinを用いて従来と同様の方法で予め学習させた楽器音モデル、発音間隔１．０秒の楽曲データＳinを用いて従来と同様の方法で予め学習させた楽器音モデル、及び時間制限なしの楽曲データＳinを用いて従来と同様の方法で予め学習させた楽器音モデルが、楽器の種類毎に夫々蓄積されている。そして、各楽器音モデルは、学習に用いられた楽曲データＳinの長さにより検索可能に蓄積されている。【００５７】
そして、楽器検出部Ｄ２内のモデル切換部１１は、楽器分析部Ｄ２から入力されて来る上記間隔信号Ｓintにより示される発音間隔以下で且つ当該発音間隔に最も近い長さの楽曲データＳinを用いて学習させた楽器音モデルを検索して上記モデル信号Ｓmodとして出力するように、モデル蓄積部ＤＢ２を制御するための制御信号Ｓchgを生成して当該モデル蓄積部ＤＢ２に出力する。【００５８】
これにより、比較部５は、特徴量信号Ｓtにより示される一音毎の音響的特徴量と、モデル蓄積部ＤＢ２からモデル信号Ｓmodとして出力されている楽器毎の音響モデルとを比較して上記検出結果信号Ｓcompを生成する。【００５９】
その後、上述した第１実施形態に係る楽曲再生装置Ｓ１と同様の結果記憶部７、条件入力部６及び再生部８の動作により、再生情報Ｓplayの内容を図示しない表示部に表示する。その後、上記使用者により再生すべき楽曲が選択されると、再生部８は、当該選択された楽曲に対応する楽曲データＳinを図示しないネットワーク等を介して取得して再生／出力する。【００６０】
次に、上記発音間隔検出部１０の動作について、より具体的に説明する。【００６１】
第２実施形態に係る発音間隔検出部１０は、上述したように楽曲データＳinにおける発音間隔を検出し間隔信号Ｓintとして楽器検出部Ｄ２に出力する。これは、できるだけ楽曲データＳinにおける単音長に近い楽器音モデルとの比較で楽器を検出した方が、楽器音モデルと単一楽器音データＳtonalとのミスマッチが減少することを期待するものである。【００６２】
そして、当該発音間隔検出処理として具体的には、例えば、カットオフ周波数が１キロヘルツであるローパスフィルタを通した楽音データＳinのピーク時間間隔を当該発音間隔とする方法、楽音データＳinにおけるいわゆる自己相関の時間間隔を当該発音間隔とする方法、又は、上記発音位置検出部３の結果を用いて一の発音開始タイミングから次の発音開始タイミングまでを上記発音間隔とする方法、等のいずれかを用いることができる。このとき、一つの音（一音）毎の発音間隔を間隔信号Ｓintとして出力するだけでなく、予め設定された時間内における発音間隔の平均値を間隔信号Ｓintとして出力してもよい。【００６３】
次に、第２実施形態に係る楽曲再生装置Ｓ２における楽器検出処理の結果として結果記憶部７に記憶される内容について、図４を用いて例示する。【００６４】
第２実施形態に係る楽曲分析部ＡＮ２における上述した動作並びに上記楽器検出部Ｄ２における上述した動作の結果として得られる上記検出結果信号Ｓcompの内容としては、図４に例示するように、第１実施形態に係る検出結果テーブルＴ１と同様の音番号情報、立ち上がりサンプル値情報、立ち下がりサンプル値情報、単一演奏区間検出情報及び検出結果情報に加えて、比較部５における比較処理に実際に使用された楽器音モデルを示す使用モデル情報が含まれている。この使用モデル情報は、上記発音間隔検出部１０から出力されて来た間隔信号Ｓint及び上記モデル蓄積部ＤＢ２に蓄積されている各楽器音モデルの内容を一覧に示す図示しないカタログデータ等に基づき、間隔信号Ｓintにより示される発音間隔以下で且つ当該発音間隔に最も近い長さの楽曲データＳinを用いて学習させた楽器音モデルを示すものとして検出結果テーブルＴ２内に記述されるものである。【００６５】
そして、結果記憶部７は、当該各情報を、図４に例示する検出結果テーブルＴ２として記憶している。このとき、当該検出結果テーブルＴ２には、第１実施形態に係る検出テーブルＴ１と同様の音番号欄Ｎ、立ち上がりサンプル値欄ＵＰ、立ち下がりサンプル値欄ＤＰ、単一演奏区間検出欄ＴＬ及び検出結果欄Ｒに加えて、上記使用モデル情報が記述されている使用モデル欄Ｍ、が含まれている。【００６６】
そして、このような検出結果テーブルＴ２が記憶されている結果記憶部７に対して、例えば「単一演奏区間検出；有り、演奏楽器；ピアノ」なる内容を有する上記条件情報Ｓconが入力されると、それに基づいて検出結果テーブルＴ２内が検索された結果、第１実施形態の場合と同様にその出力たる上記再生情報Ｓplayとして、音番号「１」（図４参照）の単一楽器音データＳtonalを含む楽曲データＳinに相当する楽曲の楽曲名及び演奏者名等を含む情報が再生部８に出力されることとなる。【００６７】
以上説明した第２実施形態に係る楽曲再生装置Ｓ２の動作によれば、上述した第１実施形態に係る楽曲再生装置Ｓ１の動作による効果に加えて、楽曲データＳinにおける発音間隔を用いて楽器を検出するので、一つの音毎に対応する楽曲データＳinを楽器種類の検出対象とし、その比較対象となる楽器音モデルが最適化されることで、当該音毎により正確に楽器の種類を検出させることができる。【００６８】
なお、本願の発明者らは、上記第２実施形態に係る楽器検出処理の高精度化の具体的実験結果として、楽曲データＳinの発音間隔が０．６秒である楽曲データＳinに対して、発音間隔０．５秒の楽曲データＳinを用いて学習させた楽器音モデルを適用した場合の楽器検出処理の検出率が発音数１７に対して６５％であり、発音間隔０．７秒の楽曲データＳinを用いて学習させた楽器音モデルを適用した場合の楽器検出処理の検出率が発音数１７に対して４１％であり、時間無制限の楽曲データＳinを用いて学習させた楽器音モデルを適用した場合の楽器検出処理の検出率が発音数１７に対して６％であったとの実験結果を得ている。この結果を見ても、第２実施形態に係る楽曲再生装置Ｓ２の動作による効果の高さが確認できる。
（III）第３実施形態
次に、本願に係る更に他の実施形態である第３実施形態について、図５及び図６を用いて説明する。なお図５は第３実施形態に係る楽曲再生装置の概要構成を示すブロック図であり、図６は第３実施形態に係る検出結果テーブルの内容を例示する図である。なお、図５及び図６において、第１実施形態に係る図１及び図２又は第２実施形態に係る図３及び図４と同一の部材については、同一の部材番号を付して細部の説明は省略する。【００６９】
上述した第２実施形態では、第１実施形態に係る楽曲再生装置Ｓ１の構成に加えて、楽曲データＳinにおける発音間隔を検出し、この検出結果により、比較部５における比較の対象となる楽器音モデルを最適化する構成としたが、以下に説明する第３実施形態では、これらに加えて更に、楽曲データＳinに相当する楽曲としての構造、すなわち、イントロ部、サビ部、Ａメロディ部又はＢメロディ部等の楽曲としての時間軸に沿った音楽的構造を検出し、この検出結果を楽器検出処理に反映させる。【００７０】
すなわち、図５に示すように、第３実施形態に係る楽曲再生装置Ｓ３は、データ入力部１と、楽曲分析部ＡＮ３と、楽器検出部Ｄ２と、条件入力部６と、結果記憶部７と、再生部８と、スイッチ１３及び１４と、により構成されている。また、楽曲分析部ＡＮ３は、単一楽器音区間検出部２と、発音間隔検出部１０と、楽曲構造解析部１２と、を備えて構成されている。なお楽器検出部Ｄ２自体の構成動作は、上述した第２実施形態に係る楽器検出部Ｄ２と同一であるので、細部の説明は省略する。【００７１】
次に、第３実施形態に特有の楽曲分析部ＡＮ３及びスイッチ１３及び１４の動作にいて説明する。【００７２】
楽曲分析部ＡＮ２を構成する単一楽器音区間検出部２は、第１実施形態の場合と同様の動作により単一楽器音データＳtonalを生成して楽器検出部Ｄ２に出力する。【００７３】
また同様の発音間隔検出部１０は、第１実施形態の場合と同様の動作により間隔信号Ｓintを生成して楽器検出部Ｄ２に出力する。【００７４】
これらに加えて、楽曲分析部ＡＮ２を構成する楽曲構造解析部１２は、楽曲データＳinに相当する楽曲における上記音楽的構造を検出し、当該検出された音楽的構造を示す構造信号Ｓanを生成して、スイッチ１３及び１４の開閉制御用として並びに結果記憶部７に出力する。【００７５】
次に、当該楽曲構造解析部１２の動作について、より具体的に説明する。【００７６】
第３実施形態に係る楽曲構造解析部１２は、上述したように楽曲データＳinにおける音楽的構造として、当該楽曲における例えばＡメロディ部、Ｂメロディ部、サビ部、間奏部又はエンディング部或いはそれらの繰り返し状態を夫々検出し、当該検出された構造を示す上記構造信号Ｓanを生成して上記スイッチ１３及び１４並びに結果記憶部７に出力する。そして、スイッチ１３及び１４は、当該構造信号Ｓanに基づいて開閉されることで、楽器検出部Ｄ２における楽器検出動作を活殺する。【００７７】
より具体的には、例えば、楽器検出部Ｄ２としての処理付加を削減すべく上記音楽的構造としての繰り返し部分の二回目以降についてスイッチ１３及び１４をオフとする構成が可能である。またこれ以外に、当該繰り返し部分を検出においても継続して各スイッチ１３及び１４をオンとすることで音楽的構造の分析処理と楽器検出動作とを継続しても良い。この場合、当該音楽的構造の分析結果と、楽器の検出結果と、を夫々結果記憶部７に蓄積しておくことが望ましい。このように構成することで、楽曲の再生時において、例えば「サビ部且つ特定楽器の音を再生」というような検索条件により、指定された楽曲構造部分（この例では「サビ部」）が、指定された特定楽器を用いて演奏されている部分を連続して再生する、と言った再生態様も可能となる。【００７８】
これらにより、楽器検出部Ｄ２は、スイッチ１３及び１４が音とされている期間に上記楽曲分析部ＡＮ３から入力された単一楽器音データＳtonal及び間隔信号Ｓintに基づき、第２実施形態に係る楽器検出部Ｄ２と同様の動作により、当該単一楽器音データＳtonalに相当する時間的区間の楽曲を演奏している楽器を検出し、当該検出された結果を示す上記検出結果信号Ｓcompを生成して結果記憶部７に出力する。【００７９】
そして、上述した第１実施形態に係る楽曲再生装置Ｓ１と同様の結果記憶部７、条件入力部６及び再生部８の動作により、再生情報Ｓplayの内容を図示しない表示部に表示する。その後、上記使用者により再生すべき楽曲が選択されると、再生部８は、当該選択された楽曲に対応する楽曲データＳinを図示しないネットワーク等を介して取得して再生／出力する。【００８０】
なお、第３実施形態に係る楽曲構造解析部１２における音楽的構造の解析方法の具体例としては、例えば本出願人による特許出願に係る特開２００４−１８４７６９公報における段落番号００１４乃至００５６及び第２図乃至第２２図に記載された解析方法を用いることが好適である。【００８１】
次に、第３実施形態に係る楽曲再生装置Ｓ３における楽器検出処理の結果として結果記憶部７に記憶される内容について、図６を用いて例示する。【００８２】
第３実施形態に係る楽曲分析部ＡＮ３における上述した動作並びに上記楽器検出部Ｄ２における上述した動作の結果として得られる上記検出結果信号Ｓcompの内容としては、図６に例示するように、第２実施形態に係る検出結果テーブルＴ２と同様の音番号情報、立ち上がりサンプル値情報、立ち下がりサンプル値情報、単一演奏区間検出情報、検出結果情報及び使用モデル情報に加えて、楽器検出に用いられた楽音データＳin（単一楽器音データＳtonal）が元の楽曲としての音楽的構造のうちいずれの構造部分の楽音データＳinであったかを示す使用構造情報が含まれている。この使用構造情報は、上記楽曲構造解析部１２から出力されて来た構造信号Ｓanにより示される音楽的構造が検出結果テーブルＴ３内に記述されるものである。【００８３】
そして、結果記憶部７は、当該各情報を、図６に例示する検出結果テーブルＴ３として記憶している。このとき、当該検出結果テーブルＴ３には、第２実施形態に係る検出テーブルＴ２と同様の音番号欄Ｎ、立ち上がりサンプル値欄ＵＰ、立ち下がりサンプル値欄ＤＰ、単一演奏区間検出欄ＴＬ、検出結果欄Ｒ及び使用モデル欄Ｍに加えて、上記使用構造情報が記述されている使用構造欄ＳＴが含まれている。【００８４】
そして、このような検出結果テーブルＴ３が記憶されている結果記憶部７に対して、例えば「単一演奏区間検出；有り、楽曲構造；サビ、演奏楽器；ピアノ」なる内容（すなわち、単一演奏区間検出を用いて検出され、且つ楽曲のサビ部分にピアノ演奏がある楽曲）を有する上記条件情報Ｓconが入力されると、それに基づいて検出結果テーブルＴ３内が検索された結果、その出力たる上記再生情報Ｓplayとして、音番号「１」（図６参照）の単一楽器音データＳtonalを含む楽曲データＳinに相当する楽曲の楽曲名及び演奏者名等を含む情報が再生部８に出力されることとなる。【００８５】
以上説明した第３実施形態に係る楽曲再生装置Ｓ３の動作によれば、上述した第２実施形態に係る楽曲再生装置Ｓ２の動作による効果に加えて、例えば、イントロ部、サビ部等を示す構造情報Ｓanを用いて楽器を検出するので、楽曲における音楽的構造を楽器種類の検出対象とさせることで、当該音楽的構造毎に楽器の種類を検出させることができる。【００８６】
なお、上述した第３実施形態は、第２実施形態に係る楽曲再生装置Ｓ２に対して楽曲構造解析部１２並びにスイッチ１３及び１４を追加する構成としたが、この他に、第１実施形態に係る楽曲再生装置Ｓ１に対して楽曲構造解析部１２並びにスイッチ１３を追加する構成とし、上述した楽曲構造解析部１２及びスイッチ１３と同様に動作させることも可能である。
（IV）第４実施形態
最後に、本願に係る更に他の実施形態である第４実施形態について、図７及び図８を用いて説明する。なお図７は第４実施形態に係る楽曲再生装置の概要構成を示すブロック図であり、図８は第４実施形態に係る検出結果テーブルの内容を例示する図である。なお、図７及び図８において、第１実施形態に係る図１及び図２、第２実施形態に係る図３及び図４又は第３実施形態に係る図５及び図６と同一の部材については、同一の部材番号を付して細部の説明は省略する。【００８７】
上述した第１乃至第３実施形態では、夫々、楽器検出部Ｄ１又はＤ２における楽器検出処理の前段として、第１実施形態に係る単一楽器音区間を検出する処理、第２実施形態に係る発音間隔を検出する処理又は第３実施形態に係る楽曲構造解析処理を行った。これらに対し、以下に説明する第４実施形態では、これら各処理のうち、第２実施形態に係る発音間隔検出処理のみを楽器検出処理の前段に行う。そして、当該楽器検出処理の結果として得られる上記検出結果信号Ｓcompに対して、上記単一楽器音区間検出処理の結果及び楽曲構造解析処理の結果により絞り込みをかける。【００８８】
すなわち、図７に示すように、第４実施形態に係る楽曲再生装置Ｓ４は、データ入力部１と、楽曲分析部ＡＮ４と、第１検出手段としての楽器検出部Ｄ２と、条件入力部６と、種類判定手段としての結果記憶部７と、再生部８と、により構成されている。また、楽曲分析部ＡＮ４は、発音間隔検出部１０と、第２検出手段としての単一楽器音区間検出部２と、楽曲構造解析部１２と、を備えて構成されている。【００８９】
次に動作を説明する。【００９０】
先ず、データ入力部１は、楽器検出対象たる楽曲データＳinを楽曲分析部ＡＮ４の発音間隔検出部１０に出力すると共に、楽器検出部Ｄ２に直接出力する。【００９１】
そして、発音間隔検出部１０は、第２実施形態に係る発音間隔検出部１０と同様の動作により上記間隔信号Ｓintを生成し、楽器検出部Ｄ２のモデル切換部１１及び結果記憶部７に出力する。【００９２】
一方、楽器検出部Ｄ２は、直接入力される楽曲データＳinの全てを対象として、第２実施形態に係る楽器検出部Ｄ２と同様の動作を行い、楽曲データＳinの全てについての楽器検出結果としての検出結果信号Ｓcompを生成し、結果記憶部７に出力する。【００９３】
これらに対し、第４実施形態に係る単一楽器音区間検出部２は、第１実施形態に係る単一楽器音区間検出部２と同様の動作により上記単一楽器音データＳtonalを生成して結果記憶部７に直接出力する。更に第４実施形態に係る楽曲構造解析部１２は、第３実施形態に係る楽曲構造解析部１２と同様の動作により上記構造信号Ｓanを生成して結果記憶部７に直接出力する。【００９４】
これらにより、結果記憶部７は、上記単一楽器音データＳtonal、上記間隔信号Ｓint、上記構造信号Ｓan及び楽曲データＳinの全てを検出対象とした上記検出結果信号Ｓcompを、後述する検出結果テーブルＴ４の態様で夫々記憶する。【００９５】
ここで、当該検出結果テーブルＴ４の内容について、図８を用いて例示する。【００９６】
第４実施形態に係る結果記憶部７に記憶される検出結果テーブルＴ４の内容としては、図８に例示するように、第３実施形態に係る検出結果テーブルＴ３と同様の音番号情報、立ち上がりサンプル値情報、立ち下がりサンプル値情報、単一演奏区間検出情報、検出結果情報、使用モデル情報及び使用構造情報に加えて、上記間隔信号Ｓintとして入力されて来た発音間隔を示す発音間隔情報が含まれている。【００９７】
そして、これらの情報を含む検出結果テーブルＴ４としては、図８に例示するように、第３実施形態に係る検出テーブルＴ３と同様の音番号欄Ｎ、立ち上がりサンプル値欄ＵＰ、立ち下がりサンプル値欄ＤＰ、単一演奏区間検出欄ＴＬ、検出結果欄Ｒ、使用モデル欄Ｍ及び使用構造欄ＳＴに加えて、上記発音間隔情報が記述されている発音間隔欄ＩＮＴが含まれている。なお、これらの欄のうち、単一演奏区間検出欄ＴＬについては、第１乃至第３実施形態の場合と異なり、第４実施形態に係る単一楽器音区間検出部１０から直接出力されて来た単一楽器音データＳtonalの内容に基づいて記述されるものである。【００９８】
そして、このような検出結果テーブルＴ４が記憶されている結果記憶部７に対して、例えば「単一演奏区間検出；有り、楽曲構造；サビ、演奏楽器；ピアノ」なる内容を有する上記条件情報Ｓconが入力されると、結果記憶部７は、上記検出結果テーブルＴ４の内容を参照しつつ、楽曲データＳinの全てを対象とした楽器検出部Ｄ２による楽器検出処理の結果の中から、単一楽器音データＳtonalに相当し且つサビ部に相当する区間の楽器データＳinを検出対象とした楽器検出結果のみを再生情報Ｓplayとして再生部８に出力する。この結果、再生部８は、音番号「１」（図８参照）の単一楽器音データＳtonal区間を含む楽曲データＳinに相当する楽曲の楽曲名及び演奏者名等を含む情報を取得することとなる。【００９９】
その後、上記使用者により再生すべき楽曲が選択されると、再生部８は、当該選択された楽曲に対応する楽曲データＳinを図示しないネットワーク等を介して取得して再生／出力する。【０１００】
以上説明した第４実施形態に係る楽曲再生装置Ｓ４の動作によれば、第２実施形態に係る発音間隔検出処理のみを楽器検出処理の前段に行い、当該楽器検出処理の結果として得られる上記検出結果信号Ｓcompに対して上記単一楽器音区間検出処理の結果及び楽曲構造解析処理の結果により絞り込みをかけるので、単一楽器演奏区間に拘わらず、予め全ての楽曲データＳinに対して単一楽器音区間検出処理及び楽曲構造解析処理を行っておき、その後に当該各処理における設定を変更して結果を見る場合、当該各処理の全てを再度実行することなく、所望の分析結果を得ることができる。【０１０１】
また、一つの音毎に対応する楽曲データＳinを楽器種類の検出対象とし、その比較対象となる楽器音モデルが最適化されることで、当該音毎により正確に楽器の種類を検出させることができる。【０１０２】
更に、例えば、イントロの部分、サビの部分等、楽曲における音楽的構造を用いて検出されるべき楽器の種類を検出するので、当該構成に基づいて判定することで、より当該種類の検出精度を向上させることができる。【０１０３】
更にまた、上述してきた楽曲分析部ＡＮ１乃至ＡＮ４或いは楽器検出部Ｄ１又はＤ２の動作に相当するプログラムを、フレキシブルディスク又はハードディスク等の情報記録媒体に記録しておき、又はインターネット等を介して取得して記録しておき、これらを汎用のコンピュータで読み出して実行することにより、当該コンピュータを各実施形態に係る楽曲分析部ＡＮ１乃至ＡＮ４或いは楽器検出部Ｄ１又はＤ２として活用することも可能である。
【図１】
2009101703.tif 000003
【図２】
2009101703.tif 000004
【図３】
2009101703.tif 000005
【図４】
2009101703.tif 000006
【図５】
2009101703.tif 000007
【図６】
2009101703.tif 000008
【図７】
2009101703.tif 000009
【図８】
2009101703.tif 000010
【手続補正書】
【提出日】平成21年9月14日(2009.9.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析装置において、
前記楽曲データにおける時間軸に沿った音楽的特徴を検出する検出手段と、
前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する生成手段と、
を備え、
前記音楽的特徴は、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間であると共に、
前記生成手段は、前記楽曲データにおける前記単一楽音区間を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析装置。
【請求項２】
（削除）
【請求項３】
請求項１に記載の楽曲データ分析装置において、
前記音楽的特徴は、前記楽曲データにおける音符一つ分に相当する音が発音される間隔である発音間隔であり、
前記生成手段は、前記楽曲データにおける前記発音間隔を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析装置。
【請求項４】
請求項１又は３に記載の楽曲データ分析装置において、
前記音楽的特徴は、前記楽曲としての時間的な構成であり、
前記生成手段は、前記楽曲データにおける前記構成を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析装置。
【請求項５】
請求項１、３又は４のいずれか一項に記載の楽曲データ分析装置と、
前記生成された種類検出用信号により示される音楽的特徴に対応する前記楽曲データを用いて、前記種類を検出する種類検出手段と、
を備えることを特徴とする楽曲種類検出装置。
【請求項６】
楽曲を構成する楽器の種類を検出する楽器種類検出装置において、
前記楽曲に対応する前記楽曲データに基づいて当該楽曲を構成する楽器の種類を検出し、種類信号を生成する第１検出手段と、
単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間を検出する第２検出手段と、
前記生成された種類信号のうち、前記検出された単一楽音区間に含まれる前記楽曲データのみに基づいて生成された当該種類信号により示される前記種類を、検出されるべき当該楽器の種類とする種類判定手段と、
を備えることを特徴とする楽器種類検出装置。
【請求項７】
請求項６に記載の楽器種類検出装置において、
前記第１検出手段は、
前記種類の特定に用いられる楽器モデルに相当する楽器モデル情報を記憶する記憶手段と、
前記楽曲データにおける音符一つ分に相当する音が発音される間隔である発音間隔を検出する発音間隔検出手段と、
前記検出された発音間隔に対応する前記楽器モデル情報と前記楽曲データとを比較して前記種類を検出して前記種類信号を生成する比較手段と、
を備えることを特徴とする楽器種類検出装置。
【請求項８】
請求項６又は７に記載の楽器種類検出装置において、
前記楽曲としての時間的な構成を検出する第３検出手段を更に備え、
前記種類判定手段は、前記生成された種類信号のうち、前記検出された構成に対応する当該種類信号により示される前記種類を、検出されるべき当該楽器の種類とすることを特徴とする楽器種類検出装置。
【請求項９】
楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析方法において、
前記楽曲データにおける時間軸に沿った音楽的特徴を検出する検出工程と、
前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する生成工程と、
を含み、
前記音楽的特徴は、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間であると共に、
前記生成工程においては、前記楽曲データにおける前記単一楽音区間を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析方法。
【請求項１０】
楽曲を構成する楽器の種類を検出する楽器種類検出方法において、
前記楽曲に対応する前記楽曲データに基づいて当該楽曲を構成する楽器の種類を検出し、種類信号を生成する第１検出工程と、
単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間を検出する第２検出工程と、
前記生成された種類信号のうち、前記検出された単一楽音区間に含まれる前記楽曲データのみに基づいて生成された当該種類信号により示される前記種類を、検出されるべき当該楽器の種類とする種類判定工程と、
を含むことを特徴とする楽器種類検出装置。
【請求項１１】
楽曲に相当する楽曲データが入力されるコンピュータを、請求項１、３又は４のいずれか一項に記載の楽曲データ分析装置として機能させることを特徴とする楽曲データ分析用プログラム。
【請求項１２】
楽曲に相当する楽曲データが入力されるコンピュータを、請求項５から８のいずれか一項に記載の楽器種類検出装置として機能させることを特徴とする楽器種類検出用プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
特許文献１：特開２００５−４９８５９公報
特許文献２：特表２００６−５０８３９０公報
特許文献３：特開２００３−１５６８４公報
発明の開示
発明が解決しようとする課題
［０００５］
しかしながら、上述した各特許文献に記載された従来技術では、全ての楽曲について、また一の楽曲の全てについて、同様の楽器認識処理を実行するものであるため、楽器認識率の低下を来す場合があるという問題点があった。これは、上述したように一の楽曲の全てについて楽器認識処理の対象とすると、結果的に楽器認識に適さない楽曲の部分もその認識処理の対象となるため、全体として楽器認識率が低下するのである。
［０００６］
そこで、本願は上記の問題点に鑑みて為されたもので、その課題の一例は、従来に比して楽曲を構成する楽器音に基づく当該楽器の検出率を向上させることが可能な楽器種類検出装置等を提供することにある。
課題を解決するための手段
［０００７］
上記の課題を解決するために、請求項１に記載の発明は、楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析装置において、前記楽曲データにおける時間軸に沿った音楽的特徴を検出する単一楽器音区間検出部等の検出手段と、前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する単一楽器音区間検出部等の生成手段と、を備え、前記音楽的特徴は、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間であると共に、前記生成手段は、前記楽曲データにおける前記単一楽音区間を示す情報を前記種類検出用信号として生成するように構成される。
［０００８］
上記の課題を解決するために、請求項５に記載の発明は、請求項１、３又は４のいずれか一項に記載の楽曲データ分析装置と、前記生成された種類検出用信号により示される音楽的特徴に対応する前記楽曲データを用いて、前記種類を検出する楽器検出部等の種類検出手段と、を備える。
［０００９］
上記の課題を解決するために、請求項６に記載の発明は、楽曲を構成する楽器の種類を検出する楽器種類検出装置において、前記楽曲に対応する前記楽曲データに基づいて当該楽曲を構成する楽器の種類を検出し、種類信号を生成する楽器検
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
出部等の第１検出手段と、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間を検出する単一楽器音区間検出部等の第２検出手段と、前記生成された種類信号のうち、前記検出された単一楽音区間に含まれる前記楽曲データのみに基づいて生成された当該種類信号により示される前記種類を、検出されるべき当該楽器の種類とする結果記憶部等の種類判定手段と、を備える。
［００１０］
上記の課題を解決するために、請求項９に記載の発明は、楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析方法において、前記楽曲データにおける時間軸に沿った音楽的特徴を検出する検出工程と、前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する生成工程と、を含含み、前記音楽的特徴は、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間であると共に、前記生成工程においては、前記楽曲データにおける前記単一楽音区間を示す情報を前記種類検出用信号として生成するように構成される。
［００１１］
上記の課題を解決するために、請求項１０に記載の発明は、楽曲を構成する楽器の種類を検出する楽器種類検出方法において、前記楽曲に対応する前記楽曲データに基づいて当該楽曲を構成する楽器の種類を検出し、種類信号を生成する第１検出工程と、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間を検出する第２検出工程と、前記生成された種類信号のうち、前記検出された単一楽音区間に含まれる前記楽曲データのみに基づいて生成された当該種類信号により示される前記種類を、検出されるべき当該楽器の種類とする種類判定工程と、を含む。
［００１２］
上記の課題を解決するために、請求項１１に記載の発明は、楽曲に相当する楽曲データが入力されるコンピュータを、請求項１、３又は４のいずれか一項に記載の楽曲データ分析装置として機能させる。
［００１３］
上記の課題を解決するために、請求項１２に記載の発明は、楽曲に相当する楽曲データが入力されるコンピュータを、請求項５から８のいずれか一項に記載の楽器種類検出装置として機能させる。
図面の簡単な説明
［図１］第１実施形態に係る楽曲再生装置の概要構成を示すブロック図である。
［図２］第１実施形態に係る検出結果テーブルの内容を例示する図である。
【手続補正書】
【提出日】平成22年7月29日(2010.7.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析装置において、
前記楽曲データにおける時間軸に沿った音楽的特徴を検出する検出手段と、
前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する生成手段と、
を備え、
前記音楽的特徴は、前記楽曲としての時間的な構成であり、
前記生成手段は、前記楽曲データにおける前記構成を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析装置。
【請求項２】
請求項１に記載の楽曲データ分析装置において、
前記音楽的特徴は、単一の楽器音又は単一人による歌唱音のいずれかにより構成されていると聴感上見なすことができる前記楽曲データの時間的区間である単一楽音区間であると共に、
前記生成手段は、前記楽曲データにおける前記単一楽音区間を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析装置。
【請求項３】
請求項１又は２に記載の楽曲データ分析装置において、
前記音楽的特徴は、前記楽曲データにおける音符一つ分に相当する音が発音される間隔である発音間隔であり、
前記生成手段は、前記楽曲データにおける前記発音間隔を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析装置。
【請求項４】
請求項１から３のいずれか一項に記載の楽曲データ分析装置と、
前記生成された種類検出用信号により示される音楽的特徴に対応する前記楽曲データを用いて、前記種類を検出する種類検出手段と、
を備えることを特徴とする楽器種類検出装置。
【請求項５】
楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析方法において、
前記楽曲データにおける時間軸に沿った音楽的特徴を検出する検出工程と、
前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する生成工程と、
を含み、
前記音楽的特徴は、前記楽曲としての時間的な構成であり、
前記生成工程においては、前記楽曲データにおける前記構成を示す情報を前記種類検出用信号として生成することを特徴とする楽曲データ分析方法。
【請求項６】
楽曲に相当する楽曲データが入力されるコンピュータを、請求項１から３のいずれか一項に記載の楽曲データ分析装置として機能させることを特徴とする楽曲データ分析用プログラム。
【請求項７】
楽曲に相当する楽曲データが入力されるコンピュータを、請求項４に記載の楽器種類検出装置として機能させることを特徴とする楽器種類検出用プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本願は、楽曲データ分析装置及び楽器種類検出装置、楽曲データ分析方法並びに楽曲データ分析用プログラム及び楽器種類検出用プログラムの技術分野に属する。より詳細には、楽曲を演奏している楽器の種類等を検出するための楽曲データ分析装置、楽曲データ分析方法及び楽曲データ分析用プログラム、並びに当該分析結果を用いる楽器種類検出装置及び楽器種類検出用プログラムの技術分野に属する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記の課題を解決するために、請求項１に記載の発明は、楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析装置において、前記楽曲データにおける時間軸に沿った音楽的特徴を検出する単一楽器音区間検出部等の検出手段と、前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する単一楽器音区間検出部等の生成手段と、を備え、前記音楽的特徴は、前記楽曲としての時間的な構成であり、前記生成手段は、前記楽曲データにおける前記構成を示す情報を前記種類検出用信号として生成するように構成される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記の課題を解決するために、請求項４に記載の発明は、請求項１から３のいずれか一項に記載の楽曲データ分析装置と、前記生成された種類検出用信号により示される音楽的特徴に対応する前記楽曲データを用いて、前記種類を検出する楽器検出部等の種類検出手段と、を備える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
上記の課題を解決するために、請求項５に記載の発明は、楽曲に相当する楽曲データを分析し、当該楽曲を構成する楽器の種類を検出するための種類検出用信号を生成する楽曲データ分析方法において、前記楽曲データにおける時間軸に沿った音楽的特徴を検出する検出工程と、前記検出された音楽的特徴に基づいて前記種類検出用信号を生成する生成工程と、を含み、前記音楽的特徴は、前記楽曲としての時間的な構成であり、前記生成工程においては、前記楽曲データにおける前記構成を示す情報を前記種類検出用信号として生成するように構成される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
上記の課題を解決するために、請求項６に記載の発明は、楽曲に相当する楽曲データが入力されるコンピュータを、請求項１から３のいずれか一項に記載の楽曲データ分析装置として機能させる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
上記の課題を解決するために、請求項７に記載の発明は、楽曲に相当する楽曲データが入力されるコンピュータを、請求項４に記載の楽器種類検出装置として機能させる。
【国際調査報告】
2009101703.tif 000011
2009101703.tif 000012
2009101703.tif 000013
2009101703.tif 000014
2009101703.tif 000015
2009101703.tif 000016