(57)【要約】【課題】  本発明は、印象の異なるフレーズを考慮して検索することができ、ユーザが所望する印象の楽曲を精度良く検索することができる楽曲検索装置および楽曲検索方法を提供することを課題とする。【解決手段】  特徴データ抽出部１３は、楽曲データから複数組の特徴データを抽出し、範囲データ決定部１５は、抽出した複数組の前記特徴データに基づいて、幅を持って楽曲データの印象を表す範囲データを決定し、楽曲検索部１７は、受け付けた検索範囲と重なる範囲データの楽曲データを特定し、特定した楽曲データの範囲データにおいて検索範囲と重なっている領域が占める割合を重なり度合として算出することで、特定した楽曲データを順位付けする。【選択図】        図１
2006323007.tif 000002
【特許請求の範囲】
【請求項１】
楽曲データベースに記憶された楽曲データを検索する楽曲検索装置であって、
前記楽曲データから複数組の特徴データを抽出する特徴データ抽出手段と、
該特徴データ抽出手段によって抽出された複数組の前記特徴データに基づいて、幅を持って前記楽曲データの印象を表す範囲データを決定する範囲データ決定手段と、
検索範囲の入力を受け付ける操作手段と、
該操作手段から入力された前記検索範囲と重なる範囲データの楽曲データを特定すると共に、特定した前記楽曲データの前記範囲データにおいて前記検索範囲と重なっている領域が占める割合を重なり度合として算出することで、特定した前記楽曲データを順位付けする楽曲検索手段とを具備することを特徴とする楽曲検索装置。
【請求項２】
前記特徴データ抽出手段によって抽出された複数組の前記特徴データを人間の感性で判断する印象度データにそれぞれ変換する印象度データ変換手段を具備し、
前記範囲データ決定手段は、前記印象度データ変換手段によって変換された複数組の前記印象度データに基づいて前記範囲データを決定することを特徴とする請求項１記載の楽曲検索装置。
【請求項３】
前記印象度データ変換手段によって変換された前記印象度データは、複数の項目からなり、
前記範囲データ決定手段は、前記印象度データの各項目の最大値から最小値の間を前記範囲データとして決定し、
前記操作手段は、前記検索範囲として前記印象度データにおける各項目の値の範囲を受け付けることを特徴とする請求項２記載の楽曲検索装置。
【請求項４】
前記特徴データ抽出手段は、前記楽曲データの時間軸上の異なる箇所からそれぞれ前記特徴データを抽出することを特徴とする請求項１乃至３のいずれかに記載の楽曲検索装置。
【請求項５】
楽曲データベースに記憶された楽曲データを検索する楽曲検索方法であって、
前記楽曲データから複数組の特徴データを抽出し、
該抽出した複数組の前記特徴データに基づいて、幅を持って前記楽曲データの印象を表す範囲データを決定し、
検索範囲の入力を受け付け、
該検索範囲と重なる範囲データの楽曲データを特定し、
該特定した前記楽曲データの前記範囲データにおいて前記検索範囲と重なっている領域が占める割合を重なり度合として算出することで、前記特定した前記楽曲データを順位付けすることを特徴とする楽曲検索方法。
【請求項６】
前記抽出した複数組の前記特徴データを人間の感性で判断する印象度データにそれぞれ変換し、
該変換した複数組の前記印象度データに基づいて前記範囲データを決定することを特徴とする請求項５記載の楽曲検索方法。
【請求項７】
前記変換した前記印象度データは、複数の項目からなり、
前記印象度データの各項目の最大値から最小値の間を前記範囲データとして決定し、
前記検索範囲として前記印象度データにおける各項目の値の範囲を受け付けることを特徴とする請求項６記載の楽曲検索方法。
【請求項８】
前記楽曲データの時間軸上の異なる箇所からそれぞれ前記特徴データを抽出することを特徴とする請求項５乃至７のいずれかに記載の楽曲検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲データベースに記憶された楽曲データを検索する楽曲検索装置および楽曲検索方法関し、特に楽曲データから抽出した特徴データを用いて楽曲データベースに記憶された楽曲データを検索する楽曲検索装置および楽曲検索方法に関する。
【背景技術】
【０００２】
近年、ＨＤＤ等の大容量の記憶手段が開発され、大容量の記憶手段に大量の楽曲データを記憶させることができるようになっている。大容量の記憶手段に記憶されている大量の楽曲データの検索は、アーティスト名や曲名、その他のキーワード等の書誌データを用いて行うのが一般的であるが、書誌データで検索した場合には、楽曲が持っている情感を考慮することができず、印象の異なる楽曲が検索される可能性がある。
【０００３】
そこで、楽曲に対する主観的な印象に基づいて利用者の希望する楽曲を検索可能にするために、検索を希望する楽曲に対するユーザの主観的な要件を入力して数値化して出力し、その出力から、検索対象の楽曲の印象を数量化した予測印象値を算出し、算出した予測印象値をキーとして、複数の楽曲の音響信号およびその楽曲の印象を数量化した印象値を記憶した楽曲データベースを検索することにより、利用者の楽曲に対する主観的なイメージに基づいて、希望する楽曲を検索する装置が提案されている（例えば、特許文献１参照）。
【０００４】
しかしながら、楽曲には、印象の異なるフレーズが含まれていることが多いにもかかわらず、従来技術では、楽曲の印象を印象値に集約しているため、印象の異なるフレーズが平均化した印象値になってしまったり、１箇所のフレーズに基づく印象値になってしまったりしてしまうため、ユーザが所望する印象の楽曲を必ずしも検索することができないという問題点があった。
【特許文献１】特開２００２−２７８５４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は斯かる問題点に鑑みてなされたものであり、その目的とするところは、印象の異なるフレーズを考慮して検索することができ、ユーザが所望する印象の楽曲を精度良く検索することができる楽曲検索装置および楽曲検索方法を提供する点にある。
【課題を解決するための手段】
【０００６】
本発明は上記課題を解決すべく、以下に掲げる構成とした。
本発明の楽曲検索装置は、楽曲データベースに記憶された楽曲データを検索する楽曲検索装置であって、前記楽曲データから複数組の特徴データを抽出する特徴データ抽出手段と、該特徴データ抽出手段によって抽出された複数組の前記特徴データに基づいて、幅を持って前記楽曲データの印象を表す範囲データを決定する範囲データ決定手段と、検索範囲の入力を受け付ける操作手段と、該操作手段から入力された前記検索範囲と重なる範囲データの楽曲データを特定すると共に、特定した前記楽曲データの前記範囲データにおいて前記検索範囲と重なっている領域が占める割合を重なり度合として算出することで、特定した前記楽曲データを順位付けする楽曲検索手段とを具備することを特徴とする。
【０００７】
さらに、本発明の楽曲検索装置は、前記特徴データ抽出手段によって抽出された複数組の前記特徴データを人間の感性で判断する印象度データにそれぞれ変換する印象度データ変換手段を具備し、前記範囲データ決定手段は、前記印象度データ変換手段によって変換された複数組の前記印象度データに基づいて前記範囲データを決定することを特徴とする。
【０００８】
さらに、本発明の楽曲検索装置は、前記印象度データ変換手段によって変換された前記印象度データは、複数の項目からなり、前記範囲データ決定手段は、前記印象度データの各項目の最大値から最小値の間を前記範囲データとして決定し、前記操作手段は、前記検索範囲として前記印象度データにおける各項目の値の範囲を受け付けることを特徴とする。
【０００９】
さらに、本発明の楽曲検索装置は、前記特徴データ抽出手段は、前記楽曲データの時間軸上の異なる箇所からそれぞれ前記特徴データを抽出することを特徴とする。
【００１０】
また、本発明の楽曲検索方法は、楽曲データベースに記憶された楽曲データを検索する楽曲検索方法であって、前記楽曲データから複数組の特徴データを抽出し、該抽出した複数組の前記特徴データに基づいて、幅を持って前記楽曲データの印象を表す範囲データを決定し、検索範囲の入力を受け付け、該検索範囲と重なる範囲データの楽曲データを特定し、該特定した前記楽曲データの前記範囲データにおいて前記検索範囲と重なっている領域が占める割合を重なり度合として算出することで、前記特定した前記楽曲データを順位付けすることを特徴とする。
【００１１】
さらに、本発明の楽曲検索方法は、前記抽出した複数組の前記特徴データを人間の感性で判断する印象度データにそれぞれ変換し、該変換した複数組の前記印象度データに基づいて前記範囲データを決定することを特徴とする。
【００１２】
さらに、本発明の楽曲検索方法は、前記変換した前記印象度データは、複数の項目からなり、前記印象度データの各項目の最大値から最小値の間を前記範囲データとして決定し、
前記検索範囲として前記印象度データにおける各項目の値の範囲を受け付けることを特徴とする。
【００１３】
さらに、本発明の楽曲検索方法は、前記楽曲データの時間軸上の異なる箇所からそれぞれ前記特徴データを抽出することを特徴とする。
【発明の効果】
【００１４】
本発明の楽曲検索装置および楽曲検索方法は、楽曲データから複数組の特徴データを抽出し、抽出した複数組の前記特徴データに基づいて、幅を持って楽曲データの印象を表す範囲データを決定し、受け付けた検索範囲と重なる範囲データの楽曲データを特定し、特定した楽曲データの範囲データにおいて検索範囲と重なっている領域が占める割合を重なり度合として算出することで、特定した楽曲データを順位付けするように構成することにより、印象が異なるフレーズの中のいずれかにユーザが所望する印象が含まれている場合には、該当する楽曲データが検索されるため、印象の異なるフレーズを考慮して検索することができ、ユーザが所望する印象の楽曲を精度良く検索することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１６】
図１は、本発明に係る楽曲検索装置の実施の形態の構成を示すブロック図であり、図２は、図１に示す楽曲検索装置に用いられるニューラルネットワークを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。
【００１７】
本実施の形態の楽曲検索装置１０は、図１を参照すると、パーソナルコンピュータ等のプログラム制御で動作する情報処理装置であり、楽曲データ入力部１１と、圧縮処理部１２と、特徴データ抽出部１３と、印象度データ変換部１４と、範囲データ決定部１５と、楽曲データベース１６と、楽曲検索部１７と、ＰＣ操作部１８と、ＰＣ表示部１９と、音声出力部２０とからなる。
【００１８】
楽曲データ入力部１１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、圧縮処理部１２および特徴データ抽出部１３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して特徴データ抽出部１３に出力する。
【００１９】
圧縮処理部１２は、楽曲検索時には、楽曲データ入力部１１から入力された楽曲データをＭＰ３やＡＴＲＡＣ（Adaptive Transform Acoustic Coding ）等の圧縮形式で圧縮し、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１６に記憶させる。
【００２０】
特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから特徴データを抽出し、抽出した特徴データを印象度データ変換部１４に出力する。
【００２１】
印象度データ変換部１４は、図２に示すニューラルネットワーク学習装置４０によって予め学習が施された階層型ニューラルネットワークを用いて、特徴データ抽出部１３から入力された特徴データを、人間の感性によって判断される印象度データに変換し、変換した印象度データを範囲データ決定部１５に出力する。
【００２２】
範囲データ決定部１５は、印象度データ変換部１４から入力された印象度データに基づいて範囲データを決定し、決定した範囲データを楽曲データに関連づけて楽曲データベース１６に登録する。
【００２３】
楽曲データベース１６は、ＨＤＤ等の大容量の記憶手段であり、圧縮処理部１２によって圧縮された楽曲データ、書誌データと、範囲データ決定部１５によって決定された範囲データとが関連づけられて記憶される。
【００２４】
楽曲検索部１７は、ＰＣ操作部１８から印象度データにおける各項目の値の範囲を検索範囲として受け付け、受け付けた検索範囲に基づいて楽曲データベース１６に記憶されている楽曲データを検索し、受け付けた検索範囲と重なる範囲データの楽曲データを特定し、特定した楽曲データの範囲データにおいて検索範囲と重なっている領域が占める割合を重なり度合として算出することで、特定した楽曲データを順位付けする。
【００２５】
ＰＣ操作部１８は、キーボードやマウス等の入力手段であり、楽曲データベース１６に記憶されている楽曲データを検索する検索範囲の入力が行われる。
【００２６】
ＰＣ表示部１９は、例えば液晶ディスプレイ等の表示手段であり、楽曲データベース１６に記憶されている楽曲データを検索する検索範囲の表示、検索された楽曲データ（検索結果）の表示等が行われる。
【００２７】
音声出力部２０は、楽曲データベース１６に記憶されている楽曲データを伸長して再生するオーディオプレーヤであり、接続されたスピーカ２１から伸長した楽曲データを音声出力させる。
【００２８】
ニューラルネットワーク学習装置４０は、印象度データ変換部１４で用いられる階層型ニューラルネットワークの学習を行う装置であり、図２を参照すると、楽曲データ入力部４１と、音声出力部４２と、特徴データ抽出部４３と、印象度データ入力部４４と、結合重み値学習部４５と、結合重み値出力部４６とからなる。
【００２９】
楽曲データ入力部４１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、音声出力部４２および特徴データ抽出部４３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して音声出力部４２および特徴データ抽出部４３に出力する。
【００３０】
音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを伸長して再生するオーディオプレーヤであり、接続されたスピーカ２１から伸長した楽曲データを音声出力させる。
【００３１】
特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから特徴データを抽出し、抽出した特徴データを結合重み値学習部４５に出力する。なお、特徴データ抽出部４３によって楽曲データから抽出される特徴データと、楽曲検索装置１０の特徴データ抽出部１３で楽曲データから抽出される特徴データとは、同一のものとする。
【００３２】
印象度データ入力部４４は、音声出力部４２からの音声出力に基づく、評価者による印象度データの入力を受け付け、受け付けた印象度データを、階層型ニューラルネットワークの学習に用いる教師信号として結合重み値学習部４５に出力する。
【００３３】
結合重み値学習部４５は、特徴データ抽出部４３から入力された特徴データと、印象度データ入力部４４から入力された印象度データとに基づいて階層型ニューラルネットワークに学習を施し、各ニューロンの結合重み値を更新し、結合重み値出力部４６を介して更新した結合重み値を出力する。学習が施された階層型ニューラルネットワーク（更新された結合重み値）は、楽曲検索装置１０の印象度データ変換部１４に移植される。
【００３４】
まず、楽曲検索装置１０における楽曲登録動作について図３乃至図８を参照して詳細に説明する。
図３は、図１に示す楽曲検索装置における楽曲登録動作を説明するためのフローチャートであり、図４は、図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートであり、図５は、図１に示す特徴データ抽出部から出力される特徴データ例を示す図であり、図６は、図１に示す印象度データ変換部で用いられる階層型ニューラルネットワーク例を示す説明図であり、図７は、図１に示す印象度データ変換部から出力される印象度データ例を示す図であり、図８は、図１に示す範囲データ決定部における範囲データ決定動作を説明するための説明図である。
【００３５】
楽曲データ入力部１１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部１１から楽曲データを入力する（ステップＡ１）。
【００３６】
圧縮処理部１２は、楽曲データ入力部１１から入力された楽曲データを圧縮し（ステップＡ２）、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１６に記憶させる（ステップＡ３）。
【００３７】
特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから特徴データを抽出する（ステップＡ４）。なお、楽曲データから抽出する特徴データとしては、テンポ、ビート、ビート強度、平均音数、スペクトル変化量等の各種データが考えられ、いずれを用いても良いが、本実施の形態では、特徴データ抽出部１３において、ゆらぎ情報の６項目を特徴データとして抽出するように構成した。
【００３８】
また、特徴データ抽出部１３は、楽曲データの時間軸上の異なる箇所からそれぞれ特徴データを抽出するように構成されている。すなわち、特徴データ抽出部１３においては、楽曲データの一部分から特徴データを抽出するようになっており、例えば、開始から３０ｓ後、６０ｓ後、１２０ｓ後のように時間をずらした複数箇所で特徴データをそれぞれ抽出する。
【００３９】
特徴データ抽出部１３における特徴データの抽出動作は、図４を参照すると、楽曲データ入力部１１にＣＤプレーヤ等の楽曲再生装置やインターネット等のネットワークから楽曲データが入力されると（ステップＢ１）、楽曲データ入力部１１は、高速化を目的とし、楽曲データ入力部１１に入力された楽曲データを４４．１ｋＨｚから２２．０５ｋＨｚにダウンサンプリングし、ダウンサンプリングした楽曲データを特徴データ抽出部１３に出力する。
【００４０】
次に、特徴データ抽出部１３は、変数ｍに１を設定し（ステップＢ２）、ｎ番目のデータ解析開始点から一定のフレーム長に対してのＦＦＴ処理を行い、パワースペクトルを算出する（ステップＢ３）。なお、特徴データ抽出部１３には、楽曲データの時間軸上においてそれぞれ異なる箇所を示すＮ個のデータ解析開始点（例えば、楽曲の先頭から３０ｓ、６０ｓ、１２０ｓ〜）が予め設定されているものとする。また、本実施の形態においては、特徴データの１つである楽曲のテンポとしてテンポの周期を抽出し、テンポの周期が０．３〜１ｓの範囲にあることを想定し、サンプリング周期が２２．０５ｋＨｚである楽曲データに対して１０２４ポイントのＦＦＴ処理を行うように構成した。すなわち、ＦＦＴ処理を行うフレーム長を、１０２４／２２．０５ｋＨｚ≒４６ｍｓとし、想定した楽曲におけるテンポの周期の最小値よりも短い値としている。
【００４１】
次に、特徴データ抽出部１３は、Ｌｏｗ（０〜２００Ｈｚ）、Ｍｉｄｄｌｅ（２００〜６００Ｈｚ）、Ｈｉｇｈ（６００〜１１０５０Ｈｚ）の周波数帯域を予め設定しておき、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの３帯域のパワースペクトルを積分し、平均パワーを算出し（ステップＢ４）、ステップＢ３〜ステップＢ４の処理動作を行ったフレーム個数が予め定められた設定値（２０４８）に達したか否かを判断し（ステップＢ５）、ステップＢ３〜ステップＢ４の処理動作を行ったフレーム個数が予め定められた設定値に達していない場合には、データ解析開始点をシフトしながら（ステップＢ６）、ステップＢ３〜ステップＢ４の処理動作を繰り返す。これにより、ステップＢ３〜ステップＢ４の処理動作は、予め定められたフレーム個数の設定値分行われることになり、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈ３帯域の平均パワーの時系列データをそれぞれ求めることができる。なお、本実施の形態では、解析時間長を６０ｓとし、データ解析開始点を６０ｓ＊２２．０５ｋＨｚ／２０４８≒６４６ポイントずつシフトしながらＦＦＴ処理を行い、２０４８ポイント、６０ｓの平均パワーの時系列データを作成するように構成した。
【００４２】
次に、特徴データ抽出部１３は、ステップＢ３〜ステップＢ５の処理動作によって算出したＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの平均パワーの時系列データに対しそれぞれＦＦＴを行い、ゆらぎ情報を算出する（ステップＢ７）。なお、本実施の形態では、平均パワーの時系列データに対して２０４８ポイントのＦＦＴ処理を行うように構成した。
【００４３】
次に、特徴データ抽出部１３は、Ｌｏｗ、Ｍｉｄｄｌｅ、ＨｉｇｈにおけるＦＦＴ分析結果から、横軸を対数周波数、縦軸を対数パワースペクトルとしたグラフにおける近似直線を最小２乗法等によって算出し（ステップＢ８）、近似直線の傾きと、近似直線のＹ切片とを求め（ステップＢ９）、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片を特徴データとして抽出する。
【００４４】
次に、特徴データ抽出部１３は、変数ｍが予め定められた設定数Ｍであるか否かを判断し（ステップＢ１０）、変数ｍが設定数Ｍに到達していない場合には、変数ｍをインクリメント（ステップＢ１１）、ステップＢ３の処理に戻り、変数ｍが設定数Ｍに到達した場合には、特徴データの抽出動作を終了する。これにより、特徴データ抽出部１３においては、図５に示すような、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片の６項目の特徴データがＭ組求められることになり、特徴データ抽出部１３は、求めたＭ組の特徴データを印象度データ変換部１４に出力する。
【００４５】
次に、印象度データ変換部１４は、図６に示すような入力層（第１層）、中間層（第ｎ層）、出力層（第Ｎ層）からなる階層型ニューラルネットワークを用い、入力層（第１層）に特徴データ抽出部１３で抽出されたＭ組の特徴データをそれぞれ入力することによって、出力層（第Ｎ層）からＭ組の印象度データを出力、すなわちＭ組の特徴データをそれぞれ印象度データに変換する（ステップＡ５）。印象度データは、出力層（第Ｎ層）のニューロン数ＬＮと同数の項目数Ｎ（本実施の形態では、Ｎ＝２）となり、印象度データ変換部１４では、図７に示すような、項目数Ｎの印象度データがＭ組求められることになり、印象度データ変換部１４は、求めたＭ組の印象度データを範囲データ決定部１５に出力する。なお、中間層（第ｎ層）の各ニューロンの結合重み値ｗは、評価者によって予め学習が施されている。
【００４６】
また、本実施の形態では、入力層（第１層）に入力される特徴データ、すなわち特徴データ抽出部１３によって抽出される特徴データの項目は、前述のようにＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片の６項目であり、入力層（第１層）のニューロン数Ｌ１は、６個となっている。さらに、印象度データの項目数は、任意であるが、本実施の形態では、印象度データの項目としては、人間の感性によって判断される「明るい、暗い」、「激しい、穏やか」の２項目を設定し、各項目を７段階評価で表すように設定した。従って、出力層（第Ｎ層）のニューロン数ＬＮは、２個となっている。中間層（第ｎ層：ｎ＝２，…，Ｎ−１）のニューロン数Ｌｎは、適宜設定すると良い。
【００４７】
さらに、出力層（第Ｎ層）から出力される印象度データの各項目の値は、後述するように階層型ニューラルネットワークを学習させる教師信号として７段階評価の印象度データを用いているため、それぞれほぼ１〜７の範囲の実数となり、１以下は、１に、７以上は、７に変換するように構成した。印象度データにおいて、項目「明るい、暗い」が最小値（１）に近いほど「明るい」印象を与える楽曲データであり、最大値（７）に近いほど「暗い」印象を与える楽曲データである。また、印象度データにおいて、項目「激しい、穏やか」が最小値（１）に近いほど「激しい」印象を与える楽曲データであり、最大値（７）に近いほど「穏やか」な印象を与える楽曲データである。
【００４８】
範囲データ決定部１５は、印象度データ変換部１４から入力されたＭ組の印象度データに基づいて範囲データを決定し（ステップＡ６）、決定した範囲データを楽曲データに関連づけて楽曲データベース１６に記憶させる（ステップＡ７）。範囲データは、幅を持たせて楽曲データの印象を表すデータであり、本実施の形態では、Ｍ組の印象度データにおいて、各項目の最大値から最小値の間を範囲データとした。すなわち、図８に示すように、Ｍ組の印象度データにおける項目「明るい、暗い」の最大値が（３．２）、最小値が（２．３）であり、項目「激しい、穏やか」の最大値が（４．２）、最小値が（３．５）である場合には、範囲データ決定部１５は、項目「明るい、暗い」における値の範囲（２．３〜３．２）と、項目「激しい、穏やか」における値の範囲（３．５〜４．２）とを範囲データとして決定する。
【００４９】
次に、印象度データ変換部１４における変換動作（ステップＡ５）に用いられる階層型ニューラルネットワークの学習動作について図９を参照して詳細に説明する。
図９は、図２に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。
【００５０】
評価者による階層型ニューラルネットワーク（結合重み値ｗ）の学習は、例えば、図２に示すニューラルネットワーク学習装置４０を用いて行われ、まず、階層型ニューラルネットワーク（結合重み値ｗ）を事前学習させるための事前学習データ（楽曲データの特徴データ＋印象度データ）の入力が行われる。
【００５１】
楽曲データ入力部４１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部４１から楽曲データを入力し（ステップＣ１）、特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから特徴データを抽出する（ステップＣ２）。なお、特徴データ抽出部４３によって抽出する特徴データは、楽曲検索装置１０の特徴データ抽出部１３で抽出する特徴データと同一である。
【００５２】
また、音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを音声出力し（ステップＣ３）、評価者は、音声出力部４２からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、評価結果を印象度データとして印象度データ入力部４４から入力し（ステップＣ４）、結合重み値学習部４５は、印象度データ入力部４４から入力された印象度データを教師信号として受け付ける。なお、本実施の形態では、印象度データの項目としては、人間の感性によって判断される「明るい、暗い」、「激しい、穏やか」の２項目を設定し、各項目についての７段階評価を印象度データとして印象度データ入力部４４で受け付けるように構成した。
【００５３】
次に、特徴データと入力された印象度データとからなる学習データが予め定められたサンプル数Ｔ１に達したか否かを判断し（ステップＣ５）、学習データがサンプル数Ｔ１に達するまでステップＣ１〜ステップＣ４の動作が繰り返される。
【００５４】
結合重み値学習部４５における階層型ニューラルネットワークの学習、すなわち各ニューロンの結合重み値ｗの更新は、誤差逆伝播学習法を用いて行う。
まず、初期値として、中間層（第ｎ層）の全てのニューロンの結合重み値ｗを乱数によって−０．１〜０．１程度の範囲の小さな値に設定しておき、結合重み値学習部４５は、特徴データ抽出部４３によって抽出された特徴データを入力信号ｘｊ(ｊ＝１，２，…，８) として入力層（第１層）に入力し、入力層（第１層）から出力層（第Ｎ層）に向けて、各ニューロンの出力を計算する。
【００５５】
次に、結合重み値学習部４５は、印象度データ入力部４４から入力された印象度データを教師信号ｙｊ(ｊ＝１，２，…，８) とし、出力層（第Ｎ層）の出力outjＮと、教師信号ｙｊとの誤差から、学習則δjＮを次式によって計算する。
【００５６】
【数１】
2006323007.tif 000003
【００５７】
次に、結合重み値学習部４５は、学習則δjＮを使って、中間層（第ｎ層）の誤差信号 δjn  を次式によって計算する。
【００５８】
【数２】
2006323007.tif 000004
【００５９】
なお、数式２において、ｗは、第 n 層 j 番目と第 n -1 層ｋ番目のニューロンの間の結合重み値を表している。
【００６０】
次に、結合重み値学習部４５は、中間層（第ｎ層）の誤差信号 δjn を用いて各ニューロンの結合重み値ｗの変化量Δｗを次式によって計算し、各ニューロンの結合重み値ｗを更新する（ステップＣ６）。なお、次式において、ηは、学習率を表し、評価者による学習では、η１(0＜η１≦1)に設定されている。
【００６１】
【数３】
2006323007.tif 000005
【００６２】
ステップＣ６では、サンプル数Ｔ１の事前学習データのそれぞれについて学習が行われ、次に、次式に示す２乗誤差Ｅが予め定められた事前学習用の基準値Ｅ１よりも小さいか否かが判断され（ステップＣ７）、２乗誤差Ｅが基準値Ｅ１よりも小さくなるまでステップＣ６の動作が繰り返される。なお、２乗誤差Ｅが基準値Ｅ１よりも小さくなると想定される学習反復回数Ｓを予め設定しておき、ステップＣ６の動作を学習反復回数Ｓ回繰り返すようにしても良い。
【００６３】
【数４】
2006323007.tif 000006
【００６４】
ステップＣ７で２乗誤差Ｅが基準値Ｅ１よりも小さいと判断された場合には、結合重み値学習部４５は、事前学習させた各ニューロンの結合重み値ｗを結合重み値出力部４６によって出力し（ステップＣ８）、結合重み値出力部４６から出力された各ニューロンの結合重み値ｗは、印象度データ変換部１４に記憶される。
【００６５】
次に、楽曲検索部１７における楽曲検索動作について図１０および図１１を参照して詳細に説明する。
図１０は、図１に示す楽曲検索部における楽曲検索動作を説明するためフローチャートであり、図１１は、図１に示す楽曲検索部における楽曲検索動作を説明するための説明図である。
【００６６】
楽曲検索部１７は、ＰＣ操作部１８から印象度データの各項目における値の範囲を検索範囲として受け付け（ステップＤ１）、受け付けた検索範囲に基づいて楽曲データベース１６に記憶されている楽曲データを検索し、受け付けた検索範囲と重なる範囲データの楽曲データを特定する（ステップＤ２）。
【００６７】
例えば、印象度データの項目である「明るい、暗い」、「激しい、穏やか」の２項目の範囲を示す範囲データと共に、楽曲Ａ〜Ｇが楽曲データベース１６に記憶されている場合には、図１１に示すように、７個の範囲データが存在しており、ＰＣ操作部１８から検索条件として受け付けた印象度データの各項目の値を含む範囲データの楽曲データが楽曲検索部１７によって特定される。図１１に示すように、印象度データの項目「明るい、暗い」における値の範囲（２〜３）と、項目「激しい、穏やか」における値の範囲（３〜４）とを検索範囲として受け付けた場合には、楽曲Ａと、楽曲Ｅと、楽曲Ｇとが特定される。
【００６８】
次に、楽曲検索部１７は、特定したそれぞれの楽曲データの範囲データに対し、検索範囲と重なっている領域が占める割合（以下、重なり度合Ｐと称す）を算出し（ステップＤ３）、重なり度合Ｐが大きい順にステップＤ２で特定した楽曲データを順位付け（ソート）し（ステップＤ４）、上位から予め定められた所定数の楽曲データを検索結果として特定する（ステップＤ５）。
【００６９】
重なり度合Ｐは、範囲データの内のどの程度（割合）が検索範囲と重なっているかを示す値であり、重なり度合Ｐが大きいほど検索範囲により適合しているものとして判断される。
【００７０】
楽曲データ（項目数Ｎ）の各項目の幅をそれぞれＸ１、Ｘ２・・・ＸＮとし、各項目において検索範囲と重なっている幅をそれぞれＹ１、Ｙ２・・・ＹＮとすると、重なり度合Ｐは、
Ｐ＝（Ｘ１＊Ｘ２＊・・・＊ＸＮ）＊Ｚ／（Ｙ１＊Ｙ２＊・・・＊ＹＮ）
で表される。なお、Ｚは、各範囲データに与えられている持ち点である。各範囲データに与えられている持ち点Ｚは、各楽曲データを同じ条件で検索する場合には、同じ持ち点にすることが好ましいが、優先的に検索させたい楽曲データがある場合には、当該楽曲データの範囲データに与える持ち点Ｚを他の範囲データよりも大きい値に設定できるように、また、あまり検索させたくない楽曲データがある場合には、当該楽曲データの範囲データに与える持ち点Ｚを他の範囲データよりも小さい値に設定できるように構成すると良い。
【００７１】
次に、楽曲検索部１７は、特定した楽曲データの書誌データを検索結果としてＰＣ表示部１９に表示させることで検索結果をユーザに通知し、ＰＣ操作部１８から再生指示が入力されると、特定した楽曲データを順次もしくはランダムに楽曲データベース１６から読み出し、読み出した楽曲データを音声出力部２０に出力してスピーカ２１から音声出力させる。
【００７２】
以上説明したように、本実施の形態によれば、特徴データ抽出部１３は、楽曲データから複数組の特徴データを抽出し、範囲データ決定部１５は、抽出した複数組の前記特徴データに基づいて、幅を持って楽曲データの印象を表す範囲データを決定し、楽曲検索部１７は、受け付けた検索範囲と重なる範囲データの楽曲データを特定し、特定した楽曲データの範囲データにおいて検索範囲と重なっている領域が占める割合を重なり度合として算出することで、特定した楽曲データを順位付けするように構成することにより、印象が異なるフレーズの中のいずれかにユーザが所望する印象が含まれている場合には、該当する楽曲データが検索されるため、印象の異なるフレーズを考慮して検索することができ、ユーザが所望する印象の楽曲を精度良く検索することができるという効果を奏する。
【００７３】
なお、本実施の形態では、楽曲データの時間軸上の異なる箇所からそれぞれ特徴データを抽出すると共に、複数組の特徴データをそれぞれ印象度データに変換することで、複数組の印象度データを求め、求めた複数組の印象度データに基づいて範囲データを決定するように構成したが、楽曲データの時間軸上の同一箇所から幅を持たせた特徴データを抽出するように構成し、幅を持たせた特徴データを変換した印象度データに基づいて範囲データを決定するようにしても良い。
【００７４】
図１２は、図１に示す特徴データ抽出部で幅を持たせた特徴データの抽出例を説明するための説明図である。
図４に示すステップＢ８において、近似直線を算出する代わりに、図１２に示すように上限直線と下限直線とを求め、ステップＢ９において、上限直線と下限直線との傾きと、Ｙ切片とをそれぞれ求めるように構成する。なお、図１１は、Ｌｏｗのパワースペクトルを示しており、Ｍｉｄｄｌｅ、Ｈｉｇｈについても同様に上限直線と下限直線とを求める。また、上限直線と下限直線とを求めるに際し、対数周波数は、マスクする範囲（例えば０．１Ｈｚ未満をマスクし、０．１Ｈｚのデータに基づいて上限直線と下限直線とを求める等）を設定してもよい。
【００７５】
これにより、２組の特徴データ（上限直線に基づく特徴データと下限直線に基づく特徴データ）が求められることになり、２組の特徴データをそれぞれ印象度データに変換し、変換された２組の印象度データに基づいて範囲データを決定することができる。
【００７６】
さらに、本実施の形態では、楽曲データの時間軸上の異なる箇所からそれぞれ特徴データを抽出すると共に、複数組の特徴データをそれぞれ印象度データに変換することで、複数組の印象度データを求め、求めた複数組の印象度データに基づいて範囲データを決定するように構成したが、特徴データを印象度データに変換することなく、直接複数組の特徴データに基づいて範囲データを決定するように構成しても良い。
【００７７】
さらに、本実施の形態では、全ての楽曲データから特徴データを抽出できるものとして説明したが、何らかの理由により、楽曲データから特徴データを抽出できない場合には、範囲データを全範囲とすると良い。
【００７８】
なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。
【図面の簡単な説明】
【００７９】
【図１】本発明に係る楽曲検索装置の実施の形態の構成を示すブロック図である。
【図２】図１に示す楽曲検索装置に用いられるニューラルネットワークを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。
【図３】図１に示す楽曲検索装置における楽曲登録動作を説明するためのフローチャートである。
【図４】図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートである。
【図５】図１に示す特徴データ抽出部から出力される特徴データ例を示す図である。
【図６】図１に示す印象度データ変換部で用いられる階層型ニューラルネットワーク例を示す説明図である。
【図７】図１に示す印象度データ変換部から出力される印象度データ例を示す図である。
【図８】図１に示す範囲データ決定部における範囲データ決定動作を説明するための説明図である。
【図９】図２に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。
【図１０】図１に示す楽曲検索部における楽曲検索動作を説明するためのフローチャートである。
【図１１】図１に示す楽曲検索部における楽曲検索動作を説明するための説明図である。
【図１２】図１に示す特徴データ抽出部で幅を持たせた特徴データの抽出例を説明するための説明図である。
【符号の説明】
【００８０】
１０  楽曲検索装置
１１  楽曲データ入力部
１２  圧縮処理部
１３  特徴データ抽出部
１４  印象度データ変換部
１５  範囲データ決定部
１６  楽曲データベース
１７  楽曲検索部
１８  ＰＣ操作部
１９  ＰＣ表示部
２０  音声出力部
２１  スピーカ
４０  ニューラルネットワーク学習装置
４１  楽曲データ入力部
４２  音声出力部
４３  特徴データ抽出部
４４  印象度データ入力部
４５  結合重み値学習部
４６  結合重み値出力部
【図１】
2006323007.tif 000007
【図２】
2006323007.tif 000008
【図３】
2006323007.tif 000009
【図４】
2006323007.tif 000010
【図５】
2006323007.tif 000011
【図６】
2006323007.tif 000012
【図７】
2006323007.tif 000013
【図８】
2006323007.tif 000014
【図９】
2006323007.tif 000015
【図１０】
2006323007.tif 000016
【図１１】
2006323007.tif 000017
【図１２】
2006323007.tif 000018