(57)【要約】【課題】歌唱や演奏を練習する練習者にとって適切な模範を検索する。【解決手段】サーバ装置３は、カラオケ装置２から練習音声特徴データ及び楽曲ＩＤを受信すると、受信した練習音声特徴データと、模範音声データ記憶領域３２ａにおいて上記楽曲ＩＤと対応付けて記憶されている全ての模範者音声特徴データとを比較し、これら模範者音声特徴データの中から、練習音声特徴データとの類似度が最も高いものを選択する。そして、選択した模範者音声特徴データに対応する模範音声データを読み出しカラオケ装置２に送信する。カラオケ装置２は、受信した模範音声データを練習者に対する模範として再生する。【選択図】図３
2007264569.tif 000002
【特許請求の範囲】
【請求項１】
模範となる歌唱音声又は演奏音を表す模範音データを記憶する模範音記憶手段と、
練習者の歌唱音声又は演奏音を表す練習音データを取得する取得手段と、
前記模範音記憶手段によって記憶されている各々の模範音データの特徴と、前記取得手段によって取得された練習音データの特徴とを比較し、その練習音データの特徴に類似する特徴を有する模範音データを選択する選択手段と、
前記選択手段によって選択された模範音データを出力する出力手段と
を備えることを特徴とする検索装置。
【請求項２】
歌唱又は演奏される楽曲に割り当てられた楽曲識別情報と、模範となる歌唱又は演奏を行う模範者に割り当てられた模範者識別情報と、各々の模範者による歌唱音声又は演奏音を表す模範音データとを対応付けて記憶する模範音記憶手段と、
練習者の歌唱音声又は演奏音を表す練習音データと、その練習者に割り当てられた練習者識別情報とを取得する第１の取得手段と、
前記模範音記憶手段によって記憶されている各々の模範音データの特徴と、前記第１の取得手段によって取得された練習音データの特徴とを比較し、その練習音データの特徴に類似する特徴を有する模範音データを選択する第１の選択手段と、
前記第１の取得手段によって取得された練習者識別情報と、前記第１の選択手段によって選択された模範音データに対応付けられて前記模範音記憶手段に記憶されている模範者識別情報とを対応付けて記憶する識別情報記憶手段と、
前記練習者識別情報及び前記楽曲識別情報を取得する第２の取得手段と、
前記第２の取得手段によって取得された練習者識別情報に対応付けられて前記識別情報記憶手段に記憶されている模範者識別情報を特定し、特定した模範者識別情報に対応付けられて前記模範音記憶手段に記憶されている複数の模範音データのうち、前記第２の取得手段によって取得された楽曲識別情報に対応付けられている模範音データを選択する第２の選択手段と、
前記第１の選択手段又は前記第２の選択手段によって選択された模範音データを出力する出力手段と
を備えることを特徴とする検索装置。
【請求項３】
収音手段及び再生手段を備えた通信装置との間で、ネットワークを介して通信を行う通信手段を備え、
前記取得手段は、前記通信装置の収音手段によって収音された前記練習音データを前記通信手段によって受信し、
前記出力手段は、前記通信装置の再生手段によって再生可能なデータ形式の前記模範音データを前記通信手段から前記通信装置に送信する
ことを特徴とする請求項１又は２記載の検索装置。
【請求項４】
前記選択手段は、前記模範音記憶手段に記憶されている模範音データの中から、前記取得手段によって取得された練習音データの特徴との類似度が高い順から複数の模範音データを選択し、
前記出力手段は、まず、前記選択手段によって選択された複数の模範音データに割り当てられた模範者識別情報を出力し、次に、これら模範者識別情報のうちで指定された模範者識別情報が割り当てられた模範音データを出力する
ことを特徴とする請求項１記載の検索装置。
【請求項５】
前記第１の選択手段は、前記模範音記憶手段に記憶されている模範音データの中から、前記第１の取得手段によって取得された練習音データの特徴との類似度が高い順から複数の模範音データを選択し、
前記出力手段は、まず、前記第１の選択手段によって選択された複数の模範音データに割り当てられた模範者識別情報を出力し、次に、これら模範者識別情報のうちで指定された模範者識別情報が割り当てられた模範音データを出力し、
前記識別情報記憶手段は、前記第１の取得手段によって取得された練習者識別情報と、前記出力手段が出力した複数の模範者識別情報のうちで指定された模範者識別情報とを対応付けて記憶する
ことを特徴とする請求項２記載の検索装置。
【請求項６】
前記歌唱音声又は演奏音の特徴は、ピッチ、タイミング、スペクトル、パワー、及び、歌唱又は演奏に用いられる技法の種類と区間を示す技法データのうち、少なくともいずれか一つであることを特徴とする請求項１又は２に記載の検索装置。
【請求項７】
模範となる歌唱音声又は演奏音を表す模範音データを記憶する模範音記憶手段と、制御手段とを備えた検索装置の制御方法であって、
前記制御手段が、練習者の歌唱音声又は演奏音を表す練習音データを取得する第１のステップと、
前記制御手段が、前記模範音記憶手段によって記憶されている各々の模範音データの特徴と、前記第１のステップにおいて取得された練習音データの特徴とを比較し、その練習音データの特徴に類似する特徴を有する模範音データを選択する第２のステップと、
前記制御手段が、前記第２のステップにおいて選択された模範音データを出力する第３のステップと
を備えることを特徴とする制御方法。
【請求項８】
歌唱又は演奏される楽曲に割り当てられた楽曲識別情報と、模範となる歌唱又は演奏を行う模範者に割り当てられた模範者識別情報と、各々の模範者による歌唱音声又は演奏音を表す模範音データとを対応付けて記憶する模範音記憶手段と、前記模範者識別情報と練習者に割り当てられた練習者識別情報とを対応付けて記憶する識別情報記憶手段と、制御手段とを備えた検索装置の制御方法であって、
前記制御手段が、練習者の歌唱音声又は演奏音を表す練習音データと、その練習者に割り当てられた練習者識別情報とを取得する第１のステップと、
前記制御手段が、前記模範音記憶手段によって記憶されている各々の模範音データの特徴と、前記第１のステップにおいて取得された練習音データの特徴とを比較し、その練習音データの特徴に類似する特徴を有する模範音データを選択する第２のステップと、
前記制御手段が、前記第１のステップにおいて取得された練習者識別情報と、前記第２のステップにおいて選択された模範音データに対応付けられて前記模範音記憶手段に記憶されている模範者識別情報とを対応付けて前記識別情報記憶手段に記憶させる一方、前記第２のステップにおいて選択された模範音データを出力する第３のステップと、
前記制御手段が、前記練習者識別情報及び前記楽曲識別情報を取得する第４のステップと、
前記制御手段が、前記第４のステップにおいて取得された練習者識別情報に対応付けられて前記識別情報記憶手段に記憶されている模範者識別情報を特定し、特定した模範者識別情報に対応付けられて前記模範音記憶手段に記憶されている複数の模範音データのうち、前記第２の取得手段によって取得された楽曲識別情報に対応付けられている模範音データを選択する第５のステップと、
前記制御手段が、前記第５のステップにおいて選択された模範音データを出力する第６のステップと
を備えることを特徴とする制御方法。
【請求項９】
模範となる歌唱音声又は演奏音を表す模範音データを記憶する模範音記憶手段を備えたコンピュータに、
練習者の歌唱音声又は演奏音を表す練習音データを取得する取得機能と、
前記模範音記憶手段によって記憶されている各々の模範音データの特徴と、前記取得機能によって取得された練習音データの特徴とを比較し、その練習音データの特徴に類似する特徴を有する模範音データを選択する選択機能と、
前記選択機能によって選択された模範音データを出力する出力機能と
を実現させるプログラム。
【請求項１０】
歌唱又は演奏される楽曲に割り当てられた楽曲識別情報と、模範となる歌唱又は演奏を行う模範者に割り当てられた模範者識別情報と、各々の模範者による歌唱音声又は演奏音を表す模範音データとを対応付けて記憶する模範音記憶手段と、前記模範者識別情報と練習者に割り当てられた練習者識別情報とを対応付けて記憶する識別情報記憶手段とを備えるコンピュータに、
練習者の歌唱音声又は演奏音を表す練習音データと、その練習者に割り当てられた練習者識別情報とを取得する第１の取得機能と、
前記模範音記憶手段によって記憶されている各々の模範音データの特徴と、前記第１の取得機能によって取得された練習音データの特徴とを比較し、その練習音データの特徴に類似する特徴を有する模範音データを選択する第１の選択機能と、
前記第１の取得機能によって取得された練習者識別情報と、前記第１の選択機能によって選択された模範音データに対応付けられて前記模範音記憶手段に記憶されている模範者識別情報とを対応付けて前記識別情報記憶手段に記憶させる書込機能と、
前記練習者識別情報及び前記楽曲識別情報を取得する第２の取得機能と、
前記第２の取得機能によって取得された練習者識別情報に対応付けられて前記識別情報記憶手段に記憶されている模範者識別情報を特定し、特定した模範者識別情報に対応付けられて前記模範音記憶手段に記憶されている複数の模範音データのうち、前記第２の取得手段によって取得された楽曲識別情報に対応付けられている模範音データを選択する第２の選択機能と、
前記第１の選択機能又は前記第２の選択機能によって選択された模範音データを出力する出力機能と
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、練習者の模範となるような歌唱音声や演奏音を検索する技術に関する。
【背景技術】
【０００２】
歌唱を練習する者が、カラオケ装置によって再生される楽曲の伴奏に合わせて歌唱を行う場合、その楽曲を持ち歌としている歌手の歌い方を真似て歌うことが多い。ところが、歌唱の素人である練習者と、歌唱に熟練した歌手とでは、声質や歌唱技術に相当の開きがあるので、練習者はうまく真似することができないのが普通である。また、練習者の歌唱技術があまりにも低いと、無理に真似をして歌ったとしても、歌唱技術を上達させるのは難しい。練習者の歌唱技術を効率よく上達させるためには、その練習者の声質や歌唱技術のレベルに見合った適切な模範が必要である。これは楽曲の歌唱に限らず、楽器の演奏についても同様である。
【０００３】
例えば練習者の発話を支援するための技術分野においては、模範者（先生）の発話音声を練習者（生徒）の音声に変換して聴かせたり（特許文献１参照）、練習者自身の発話音声についてスペクトル・エンベロープを修正するなどの音声処理を施して再生する（特許文献２参照）などの仕組みが提案されている。
【特許文献１】特開２００２−２４４５４７号公報
【特許文献２】特開２００４−１３３４０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された仕組みでは、練習者自身が模範者の音声を選択しなければならないという手順が必要となり、煩雑である。また、特許文献２に記載された仕組みでは、練習者の発話音声に音声処理を施すので、不自然な発音になってしまうことがある。本発明はこのような背景に鑑みてなされたものであり、その目的は、従来とは異なる仕組みで、練習者にとって適切な模範を検索するための手法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、模範となる歌唱音声又は演奏音を表す模範音データを記憶する模範音記憶手段と、練習者の歌唱音声又は演奏音を表す練習音データを取得する取得手段と、前記模範音記憶手段によって記憶されている各々の模範音データの特徴と、前記取得手段によって取得された練習音データの特徴とを比較し、その練習音データの特徴に類似する特徴を有する模範音データを選択する選択手段と、前記選択手段によって選択された模範音データを出力する出力手段とを備えることを特徴とする検索装置を提供する。
【０００６】
また、本発明は、歌唱又は演奏される楽曲に割り当てられた楽曲識別情報と、模範となる歌唱又は演奏を行う模範者に割り当てられた模範者識別情報と、各々の模範者による歌唱音声又は演奏音を表す模範音データとを対応付けて記憶する模範音記憶手段と、練習者の歌唱音声又は演奏音を表す練習音データと、その練習者に割り当てられた練習者識別情報とを取得する第１の取得手段と、前記模範音記憶手段によって記憶されている各々の模範音データの特徴と、前記第１の取得手段によって取得された練習音データの特徴とを比較し、その練習音データの特徴に類似する特徴を有する模範音データを選択する第１の選択手段と、前記第１の取得手段によって取得された練習者識別情報と、前記第１の選択手段によって選択された模範音データに対応付けられて前記模範音記憶手段に記憶されている模範者識別情報とを対応付けて記憶する識別情報記憶手段と、前記練習者識別情報及び前記楽曲識別情報を取得する第２の取得手段と、前記第２の取得手段によって取得された練習者識別情報に対応付けられて前記識別情報記憶手段に記憶されている模範者識別情報を特定し、特定した模範者識別情報に対応付けられて前記模範音記憶手段に記憶されている複数の模範音データのうち、前記第２の取得手段によって取得された楽曲識別情報に対応付けられている模範音データを選択する第２の選択手段と、前記第１の選択手段又は前記第２の選択手段によって選択された模範音データを出力する出力手段とを備えることを特徴とする検索装置を提供する。
【０００７】
また、本発明は、模範となる歌唱音声又は演奏音を表す模範音データを記憶する模範音記憶手段と、制御手段とを備えた検索装置の制御方法であって、前記制御手段が、練習者の歌唱音声又は演奏音を表す練習音データを取得する第１のステップと、前記制御手段が、前記模範音記憶手段によって記憶されている各々の模範音データの特徴と、前記第１のステップにおいて取得された練習音データの特徴とを比較し、その練習音データの特徴に類似する特徴を有する模範音データを選択する第２のステップと、前記制御手段が、前記第２のステップにおいて選択された模範音データを出力する第３のステップとを備えることを特徴とする制御方法を提供する。
【０００８】
また、本発明は、歌唱又は演奏される楽曲に割り当てられた楽曲識別情報と、模範となる歌唱又は演奏を行う模範者に割り当てられた模範者識別情報と、各々の模範者による歌唱音声又は演奏音を表す模範音データとを対応付けて記憶する模範音記憶手段と、前記模範者識別情報と練習者に割り当てられた練習者識別情報とを対応付けて記憶する識別情報記憶手段と、制御手段とを備えた検索装置の制御方法であって、前記制御手段が、練習者の歌唱音声又は演奏音を表す練習音データと、その練習者に割り当てられた練習者識別情報とを取得する第１のステップと、前記制御手段が、前記模範音記憶手段によって記憶されている各々の模範音データの特徴と、前記第１のステップにおいて取得された練習音データの特徴とを比較し、その練習音データの特徴に類似する特徴を有する模範音データを選択する第２のステップと、前記制御手段が、前記第１のステップにおいて取得された練習者識別情報と、前記第２のステップにおいて選択された模範音データに対応付けられて前記模範音記憶手段に記憶されている模範者識別情報とを対応付けて前記識別情報記憶手段に記憶させる一方、前記第２のステップにおいて選択された模範音データを出力する第３のステップと、前記制御手段が、前記練習者識別情報及び前記楽曲識別情報を取得する第４のステップと、前記制御手段が、前記第４のステップにおいて取得された練習者識別情報に対応付けられて前記識別情報記憶手段に記憶されている模範者識別情報を特定し、特定した模範者識別情報に対応付けられて前記模範音記憶手段に記憶されている複数の模範音データのうち、前記第２の取得手段によって取得された楽曲識別情報に対応付けられている模範音データを選択する第５のステップと、前記制御手段が、前記第５のステップにおいて選択された模範音データを出力する第６のステップとを備えることを特徴とする制御方法を提供する。
さらに、本発明は、コンピュータに対して機能を実現させるプログラムとしての形態も採り得る。
【発明の効果】
【０００９】
本発明によれば、練習者の歌唱音声又は演奏音に類似する模範音声又は模範演奏、つまり個々の練習者にとって適切な模範を検索することができる。
【発明を実施するための最良の形態】
【００１０】
次に、本発明を実施するための最良の形態を説明する。
以下の説明では、歌唱を練習するものを「練習者」と呼び、その練習者にとって模範となるような歌唱を行う者（例えば歌手）を「模範者」と呼ぶ。模範者は、楽譜の内容に忠実に従って歌唱することはほとんどなく、大抵の場合、歌い始めや歌い終わりを意図的にずらしたり、声質や音量を変化させたり、或いはビブラートやこぶし等の各種歌唱技法を用いたりして、歌のなかに感情の盛り上がり（情感）を表現する。しかし、これらの表現は歌唱者によって様々に異なる。そこで、本実施形態は、多数の模範者の歌唱音声の中から、練習者の歌唱音声に似通った模範者の歌唱音声を検索し、それを練習者に聴かせて真似させることで、練習者の歌唱技術の上達を図る、というものである。
【００１１】
[１．構成]
図１は、本実施形態に係る検索システム１の全体構成を示すブロック図である。この検索システム１は、複数のカラオケ装置２ａ，２ｂ，２ｃと、サーバ装置３と、これらを接続するネットワーク４とを備えている。カラオケ装置２ａ，２ｂ，２ｃは、一般家庭や、カラオケボックス又は飲食店などの各種店舗に備えられており、ネットワーク４を介して通信を行う通信装置として機能する。サーバ装置３は、多数の模範者の歌唱音声を記憶しており、これらの中から練習者にとって適切であろうと思われる歌唱音声を検索する検索装置として機能する。ネットワーク４は、例えばＩＳＤＮ（Integrated Services Digital Network）やインターネットあるいは店舗内ネットワークであり、有線区間又は無線区間を含んでいる。図１には３つのカラオケ装置が例示されているが、この検索システム１に含まれるカラオケ装置の数は３に限定されるものではなく、これより多くても少なくてもよい。また、カラオケ装置２ａ，２ｂ，２ｃはいずれも同じ構成及び動作であるから、以下では単に「カラオケ装置２」と総称する。
【００１２】
図２は、カラオケ装置２の構成を示したブロック図である。
制御部２１は例えばＣＰＵであり、記憶部２２に記憶されているコンピュータプログラムを読み出して実行することにより、カラオケ装置２の各部を制御する。表示部２３は、例えば液晶ディスプレイなどであり、制御部２１の制御の下で、カラオケ装置２を操作するためのメニュー画面や、背景画像に歌詞テロップが重ねられたカラオケ画面などの各種画面を表示する。操作部２４は、各種のキーを備えており、押下されたキーに対応した信号を制御部２１へ出力する。マイクロフォン２５は、歌唱者が発音した音声を収音する。音声処理部２６は、マイクロフォン２５によって収音された音声（アナログデータ）をデジタルデータに変換して制御部２１に出力する。スピーカ２７は、音声処理部２６から出力される音声を放音する。通信部２８は、制御部２１による制御の下で、ネットワーク４を介してサーバ装置３とデータ通信を行う。
【００１３】
記憶部２２は、例えばハードディスクなどの大容量の記憶手段であり、伴奏・歌詞データ記憶領域２２ａと、練習音声データ記憶領域２２ｂと、歌唱楽譜音データ記憶領域２２ｃとを有している。伴奏・歌詞データ記憶領域２２ａには、楽曲の伴奏を行う各種楽器の演奏音が楽曲の進行に伴って記された伴奏データと、楽曲の歌詞を示す歌詞データとが対応付けられて記憶されている。伴奏データは、例えばＭＩＤＩ（Musical Instruments Digital Interface）形式などのデータ形式であり、練習者がカラオケ歌唱する際に再生される。歌詞データは、そのカラオケ歌唱の際に歌詞テロップとして表示部２３に表示される。練習音声データ記憶領域２２ｂには、マイクロフォン２５から音声処理部２６を経てＡ／Ｄ変換された音声データが練習音声データとして記憶される。この練習音声データは例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式である。歌唱楽譜音データ記憶領域２２ｃには、楽曲の楽譜によって規定された歌唱部分の音程及びタイミングを表す楽譜音データ（例えばＭＩＤＩ形式）が記憶されている。この楽譜音データは、練習者の歌唱音声から、例えば「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」、「息継ぎ」などの各種技法を抽出するために利用される。
【００１４】
次に、図３は、サーバ装置３の構成を示したブロック図である。
図３において、制御部３１は例えばＣＰＵであり、記憶部３２に記憶されているコンピュータプログラムを読み出して実行することにより、サーバ装置３の各部を制御する。記憶部３２は、例えばハードディスクなどの大容量の記憶手段である。この記憶部３２は、模範音声データ記憶領域３２ａと、練習音声特徴データ記憶領域３２ｂとを有している。通信部３３は、制御部３１による制御の下で、ネットワーク４を介してカラオケ装置２とデータ通信を行う。
【００１５】
ここで、記憶部３２に記憶されている内容について詳細に説明する。
図４は、模範音声データ記憶領域３２ａに記憶されているデータの例を示す図である。図４に示すように、模範音声データ記憶領域３２ａには、楽曲に割り当てられた楽曲ＩＤ（identification：識別情報）と、模範者に割り当てられた模範者ＩＤと、その楽曲を模範者が歌唱した際の歌唱音声を表す模範音声データと、その模範者の歌唱音声の特徴を表す模範音声特徴データとが対応付けられて記憶されている。楽曲ＩＤは、例えば曲名やカラオケ曲ナンバーなどの識別情報である。模範者ＩＤは、例えば模範者の氏名（歌手名）である。模範音声データは予め録音されたものであり、サーバ装置３からカラオケ装置２へと送信されてカラオケ装置２によって練習者に対する模範音声として再生される。模範音声特徴データは、模範者の歌唱音声のピッチ（音程）、発音タイミング、スペクトル、パワー（音量）、及び、歌唱に用いられる技法の種類及びその区間を含んでいる。図４の例では、例えば楽曲ＩＤ「ｇ０１」の楽曲を模範者「○○○○」が歌唱した際の音声を表す模範音声データと、その特徴を表す模範音声特徴データとが対応付けられて記憶されている場合が例示されている。
【００１６】
そして、記憶部３２の練習音声特徴データ記憶領域３２ｂには、カラオケ装置２から送信されてくる、練習音声データの特徴を表す練習音声特徴データが記憶される。この練習音声特徴データは、前述の模範音声特徴データと同様に、練習者の歌唱音声のピッチ、発音タイミング、スペクトル、パワー、及び、歌唱に用いられる技法の種類及びその区間を含んでいる。
【００１７】
［２．動作］
次に、本実施形態の動作説明を行う。
図５のシーケンス図において、練習者は、カラオケ装置２の操作部２４を操作して歌唱したい曲の楽曲ＩＤを選択し、カラオケ伴奏の再生を指示する。制御部２１は、この操作に応じて、カラオケ伴奏を開始する（ステップＳ１）。即ち、制御部２１は、伴奏・歌詞データ記憶領域２２ａから、指定された楽曲ＩＤに対応する伴奏データを読み出して音声処理部２６に供給し、音声処理部２６がその伴奏データをアナログ信号に変換し、スピーカ２７から放音させる。同時に、制御部２１は、「伴奏に合わせて歌唱してください」というような、歌唱を促すメッセージを表示部２３に表示させてから、伴奏・歌詞データ記憶領域２２ａから歌詞データを読み出して歌詞テロップを表示部２３に表示させる。練習者は、表示された歌詞テロップを参照しつつ、スピーカ２７から放音される伴奏に合わせて歌唱を行う。このとき、練習者の音声はマイクロフォン２５によって収音されて音声信号に変換され、音声処理部２６へと出力される。そして、音声処理部２６によってＡ／Ｄ変換された練習音声データは、伴奏開始からの経過時間を表す情報と共に、記憶部２２の練習音声データ記憶領域２２ｂに記憶（録音）されていく（ステップＳ２）。
【００１８】
伴奏データの再生が終了すると、制御部２１は練習者の歌唱音声を録音する処理を終了する。そして、制御部２１は、練習音声データ記憶領域２２ｂに記憶された練習音声データを所定時間長のフレーム単位に分離し、それぞれのフレーム単位でピッチ、スペクトル及びパワーを算出する（ステップＳ３）。スペクトルの算出には例えばＦＦＴ（Fast Fourier Transform）を用いればよい。
【００１９】
次いで、制御部２１は、練習音声データから技法を抽出する（ステップＳ４）。前述したように、技法には、「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」、「息継ぎ」がある。これらのうち、「ビブラート」は、音の高さをほんのわずかに連続的に上下させ、震えるような音色を出すという技法である。「しゃくり」は、目的の音より低い音から発音し、音程を滑らかに目的の音に近づけていくという技法である。「こぶし」は、装飾的に加えるうねるような節回しを行うという技法である。「ファルセット」は、いわゆる「裏声」で歌うという技法である。「つっこみ」は、歌い出しを本来のタイミングよりも早いタイミングにするという技法である。「ため」は、歌い出しを本来のタイミングよりも遅いタイミングにするという技法である。「息継ぎ」は、練習者が息継ぎをするタイミングを意味する。
【００２０】
まず、制御部２１は、練習音声データにおいて、上記の各技法が用いられている区間を特定（検出）する。例えば「ビブラート」及び「しゃくり」については、模範音声データのピッチに基づいて検出することができる。また、「こぶし」及び「ファルセット」については、模範音声データのスペクトルに基づいて検出することができる。また、「ため」及び「つっこみ」については、模範音声データのピッチと、歌唱楽譜音データ記憶領域２２ｃに記憶されている楽譜音データとに基づいて検出することができる。また、「息継ぎ」については、模範音声データのパワーと、歌唱楽譜音データ記憶領域２２ｃに記憶されている楽譜音データとに基づいて検出することができる。
【００２１】
具体的な検出方法は以下のとおりである。
制御部２１は、練習音声データと楽譜音データとの対応関係と、練習音声データから算出されたピッチとに基づいて、練習音声データに含まれる音の開始時刻と当該音に対応する楽譜音データの音の開始時刻とが異なる区間を特定する。ここで、制御部２１は、練習音声データのピッチの変化タイミングが楽譜音データのピッチの変化タイミングよりも早く現れている区間、すなわち練習音声データに含まれる音の開始時刻が当該音に対応する楽譜音データの音の開始時刻よりも早い区間については、この区間を「つっこみ」の歌唱技法が用いられている区間であると特定する。制御部２１は、このようにして特定した区間の区間情報を、「つっこみ」を示す識別情報と関連付ける。
【００２２】
逆に、制御部２１は、練習音声データと楽譜音データとの対応関係と、練習音声データから算出されたピッチとに基づいて、練習音声データのピッチの変化タイミングが楽譜音データのピッチの変化タイミングよりも遅れて現れている区間、すなわち練習音声データに含まれる音の開始時刻が当該音に対応する楽譜音データの音の開始時刻よりも遅い区間を検出し、検出した区間を「ため」の歌唱技法が用いられている区間であると特定する。
【００２３】
また、制御部２１は、練習音声データから算出したピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を検出し、検出した区間を「ビブラート」の歌唱技法が用いられている区間であると特定する。
【００２４】
また、制御部２１は、練習音声データから算出したピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的にピッチが変化する区間を検出し、検出した区間を「しゃくり」の歌唱技法が用いられている区間であると特定する。なお、この処理は、楽譜音データとの対応関係に基づいて行うようにしてもよい。すなわち、制御部２１は、練習音声データと楽譜音データとの対応関係に基づいて、練習音声データのピッチが、低いピッチから連続的に楽譜音データのピッチに近づいている区間を検出すればよい。
【００２５】
また、制御部２１は、練習音声データと楽譜音データとの対応関係と、練習音声データから算出されたパワーとに基づいて、楽譜音データが有音である区間であって練習音声データのパワー値が所定の閾値よりも小さい区間を検出し、検出した箇所を「息継ぎ」の区間であると特定する。
【００２６】
また、制御部２１は、練習音声データから算出されたスペクトルの時間的な変化パターンを解析して、スペクトル特性がその予め決められた変化状態に急激に遷移している区間を検出し、検出した区間を「ファルセット」の歌唱技法が用いられている区間であると特定する。ここで、予め決められた変化状態とは、スペクトル特性の高調波成分が極端に少なくなる状態である。例えば、地声の場合は沢山の高調波成分が含まれるが、ファルセットになると高調波成分の大きさが極端に小さくなる。なお、この場合、制御部２１は、ピッチが大幅に上方に変化したかどうかも参照してもよい。ファルセットは地声と同一のピッチを発生する場合でも用いられることもあるが、一般には地声では発声できない高音を発声するときに使われる技法だからである。したがって、練習音声データのピッチが所定音高以上の場合に限って「ファルセット」の検出をするように構成してもよい。また、男声と女声とでは一般にファルセットを用いる音高の領域が異なるので、練習音声データの音域や、練習音声データから検出されるフォルマントによって性別検出を行い、この結果を踏まえてファルセット検出の音高領域を設定してもよい。
【００２７】
また、制御部２１は、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を検出し、検出した部分を「こぶし」の歌唱技法が用いられている部分であると特定する。「こぶし」の場合は、短い区間において声色や発声方法を変えて唸るような味わいを付加する歌唱技法であるため、この技法が用いられている区間においてはスペクトル特性が多様に変化するからである。
【００２８】
以上のようにして、制御部２１は、練習音声データから、技法が用いられている区間を検出し、検出した区間を示す区間情報をその歌唱技法を示す種別情報と関連付ける。そして、制御部２１は、ステップＳ３にて算出したピッチ、スペクトル及びパワーと、ステップＳ４にて生成した区間情報及び種別情報とを含む練習音声特徴データを生成する（ステップＳ５）。このとき、制御部２１は、ピッチから発音タイミングも算出し、これを練習音声特徴データに含めておく。そして、制御部２１は、生成した練習音声特徴データを楽曲ＩＤとともに通信部２８からサーバ装置３に送信する（ステップＳ６）。
【００２９】
サーバ装置３の制御部３１は、練習音声特徴データ及び楽曲ＩＤを受信すると、受信した練習音声特徴データと、模範音声データ記憶領域３２ａにおいて上記楽曲ＩＤと対応付けて記憶されている全ての模範者音声特徴データとを比較し、これら模範者音声特徴データの中から、練習音声特徴データとの類似度が最も高いものを選択する（ステップＳ７）。より具体的には、制御部３１は、練習音声特徴データが表すピッチと、各模範音声特徴データが表すピッチとの差分を歌唱の開始から終了までの全域にわたって積分する。同様に、制御部３１は、練習音声特徴データが表すパワーと、各模範者音声特徴データが表すパワーとの差分を歌唱の開始から終了までの全域にわたって積分する。スペクトルやタイミングについても同様である。また、制御部３１は、技法についても上記と同様に、練習音声特徴データが表す各技法の区間情報によって表わされる区間と、各模範者音声特徴データが表す各技法の区間情報によって表される区間との差分を積分する。そして、制御部３１は、上記のようにして得られた積分値を模範者音声特徴データ毎に累算し、その累算値が最も小さい模範者音声特徴データを、練習音声データとの類似度が最も高いものとして選択する。
【００３０】
次に、制御部３１は、模範音声データ記憶領域３２ａから、選択した模範者音声特徴データに対応する模範音声データを読み出し（ステップＳ８）、読み出した模範音声データをカラオケ装置２によって再生可能なデータ形式で送信（出力）する（ステップＳ９）。カラオケ装置２の制御部２１は、受信した模範音声データを再生する（ステップＳ１０）。つまり、制御部２１は、模範音声データを音声処理部２６に供給し、音声処理部２６がその模範音声データをアナログ信号に変換し、スピーカ２７から放音させる。このとき、制御部２１は、「あなたに合った歌唱の先生は、この○○○○さんです。よく聞いて真似してみましょう。」というメッセージを表示部２３に表示させる。これにより、練習者は、自らの歌唱に合った模範者の歌唱音声を聞くことができ、それを模範とすることで自身の歌唱の上達を図ることが可能となる。
【００３１】
以上説明した実施形態によれば、練習者の歌唱音声に類似する模範者の歌唱音声を検索し、それを練習者に模範として提供することができる。
【００３２】
［３．変形例］
上述した実施形態を次のように変形してもよい。
［３−１］上述した実施形態においては、練習者の歌唱音声（練習音声）に合った模範者の歌唱音声（模範音声）を検索する場合を例に挙げて説明したが、これに限らず、練習者の楽器の演奏音（練習演奏音）に合った模範者の演奏音（模範演奏音）を検索するようにしてもよい。この場合、上述した模範者の歌唱音声に代えて模範者の演奏音を表す模範演奏音データが用いられ、練習音声データに代えて練習者の演奏音を表す練習演奏音データが用いられる。また、伴奏・歌詞データ記憶領域２２ａには、練習したい楽器（例えばギター）以外の楽器（例えばベースやドラム）の演奏データが記憶されるし、歌唱楽譜音データ記憶領域２２ｃには、楽譜に演奏音として規定された楽譜音データが記憶される。サーバ装置３の制御部３１は、これらのデータに基づき、上記と同様の処理を経て練習演奏音データに類似した模範演奏音データを検索する。
このように、本発明は、模範となる歌唱音声又は演奏音を表す模範音データを記憶しておき、練習者の歌唱音声又は演奏音を表す練習音データを取得すると、記憶している各々の模範音データの特徴と取得した練習音データの特徴とを比較し、練習音データの特徴に類似する特徴を有する模範音データを選択して出力する、という構成を採る。
【００３３】
［３−２］上述した実施形態では、練習者が所望の楽曲を歌唱した後に、その歌唱音声に類似する模範者の歌唱音声を検索するようになっていた。よって、練習者は少なくとも１回は楽曲を歌唱しないと、その楽曲について模範となる歌唱音声を得ることができない。練習者がこのような手順を煩雑に感じる場合には、次のように変形してもよい。この変形例は、練習者の歌唱音声と模範者の歌唱音声とが類似している場合には、例え楽曲が異なっても両者の類似度は高いという点に着目したものである。
図６に示すように、サーバ装置３の記憶部３２は、前述した模範音声データ記憶領域３２ａ及び練習音声特徴データ記憶領域３２ｂのほか、対応ＩＤ記憶領域３２ｃを有している。この対応ＩＤ記憶領域３２ｃには、図７に示すように、練習者に割り当てられた練習者ＩＤと、模範者に割り当てられた模範者ＩＤとが対応付けられて記憶されている。練習者がこの検索システム１において或る楽曲（例えば楽曲ＩＤ「ｇ０１」）を歌唱し、自身の模範となる模範音声データを検索すると、そのときに検索された模範音声データの模範者ＩＤが、その練習者の練習者ＩＤと対応付けられて対応ＩＤ記憶領域３２ｃに記憶される。以降、その練習者が別の楽曲（例えば楽曲ＩＤ「ｇ０２」）について模範音声データを検索しようとしたときには、その練習者の練習者ＩＤに対応付けられて対応ＩＤ記憶領域３２ｃに記憶されている模範者ＩＤが特定され、特定された模範者ＩＤに対応付けられて模範音声データ記憶領域３２ａに記憶されている複数の模範音声データのうち、その楽曲ＩＤ「ｇ０２」に対応付けられている模範音声データが検索される。
【００３４】
具体的な動作例を図８に示す。この図８において、図５と同一の動作については同一の符号を付している。
図８のステップＳ１の以前において、練習者は楽曲ＩＤのほかに、自らの練習者ＩＤをカラオケ装置２に入力する。そして、ステップＳ６’において、カラオケ装置２の制御部２１は、練習音声特徴データ及び楽曲ＩＤとともに練習者ＩＤを通信部２８からサーバ装置３に送信する。サーバ装置３の制御部３１は、練習音声特徴データ、楽曲ＩＤ及び練習者ＩＤを受信すると、ステップＳ７において練習音声特徴データとの類似度が最も高い模範者音声特徴データを選択した後に、ステップＳ１１として、カラオケ装置２から受信した練習者ＩＤを、選択された模範者音声特徴データに対応付けられた模範者ＩＤとを対応付けて対応ＩＤ記憶領域３２ｃに記憶する。そして、制御部３１は、模範音声データ記憶領域３２ａから、選択した模範者音声特徴データに対応する模範音声データを読み出し（ステップＳ８）、読み出した模範音声データをカラオケ装置２に送信（出力）する（ステップＳ９）。カラオケ装置２の制御部２１は、受信した模範音声データを再生する（ステップＳ１０）。
【００３５】
この後、練習者が別の楽曲ＩＤと共に自らの練習者ＩＤをカラオケ装置２に入力すると、カラオケ装置２はこの入力を受け付ける（ステップＳ１２）。そして、制御部２１は、入力された楽曲ＩＤ及びに練習者ＩＤを通信部２８からサーバ装置３に送信する。サーバ装置３の制御部３１は、楽曲ＩＤ及び練習者ＩＤを受信すると、対応ＩＤ記憶領域３２ｃにおいて、その練習者ＩＤに対応付けられている模範者ＩＤを特定する（ステップＳ１３）。そして、制御部３１は、模範音声データ記憶領域３２ａから、上記楽曲ＩＤおよび模範者ＩＤに対応する模範音声データを読み出し（ステップＳ１４）、読み出した模範音声データをカラオケ装置２に送信する。カラオケ装置２の制御部２１は、受信した模範音声データを再生する（ステップＳ１５）。このようにすれば、練習者は練習したい楽曲をわざわざ歌唱しなくても、その楽曲について模範となる歌唱音声を検索することが可能となる。
【００３６】
また、上述した実施形態に係る検索システム１が有効に機能するためには、全ての楽曲について十分な数の模範音声データを用意しておかなければならない。なぜなら、模範音声データが少ないと、練習者の歌唱音声に合った模範音声データを得ることができないからである。そこで、検索システム１が動作する過程において、カラオケ装置２によって記憶された練習音声データそのものを、模範者の歌唱音声を表す模範音声データとしてサーバ装置３に記憶させるようにしてもよい。
【００３７】
［３−３］上述した実施形態においては、練習音声特徴データと最も類似度が高い模範音声特徴データを１つ選択するようになっていたが、選択する模範音声特徴データの数は１に限定されるものではなく、類似度が高い順から複数の模範音声特徴データを選択し、選択したそれぞれの模範音声特徴データに対応する模範音声データを出力するようにしてもよい。例えば、制御部３１は、選択された複数の模範音声データに割り当てられた模範者ＩＤ（歌手名）をカラオケ装置２に送信（出力）して、これら模範者ＩＤをカラオケ装置２に一覧形式で表示させる。練習者がこの一覧の中から所望の模範者ＩＤ（歌手名）を指定すると、カラオケ装置２の制御部２１は、その模範者ＩＤをサーバ装置３に送信する。そして、制御部３１は、模範者ＩＤをカラオケ装置２から受け取ると、その模範者ＩＤが割り当てられた模範者の模範音声データをカラオケ装置２に送信（出力）する。
【００３８】
［３−４］実施形態では、練習音声特徴データと、各模範音声特徴データとの差分の積分値を用いて類似度を判定していたが、例えば、多次元空間上で、練習音声特徴データの座標と各模範音声特徴データの座標とのユークリッド距離を算出し、そのユークリッド距離が最小となる模範音声特徴データを、最も類似度が高いものとして選択するようにしてもよい。
【００３９】
［３−５］上述した実施形態においては、模範音声特徴データや練習音声特徴データとして、音声のピッチ、タイミング、パワー、スペクトル及び技法の全てを用いたが、これらの少なくともいずれかを用いるだけでもよいし、さらにこれら以外の特徴要素を用いても良い。また、これらのうち、どの特徴要素を用いるかを練習者が操作部２４を用いて選択できるようにしてもよい。同様に、各種の技法のうちいずれかを練習者が選択できるようにしてもよい。
【００４０】
［３−６］また、上述した実施形態においては、練習音声特徴データは、カラオケ装置２の制御部２１によって生成されるようになっていたが、これに代えて、サーバ装置３の制御部３１によって生成されるようにしてもよい。また、カラオケ装置２の制御部２１が練習音声特徴データの入力を促し、練習者が予め用意しておいた練習音声特徴データを入力するようにしてもよい。この場合、例えば、制御部２１が、練習音声特徴データの入力を促す画面を表示部２３に表示させ、練習者は、例えばＵＳＢ（Universal Serial Bus）等のインタフェースを介してカラオケ装置２に練習音声特徴データを入力するようにすればよい。この場合、事前にパーソナルコンピュータ等の装置で練習音声特徴データを生成するようにしておけばよい。この際も、上述した実施形態と同様に、パーソナルコンピュータが、マイクロフォンで練習者の音声を収音して、収音した音声を分析して練習音声特徴データを生成する。また、カラオケ装置２にＲＦＩＤリーダを設けて、練習音声特徴データが書き込まれたＲＦＩＤをカラオケ装置２のＲＦＩＤリーダが読み取るようにしてもよい。
【００４１】
［３−７］サーバ装置３が模範音声データを出力する形態は、カラオケ装置２への送信に限らず、練習者のメール端末宛の電子メールに模範音声データを添付して送信するという形態であってもよい。また、模範音声データを記憶媒体に出力して記憶させるようにしてもよく、この場合、練習者はコンピュータを用いてこの記憶媒体から模範音声データを読み出させて再生させることで、それを聴くことができる。また、模範音声データをカラオケ装置２によって再生させる場合には、曲の最初から最後までを再生する必要はなく、その一部だけを再生するものであってもよい。例えば、特徴の類似度が低かった歌唱部分だけを再生するようにすれば、練習者はどの歌唱部分を重点的に練習すればよいのかを認識することができる。
【００４２】
［３−８］実施形態において、サーバ装置３は模範音声データから模範音声特徴データを抽出して事前に記憶しておいたが、そうではなくて、サーバ装置３が模範音声データだけを記憶しておき、検索を行う必要がある度に模範音声データから模範音声特徴データを抽出するようにしてもよい。なお、模範音声データや練習音声データはＷＡＶＥ形式やＭＰ３形式のデータとしたが、データの形式はこれに限定されるものではなく、音声を示すデータであればどのような形式のデータであってもよい。
【００４３】
［３−９］上述した実施形態では、カラオケ装置２とサーバ装置３とが通信ネットワークで接続された検索システム１が、本実施形態に係る機能の全てを実現するようになっている。これに対し、通信ネットワークで接続された３以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のシステムを実現するようにしてもよい。または、ひとつの装置が上記機能のすべてを実現するようにしてもよい。
【００４４】
［３−１０］上述した実施形態におけるカラオケ装置２の制御部２１またはサーバ装置３の制御部３１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置２またはサーバ装置３にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態にかかる検索システムの全体構成を示すブロック図である。
【図２】カラオケ装置の構成を示すブロック図である。
【図３】サーバ装置の構成を示すブロック図である。
【図４】サーバ装置によって記憶されるデータの一例を示す図である。
【図５】実施形態の動作を示すシーケンス図である。
【図６】変形例にかかるサーバ装置の構成を示すブロック図である。
【図７】同サーバ装置によって記憶されるデータの一例を示す図である。
【図８】同変形例の動作を示すシーケンス図である。
【符号の説明】
【００４６】
１…検索システム、２ａ，２ｂ，２ｃ…カラオケ装置、３…サーバ装置、４…ネットワーク、２１…制御部、２２…記憶部、２３……表示部、２４…操作部、２５…マイクロフォン、２６…音声処理部、２７…スピーカ、２８…通信部、３１…制御部、３２…記憶部、３３…通信部。
【図１】
2007264569.tif 000003
【図２】
2007264569.tif 000004
【図３】
2007264569.tif 000005
【図４】
2007264569.tif 000006
【図５】
2007264569.tif 000007
【図６】
2007264569.tif 000008
【図７】
2007264569.tif 000009
【図８】
2007264569.tif 000010