(57)【要約】【課題】歌唱又は演奏を練習する者に、好みの模範者の歌唱音声又は演奏音を模した模範音声を提供する。【解決手段】練習者によって楽曲ＩＤと模範者ＩＤとが選択されると、カラオケ装置２の制御部２１は、選択された楽曲ＩＤと模範者ＩＤとを通信部２８によってサーバ装置３に送信する。サーバ装置３の制御部３１は、選択された楽曲ＩＤに対応するガイド音声データをガイド音声データ記憶領域３２ａから読み出すとともに、選択された模範者ＩＤに対応する特徴データを特徴データ記憶領域３２ｄから読み出し、読み出したガイド音声データに対し、読み出した特徴データに対応する部分を、特徴データに基づいて加工する。次いで、制御部３１は、加工したガイド音声データをカラオケ装置２に送信する。カラオケ装置２は、受信したガイド音声データを放音する。【選択図】図１
2007310204.tif 000002
【特許請求の範囲】
【請求項１】
歌唱音声又は楽器演奏音の進行における特定の部分の特徴を示す１又は複数の特徴データを含む特徴データブロックを複数記憶するとともに、前記各特徴データブロックを各々識別する複数の識別情報を記憶する特徴データ記憶手段と、
楽曲を識別する楽曲識別情報と当該楽曲の歌唱音声又は演奏音を表すガイド音声データとを関連付けて複数組記憶するガイド音声データ記憶手段と、
前記識別情報と前記楽曲識別情報の入力を受け付ける入力受付手段と、
前記入力受付手段により入力を受け付けた楽曲識別情報に対応するガイド音声データを前記ガイド音声データ記憶手段から読み出すガイド音声データ読出手段と、
前記入力受付手段により入力を受け付けた識別情報に対応する特徴データブロックに含まれる特徴データを前記特徴データ記憶手段から読み出す特徴データ読出手段と、
前記ガイド音声データ読出手段が読み出したガイド音声データに対し、前記特徴データ読出手段が読み出した特徴データに対応する部分を、当該特徴データに基づいて加工するガイド音声データ加工手段と、
前記ガイド音声データ加工手段により加工されたガイド音声データを出力する出力手段と
を備えることを特徴とする楽曲練習支援装置。
【請求項２】
前記特定の部分は、歌唱技法又は演奏技法が用いられている部分であることを特徴とする請求項１に記載の楽曲練習支援装置。
【請求項３】
前記特定の部分は、ビブラート、しゃくり、こぶし、ファルセット、つっこみ、ため及び息継ぎのうちの少なくともいずれかひとつの技法が用いられている部分であることを特徴とする請求項２に記載の楽曲練習支援装置。
【請求項４】
歌唱音声又は楽器演奏音の進行における特定の部分の特徴を示す１又は複数の特徴データを含む特徴データブロックを複数記憶するとともに、前記各特徴データブロックを各々識別する複数の識別情報を記憶する特徴データ記憶手段と、楽曲を識別する楽曲識別情報と当該楽曲の歌唱音声又は演奏音を表すガイド音声データとを関連付けて複数組記憶するガイド音声データ記憶手段と、制御手段とを備えた楽曲練習支援装置の制御方法であって、
前記制御手段が、前記識別情報と前記楽曲識別情報の入力を受け付けるステップと、
前記入力を受け付けた楽曲識別情報に対応するガイド音声データを前記ガイド音声データ記憶手段から読み出すステップと、
前記入力を受け付けた識別情報に対応する特徴データブロックに含まれる特徴データを前記特徴データ記憶手段から読み出すステップと、
読み出したガイド音声データに対し、読み出した特徴データに対応する部分を、当該特徴データに基づいて加工するステップと、
加工されたガイド音声データを出力するステップと
を備えることを特徴とする制御方法。
【請求項５】
歌唱音声又は楽器演奏音の進行における特定の部分の特徴を示す１又は複数の特徴データを含む特徴データブロックを複数記憶するとともに、前記各特徴データブロックを各々識別する複数の識別情報を記憶する特徴データ記憶手段と、楽曲を識別する楽曲識別情報と当該楽曲の歌唱音声又は演奏音を表すガイド音声データとを関連付けて複数組記憶するガイド音声データ記憶手段とを備えるコンピュータに、
前記識別情報と前記楽曲識別情報の入力を受け付ける入力受付機能と、
前記入力受付機能により入力を受け付けた楽曲識別情報に対応するガイド音声データを前記ガイド音声データ記憶手段から読み出すガイド音声データ読出機能と、
前記入力受付機能により入力を受け付けた識別情報に対応する特徴データブロックに含まれる特徴データを前記特徴データ記憶手段から読み出す特徴データ読出機能と、
前記ガイド音声データ読出機能が読み出したガイド音声データに対し、前記特徴データ読出手段が読み出した特徴データに対応する部分を、当該特徴データに基づいて加工するガイド音声データ加工機能と、
前記ガイド音声データ加工機能により加工されたガイド音声データを出力する出力機能と
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲練習支援装置、制御方法及びプログラムに関する。
【背景技術】
【０００２】
歌唱を練習する者は、歌詞を画面に表示すると共に楽曲の伴奏を再生するカラオケ装置を用いて歌唱を練習することが多い。このようなカラオケ装置においては、模範となる歌唱音声を再生するいわゆる「ガイドボーカル機能」を備えたものもある。このガイドボーカル機能を用いれば、練習者は、その楽曲をどのように歌唱すればよいかを試聴することができる。
【０００３】
ところで、歌手のように熟練した歌唱者は、楽譜の内容に忠実に従って歌唱することはほとんどなく、その多くが、歌い始めや歌い終わりを意図的にずらしたり、声質や音量を変化させたり、或いはビブラートやこぶしなどの各種歌唱技法を用いたりして、歌のなかに情感を表現する。このような情感は歌唱者によって様々に表現されるが、例えば、フレーズの末尾に必ずビブラートをかける歌唱者や、歌い始めを必ずためる（タイミングをずらす）歌唱者や、または、高音をファルセットで歌唱する歌唱者もおり、歌唱者毎にその歌い方に特徴があることが多い。歌唱を練習する者は、自身の好みの歌手の独特な歌い方を真似て歌唱したいと考えていることが多い。
【０００４】
しかしながら、上述のガイドボーカル機能で再生される歌唱音声は、練習者が目指そうとしている歌手の歌唱音声ではないことが多く、ガイドボーカルの歌い方と好みの歌手の歌い方とでは、用いる歌唱テクニックに相当の開きがあることが多い。ガイドボーカルによる歌い方と目指したい歌い方とがかけ離れている場合には、練習者の上達したいという意欲を下げてしまう場合も多々ある。これは楽曲の歌唱に限らず、楽器の演奏についても同様である。
【０００５】
発話練習を支援するためのシステムとして、例えば特許文献１には、模範者（先生）の発話音声を練習者（生徒）の音声に変換して聴かせるシステムが提案されている。また、特許文献２には、練習者自身の発話音声についてスペクトル・エンベロープを修正するなどの音声処理を施して再生するシステムが提案されている。
【特許文献１】特開２００２−２４４５４７号公報
【特許文献２】特開２００４−１３３４０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載のシステムにおいては、どの模範音声で練習するかを練習者自身が選択する必要があり、練習者にとって煩雑である。また、特許文献２に記載のシステムでは、練習者の発話音声に音声処理を施すので、不自然な発音になってしまうことがある。
本発明は上述した背景の下になされたものであり、歌唱又は演奏を練習する者に、好みの模範者の歌唱音声又は演奏音を模した歌唱音声又は演奏音を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の好適な態様である楽曲練習支援装置は、歌唱音声又は楽器演奏音の進行における特定の部分の特徴を示す１又は複数の特徴データを含む特徴データブロックを複数記憶するとともに、前記各特徴データブロックを各々識別する複数の識別情報を記憶する特徴データ記憶手段と、楽曲を識別する楽曲識別情報と当該楽曲の歌唱音声又は演奏音を表すガイド音声データとを関連付けて複数組記憶するガイド音声データ記憶手段と、前記識別情報と前記楽曲識別情報の入力を受け付ける入力受付手段と、前記入力受付手段により入力を受け付けた楽曲識別情報に対応するガイド音声データを前記ガイド音声データ記憶手段から読み出すガイド音声データ読出手段と、前記入力受付手段により入力を受け付けた識別情報に対応する特徴データブロックに含まれる特徴データを前記特徴データ記憶手段から読み出す特徴データ読出手段と、前記ガイド音声データ読出手段が読み出したガイド音声データに対し、前記特徴データ読出手段が読み出した特徴データに対応する部分を、当該特徴データに基づいて加工するガイド音声データ加工手段と、前記ガイド音声データ加工手段により加工されたガイド音声データを出力する出力手段とを備える。
この態様において、前記特定の部分は、歌唱技法又は演奏技法が用いられている部分であってもよい。
また、この態様において、前記特定の部分は、ビブラート、しゃくり、こぶし、ファルセット、つっこみ、ため及び息継ぎのうちの少なくともいずれかひとつの技法が用いられている部分であってもよい。
【発明の効果】
【０００８】
本発明によれば、歌唱又は演奏を練習する者に、好みの模範者の歌唱音声又は演奏音を模した歌唱音声又は演奏音を提供することができる。
【発明を実施するための最良の形態】
【０００９】
次に、この発明の実施の形態について説明する。
なお、以下の説明では、歌唱を練習する者を「練習者」と呼び、その練習者にとって模範となるような歌唱を行う者を「模範者」と呼ぶ。
＜Ａ：構成＞
図１は、この実施形態に係る楽曲練習支援システム１の全体構成を示すブロック図である。この楽曲練習支援システム１は、複数のカラオケ装置２ａ，２ｂ，２ｃと、サーバ装置３と、これらを接続するネットワーク４とを備えている。カラオケ装置２ａ，２ｂ，２ｃは、一般家庭や、カラオケボックス又は飲食店などの各種店舗に備えられており、ネットワーク４を介して通信を行う通信装置として機能する。サーバ装置３は、練習者の好みの模範者の歌唱音声を模した歌唱音声を練習者に提供する楽曲練習支援装置として機能する。ネットワーク４は、例えばＩＳＤＮ（Integrated Services Digital Network）や、インターネットであり、有線区間又は無線区間を含んでいる。なお、図１には３つのカラオケ装置２ａ，２ｂ，２ｃを例示しているが、この楽曲練習支援システム１に含まれるカラオケ装置の数は３に限定されるものではなく、これより多くても少なくてもよい。また、以下の説明においては、カラオケ装置２ａ，２ｂ，２ｃを各々区別する必要がない場合には、単に「カラオケ装置２」として説明する。
【００１０】
図２は、カラオケ装置２の構成を示したブロック図である。図２において、制御部２１は例えばＣＰＵであり、記憶部２２に記憶されているコンピュータプログラムを読み出して実行することにより、カラオケ装置２の各部を制御する。表示部２３は、例えば液晶ディスプレイであり、制御部２１の制御の下、カラオケ装置２を操作するためのメニュー画面や、背景画像に歌詞テロップが重ねられたカラオケ画面などの各種画面を表示する。操作部２４は、各種のキーを備えており、押下されたキーに対応した信号を制御部２１へ出力する。マイクロフォン２５は、練習者が発声した音声を収音する。音声処理部２６は、マイクロフォン２５によって収音された音声（アナログデータ）をデジタルデータに変換して制御部２１に出力する。スピーカ２７は、音声処理部２６から出力される音声を放音する。通信部２８は、制御部２１の制御の下、ネットワーク４を介してサーバ装置３とデータ通信を行う。
【００１１】
記憶部２２は、例えばハードディスクなどの大容量の記憶手段であり、前述したコンピュータプログラムを記憶するほか、伴奏・歌詞データ記憶領域２２ａを有している。伴奏・歌詞データ記憶領域２２ａには、楽曲の伴奏を行う各種楽器の演奏音が楽曲の進行に伴って記された伴奏データと、楽曲の歌詞を示す歌詞データとが、楽曲に割り当てられた楽曲ＩＤに関連付けられて記憶されている。伴奏データは、例えばＭＩＤＩ（Musical Instruments Digital Interface）形式などのデータ形式であり、練習者がカラオケ歌唱する際に再生される。歌詞データは、そのカラオケ歌唱の際に歌詞テロップとして表示部２３に表示される。
【００１２】
次に、図３は、サーバ装置３の構成を示したブロック図である。図３において、制御部３１は例えばＣＰＵであり、記憶部３２に記憶されているコンピュータプログラムを読み出して実行することにより、サーバ装置３の各部を制御する。記憶部３２は、例えばハードディスクなどの大容量の記憶手段である。通信部３３は、制御部３１による制御の下で、ネットワーク４を介してカラオケ装置２とデータ通信を行う。
【００１３】
記憶部３２は、前述したコンピュータプログラムを記憶するほか、図示のように、ガイド音声データ記憶領域３２ａと、楽譜音データ記憶領域３２ｂと、技法挿入箇所指定データ記憶領域３２ｃと、特徴データ記憶領域３２ｄとを有している。
ガイド音声データ記憶領域３２ａには、楽曲の伴奏に合わせて或る歌唱者が歌唱した歌唱音声を表すガイド音声データが、楽曲に割り当てられた楽曲ＩＤに関連付けて記憶されている。このガイド音声データは、例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式などのデータ形式である。楽譜音データ記憶領域３２ｂには、楽曲の楽譜によって規定された歌唱音を表す楽譜音データが、楽曲ＩＤに関連付けて記憶されている。この楽譜音データは、例えばＭＩＤＩ形式などのデータ形式であり、歌唱音のピッチとその発音タイミングとを含んでいる。
【００１４】
技法挿入箇所指定データ記憶領域３２ｃには、後述するガイド音声データの加工処理において用いられる技法挿入箇所指定データが、「楽曲ＩＤ」に関連付けて記憶されている。
図４は、技法挿入箇所指定データの内容の一例を示す図である。技法挿入箇所指定データは、図示のように、「技法種別」と「時刻(タイミング)」と「条件」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「技法種別」の項目には、例えば「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」、「息継ぎ」などの歌唱の技法を識別する識別情報が記憶される。「ビブラート」は、音の高さをほんのわずかに連続的に上下させ、震えるような音色を出すという技法である。「しゃくり」は、目的の音より低い音から発音し、音程を滑らかに目的の音に近づけていくという技法である。「こぶし」は、装飾的に加えるうねるような節回しを行うという技法である。「ファルセット」は、いわゆる「裏声」で歌うという技法である。「つっこみ」は、歌い出しを本来のタイミングよりも早いタイミングにするという技法である。「ため」は、歌い出しを本来のタイミングよりも遅いタイミングにするという技法である。「息継ぎ」は、練習者が息継ぎをするタイミングを意味する。
次に、「タイミング」の項目には、ガイド音声データにおいて技法を挿入するタイミング（部分）を示す時刻情報が記憶される。次に、「条件」の項目には、ガイド音声データにその技法を挿入するか否かを判定するための条件を示す情報が記憶される。
【００１５】
次に、記憶部３２の特徴データ記憶領域３２ｄには、模範者の歌唱音声の進行における歌唱技法が用いられている部分の特徴を示す特徴データを含む特徴データブロックが、模範者に割り当てられた「模範者ＩＤ」に関連付けられて記憶されている。
図５は、特徴データ記憶領域３２ｄに記憶されている特徴データブロックの内容の一例を示す図である。特徴データブロックは、図示のように、「技法種別」と「パラメータ」との各項目が互いに関連付けられた特徴データを複数含んでいる。なお、図５に示す例においては、特徴データを複数含む特徴データブロックについて例示しているが、特徴データブロックに含まれる特徴データは１つであってもよく、複数であってもよい。
特徴データの各項目のうち、「技法種別」の項目には、上述の技法挿入箇所指定データの「技法種別」の項目と同様に、技法を識別する識別情報が記憶される。
「パラメータ」の項目には、その技法の態様を示す情報が記憶される。図５に示す例においては、技法の態様の程度を１０段階で示す数値が記憶されている。例えば、「ビブラート」の場合には、ビブラートの「深さ」、「速さ」、「長さ」、「頻度」の程度を１０段階で示す数値が記憶され、「しゃくり」の場合は、しゃくりの「傾斜度」や「ピッチ差」、「頻度」の程度を１０段階で示す数値が記憶され、「つっこみ」、「ため」の場合は、「タイミング差」、「頻度」を１０段階で示す値が記憶され、「息継ぎ」、「こぶし」の場合は、その技法が用いられた時間長として「長さ」を１０段階で示す数値が記憶されている。また、「ファルセット」の場合は、ファルセット（裏声）となる音高を示す情報が記憶されている。例えば、図５に示す例においては、「ビブラート」の技法が、「深さ」が「３」、「速さ」が「６」、「長さ」が「４」、「頻度」が「５」の程度で用いられた場合のデータが記憶されている。
なお、図５に示す例においては、技法の態様を１０段階の数値で示しているが、これに限らず、技法の態様を示す情報であればどのような情報を用いてもよい。
【００１６】
＜Ｂ：動作＞
次に、この実施形態の動作について説明する。
＜Ｂ−１：オーサリング動作＞
まず、複数の模範者が或る楽曲（以下、「リファレンス曲」）を歌唱し、サーバ装置３の制御部３１が、それぞれの模範者の歌唱音声から特徴データブロックを生成するオーサリング動作について説明する。
図６のシーケンス図において、模範者は、カラオケ装置２の操作部２４を操作して、リファレンス曲のカラオケ伴奏の再生を指示する。このとき、模範者は自身の模範者ＩＤを操作部２４によって入力するか、又は、制御部２１自身が模範者ＩＤを生成する。そして、制御部２１は、カラオケ伴奏を開始する（ステップＳ１）。すなわち、制御部２１は、伴奏・歌詞データ記憶領域２２ａから伴奏データを読み出して音声処理部２６に供給し、音声処理部２６は、伴奏データをアナログ信号に変換し、スピーカ２７に供給して放音させる。また、制御部２１は、伴奏・歌詞データ記憶領域２２ａから歌詞データを読み出して歌詞テロップを表示部２３に表示させる。模範者はスピーカ２７から放音される伴奏に合わせて歌唱を行う。このとき、模範者の音声はマイクロフォン２５によって収音されて音声信号に変換され、音声処理部２６へと出力される。音声処理部２６によってＡ／Ｄ変換された音声データ（以下、「模範音声データ」）は、伴奏開始からの経過時間を表す情報と共に、記憶部２２に記憶（録音）されていく（ステップＳ２）。
【００１７】
伴奏データの再生が終了すると、制御部２１は模範者の歌唱音声を録音する処理を終了する。次に、制御部２１は、記憶部２２に記憶されている模範音声データを、上記の模範者ＩＤと共に通信部２８からサーバ装置３に送信する（ステップＳ３）。サーバ装置３の制御部３１は、通信部３３によって模範音声データ及び模範者ＩＤが受信されたことを検知すると、模範音声データと模範者ＩＤとを記憶部３２に記憶する。次いで、制御部３１は、記憶部３２に記憶されている模範音声データを、所定時間長のフレーム単位に分離し、フレーム単位でピッチ、発音タイミング、パワー及びスペクトルを算出する（ステップＳ４）。発音タイミングの算出に関しては、或るピッチが次のピッチに変化するタイミングを発音タイミングとして考えればよい。また、スペクトルの算出には例えばＦＦＴ（Fast Fourier Transform）を用いればよい。
【００１８】
次いで、制御部３１は、模範者音声データから技法を抽出する（ステップＳ５）。制御部３１は、まず、これらの各技法が用いられている区間を特定（検出）する。例えば「ビブラート」及び「しゃくり」については、模範者音声データのピッチに基づいて検出することができる。また、「こぶし」及び「ファルセット」については、模範者音声データのスペクトルに基づいて検出することができる。また、「ため」及び「つっこみ」については、模範者音声データのピッチと、楽譜音データ記憶領域３２ｂに記憶されている楽譜音データとに基づいて検出することができる。また、「息継ぎ」については、模範者音声データのパワーと、楽譜音データ記憶領域３２ｂに記憶されている楽譜音データとに基づいて検出することができる。
【００１９】
具体的な検出方法は以下のとおりである。
制御部３１は、模範者音声データと楽譜音データ記憶領域３２ｂに記憶された楽譜音データとの対応関係と、模範者音声データから算出されたピッチとに基づいて、模範者音声データに含まれる音の開始時刻と当該音に対応する楽譜音データの音の開始時刻とが異なる区間を特定する。ここで、制御部３１は、模範者音声データのピッチの変化タイミングが楽譜音データのピッチの変化タイミングよりも早く現れている区間、すなわち模範者音声データに含まれる音の開始時刻が当該音に対応する楽譜音データの音の開始時刻よりも早い区間については、この区間を「つっこみ」の技法が用いられている区間であると特定する。制御部３１は、このようにして特定した区間の区間情報を、「つっこみ」を示す識別情報と関連付ける。また、制御部３１は、模範者音声データのピッチの変化タイミングと楽譜音データのピッチの変化タイミングとの時間差を算出し、算出した値を、「タイミング差」として１０段階の数値で示される値に変換する。
【００２０】
逆に、制御部３１は、模範者音声データと楽譜音データとの対応関係と、模範者音声データから算出されたピッチとに基づいて、模範者音声データのピッチの変化発音タイミングが楽譜音データのピッチの変化発音タイミングよりも遅れて現れている区間、すなわち模範者音声データに含まれる音の開始時刻が当該音に対応する楽譜音データの音の開始時刻よりも遅い区間を検出し、検出した区間を「ため」の技法が用いられている区間であると特定する。また、制御部３１は、模範者音声データのピッチの変化タイミングと楽譜音データのピッチの変化タイミングとの時間差を算出し、算出した値を、「タイミング差」として１０段階の数値で示される値に変換する。
【００２１】
また、制御部３１は、模範者音声データから算出したピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を検出し、検出した区間を「ビブラート」の技法が用いられている区間であると特定する。また、制御部３１は、検出した区間におけるピッチの変動範囲を算出し、算出した値を、この技法の「深さ」の程度として１０段階の数値で示される値に変換する。また、制御部３１は、検出した区間の時間長を、この技法の「長さ」の程度として１０段階の数値で示される値に変換する。また、制御部３１は、検出した区間におけるピッチの変動速度を「速さ」の程度として１０段階の数値で示される値に変換する。
【００２２】
また、制御部３１は、模範者音声データから算出したピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的にピッチが変化する区間を検出し、検出した区間を「しゃくり」の技法が用いられている区間であると特定する。なお、この処理は、楽譜音データとの対応関係に基づいて行うようにしてもよい。すなわち、制御部３１は、模範者音声データと楽譜音データとの対応関係に基づいて、模範者音声データのピッチが、低いピッチから連続的に楽譜音データのピッチに近づいている区間を検出すればよい。また、制御部３１は、検出した区間のピッチの変化量を区間で除算して傾斜度を算出し、算出した値を、この技法の「傾斜度」の程度として１０段階の数値で示される値に変換する。また、制御部３１は、検出したピッチの変化量を「ピッチ差」の程度として１０段階の数値で示される値に変換する。
【００２３】
また、制御部３１は、模範者音声データと楽譜音データとの対応関係と、模範者音声データから算出されたパワーとに基づいて、楽譜音データが有音である区間であって模範者音声データのパワー値が所定の閾値よりも小さい区間を検出し、検出した区間を「息継ぎ」の区間であると特定する。また、制御部３１は、検出した区間の時間長を、この技法の「長さ」の程度として１０段階の数値で示される値に変換する。
【００２４】
また、制御部３１は、模範者音声データから算出されたスペクトルの時間的な変化パターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を検出し、検出した区間を「ファルセット」の技法が用いられている区間であると特定する。ここで、予め決められた変化状態とは、スペクトル特性の高調波成分が極端に少なくなる状態である。例えば地声の場合は沢山の高調波成分が含まれるが、ファルセットになると高調波成分の大きさが極端に小さくなる。なお、この場合、制御部３１は、ピッチが大幅に上方に変化したかどうかも参照してよい。ファルセットは地声と同一のピッチを発声する場合でも用いられることもあるが、一般には地声では発声できない高音を発声するときに使われる技法だからである。したがって、模範者音声データのピッチが所定音高以上の場合に限って「ファルセット」の検出をするように構成してもよい。また、男声と女声とでは一般にファルセットを用いる音高の領域が異なるので、模範者音声データの音域や、模範者音声データから検出されるフォルマントによって性別検出を行い、この結果を踏まえてファルセット検出の音高領域を設定してもよい。
また、制御部３１は、検出した区間のピッチ（音高）を示す情報を、この技法の態様の情報とする。
【００２５】
また、制御部３１は、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を検出し、検出した区間を「こぶし」の技法が用いられている区間であると特定する。「こぶし」の場合は、短い区間において声色や発声方法を変化させて唸るような味わいを付加する技法であるため、この技法が用いられている区間においてはスペクトル特性が多様に変化するからである。また、制御部３１は、検出した区間の時間長を、この技法の「長さ」の程度として１０段階の数値で示される値に変換する。
【００２６】
以上のようにして、制御部３１は、模範者音声データから技法が用いられている区間と技法の態様とを検出し、検出した区間を示す区間情報をその技法を示す種別情報と技法の態様を示す情報とに関連付けた特徴抽出データを生成する（ステップＳ６）。
図７は、ステップＳ６において生成される特徴抽出データの内容の一例を示す図である。図示のように、このデータは、「技法種別」と「区間」と「態様」との各項目が互いに関連付けて構成されている。
【００２７】
次いで、制御部３１は、生成した特徴抽出データの各パラメータを平均化して、図５に示した特徴データブロックを生成し、生成した特徴データブロックを、カラオケ装置２から受信した模範者ＩＤに関連付けて、特徴データ記憶領域３２ｄに記憶する（ステップＳ７）。具体的には、例えば、制御部３１は、「ビブラート」技法の「深さ」、「速さ」、「長さ」の各数値の平均値を算出し、「ビブラート」技法の特徴データの「深さ」、「速さ」、「長さ」の各パラメータに、算出した平均値を設定する。また、「ビブラート」の技法が用いられた区間の総数をカウントし、その数を１０段階の数値で示す値に変換し、変換した値を「頻度」のパラメータに設定する。この変換処理は、例えば、予め定められた値とカウントされた総数とを比較することによって行うようにしてもよく、または、複数の模範特徴抽出データから算出された技法毎の総数の平均値と比較して行うようにしてもよい。他の技法についても同様に、各パラメータの平均値及び総数を算出して、特徴データの各パラメータに算出した値を設定する。
【００２８】
複数の模範者について図６に示す一連の処理が行われることによって、サーバ装置３の特徴データ記憶領域には、複数の模範者の歌唱音声の進行における技法が用いられている部分を示す特徴データを含む特徴データブロックが、模範者ＩＤに関連付けて記憶される。
【００２９】
＜Ｂ−２：ガイド音声データ加工動作＞
次に、ガイド音声データの加工動作について説明する。
図８に示すシーケンス図において、練習者は、カラオケ装置２の操作部２４を操作して、歌唱したい楽曲の楽曲ＩＤと好みの模範者の模範者ＩＤとを選択する操作を行い、楽曲の再生を指示する。操作部２４は操作された内容に応じた信号を制御部２１へ出力し、制御部２１は、操作部２４から供給される信号に応じて、楽曲に割り当てられた楽曲ＩＤを選択するとともに、模範者に割り当てられた模範者ＩＤを選択する（ステップＳ１１）。次いで、制御部２１は、選択した模範者ＩＤと楽曲ＩＤとを、通信部２８によってサーバ装置３に送信する（ステップＳ１２）。
【００３０】
カラオケ装置２から模範者ＩＤと楽曲ＩＤとをサーバ装置３が受信する。サーバ装置３の制御部３１は、模範者ＩＤと楽曲ＩＤとの入力を受け付ける（ステップＳ１３）。模範者ＩＤと楽曲ＩＤとの入力を受け付けると、制御部３１は、入力を受け付けた楽曲ＩＤに対応するガイド音声データをガイド音声データ記憶領域３２ａから読み出すとともに、入力を受け付けた模範者ＩＤに対応する特徴データブロックに含まれる特徴データを特徴データ記憶領域３２ｄから読み出し、読み出したガイド音声データに対し、読み出した特徴データに対応する部分を、当該特徴データに基づいて加工する（ステップＳ１４）。より詳細には、制御部３１は、楽曲ＩＤに対応するガイド音声データについて、当該楽曲ＩＤに対応する技法挿入箇所指定データの「タイミング」の項目に記憶されている時刻情報の示す箇所に、各技法に対応する加工処理を施す。このとき、制御部３１は、特徴データに含まれる各技法毎の「頻度」パラメータの値が、技法箇所指定データに含まれる各技法毎の「条件」を満たすか否かを判定し、条件を満たす場合には、「タイミング」の示す箇所にその技法に対応する加工処理を施す。一方、条件を満たさない場合には、制御部３１は加工処理を施さない。
具体的には、制御部３１は、楽曲ＩＤに対応するガイド音声データにおける「タイミング」の示す箇所に、特徴データの深さ、速さ、長さ等の各パラメータに応じて、ガイド音声データの波形を変換加工する。また、しゃくりの部分では、特徴データの急峻度、スタートピッチを反映して同じくピッチ変換加工、ファルセットでは、ファルセットに変化する部分の音程からスペクトル変換の加工を施す。他の技法についても同様にして、制御部３１は、ガイド音声データを、特徴データを用いて加工する。
【００３１】
模範者ＩＤに対応する特徴データは、練習者の好みの模範者の歌唱音声の特徴を表すデータであるから、制御部３１が特徴データを用いてガイド音声データを加工処理することによって、練習者の好みの模範者の歌唱音声を模した歌唱音声を示すデータが生成される。具体的には、例えば、その模範者がフレーズの末尾に必ずビブラートをかける場合には、技法箇所指定データによって指定されているタイミングでビブラートがかかった歌唱音声を表すデータが制御部３１の加工処理によって生成される。または、その模範者が或る音高以上ではファルセットを用いる場合には、同一の音高以上でファルセットになる歌唱音声を表すデータが制御部３１の加工処理によって生成される。
【００３２】
制御部３１は、加工処理を施したガイド音声データを、カラオケ装置２によって再生可能なデータ形式で送信することによって、ガイド音声データを出力する（ステップＳ１５）。カラオケ装置２の制御部２１は、受信したガイド音声データを再生する（ステップＳ１６）。つまり、制御部２１は、ガイド音声データを音声処理部２６に供給し、音声処理部２６がそのガイド音声データをアナログ信号に変換し、スピーカ２７から放音させる。これにより、練習者は、自らが真似たい歌手の歌唱音声を模した歌唱音声を聴くことができ、それを模範とすることで、自身の歌唱の上達を図ることができる。
【００３３】
以上説明したように本実施形態においては、制御部３１が、選択された楽曲ＩＤに対応するガイド音声データを、選択された模範者ＩＤに対応する特徴データを用いてガイド音声データを加工するから、これにより、練習者が真似したい模範者の歌唱音声を模した歌唱音声を練習者に模範として提供することができる。すなわち、或る練習者の真似したい模範者が、その楽曲を持ち歌としておらず、その楽曲を歌唱したことがない場合であっても、あたかもその模範者がその楽曲を歌唱したかのような歌唱音声を、練習者に聴かせることができる。練習者がその歌唱を模範として聞き、その歌い方をお手本とすることで、練習者の上達意欲が上がりやすい。
【００３４】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（１）上述した実施形態においては、ガイド音声データとして、或る歌唱者が歌唱した歌唱音声を表すデータを用いた。これに代えて、歌唱シンセサイザーなどを用いて伴奏データからガイドボーカルデータを生成し、生成したガイドボーカルデータをガイド音声データとして用いてもよい。この場合は、模範者毎の特徴データとして、模範者の声質の特徴を示すデータを特徴データに含めて保持しておけば、より模範者の歌唱音声に似たガイド音声データを作成することができる。
【００３５】
（２）上述した実施形態においては、模範者の歌唱音声から特徴データを生成した。これに加えて、練習者の歌唱音声を録音し、録音することによって生成された音声データに対して同様の処理を施して特徴データを生成し、模範者の特徴データと練習者の特徴データとを比較して、比較結果を練習者に報知してもよい。この場合は、具体的には、例えばカラオケ装置２のマイクロフォン２５で練習者の歌唱音声を収音して、音声処理部２６が練習者の歌唱音声を表す練習者音声データを生成し、生成した練習者音声データから、制御部２１が、ピッチ、タイミング、スペクトル、パワーを算出し、その算出結果から練習者の特徴データを生成する。そして、カラオケ装置２又はサーバ装置３が、練習者の特徴データと模範者の特徴データとを各パラメータ毎に比較し、カラオケ装置２の制御部２１が、比較結果を表示部２３に表示したり音声メッセージで出力するなどして比較結果を報知する。
このようにすれば、練習者は、報知結果を参照することで、自身の歌唱テクニック（技法の使い方）が模範者の歌唱テクニックにどれだけ近づいたか、又は、どれだけ似ているかを把握することができる。
【００３６】
（３）上述した実施形態においては、１曲のリファレンス曲を用いて、複数の模範者の特徴データを抽出するようにした。特徴データを抽出するための模範者音声データは、同一のリファレンス曲を歌唱した際の音声データである必要はなく、複数の模範者が、それぞれ異なる楽曲を歌唱し、それぞれの歌唱音声から特徴データを抽出するようにしてもよい。
【００３７】
（４）上述した実施形態においては、ガイド音声データを加工する部分を特定するための技法挿入箇所指定データを、サーバ装置３の技法挿入箇所指定データ記憶領域３２ｃに予め記憶させておくようにした。これに代えて、サーバ装置３の制御部３１が、ガイド音声データを加工する部分を特定するためのデータを生成するようにしてもよい。具体的には、例えば、制御部３１が、或る楽曲について複数の模範音声データから特徴抽出データを生成し、生成した複数の特徴抽出データについて技法毎に統計をとって、各技法毎に、予め定められた閾値以上の割合でその技法が用いられている区間を示すデータを、ガイド音声データを加工する部分を特定するためのデータとして生成するようにしてもよい。
また、上述した実施形態においては、ガイド音声データにおいて、技法挿入箇所指定データによって示されるタイミング（部分）に技法を挿入する（ガイド音声データを加工する）ようにした。ガイドデータを加工する部分、すなわち特徴データに対応する部分の特定方法は、技法挿入箇所指定データに基づいて特定されるに限らず、例えば、サーバ装置３の制御部３１が楽譜音データやガイド音声データに基づいて特定するようにしてもよい。具体的には、例えば２分音符以上の音についてはビブラート技法を挿入すると特定する等、予め定められたアルゴリズムに基づいて特定すればよい。
【００３８】
また、上述した実施形態においては、技法を挿入するか否かを、技法挿入箇所指定データに含まれる「条件」に応じて判定するようにしたが、判定方法はこれに限定されるものではなく、サーバ装置３の制御部３１が、例えば、各技法の頻度に応じた数の挿入箇所（タイミング）をランダムに抽出することによって判定するなど、予め定められたアルゴリズムに基づいて、そのタイミングの箇所に技法を挿入するか否かを判定するようにしてもよい。
または、技法を挿入するか否かを判定するようにせず、技法挿入箇所指定データによって示される部分の全てに技法を挿入するようにしてもよい。
【００３９】
（５）上述した実施形態においては、歌唱音声を表すガイド音声データを加工する場合について説明したが、これに限らず、楽器の演奏音を表すガイド音声データを加工するようにしてもよい。この場合、上述した或る歌唱者の歌唱音声に代えて演奏者の演奏音を表すガイド音声データが用いられ、楽器演奏音の進行における特定の部分の特徴を示す特徴データが用いられる。また、伴奏・歌詞データ記憶領域２２ａには、楽譜に演奏音として規定された楽譜音データが記憶される。サーバ装置３の制御部３１は、これらのデータに基づき、上記と同様の処理を経てガイド音声データを加工する。
【００４０】
（６）上述した実施形態においては、特徴データは、サーバ装置３の制御部３１によって生成されるようになっていたが、これに代えて、カラオケ装置２の制御部２１によって生成されるようにしてもよい。または、サーバ装置３の制御部３１が特徴データの入力を促し、予め用意された特徴データが入力されるようにしてもよい。
また、上述した実施形態においては、サーバ装置３が、カラオケ装置２から、模範者ＩＤと楽曲ＩＤとを受信することによって、模範者ＩＤと楽曲ＩＤとの入力を受け付けた。これに代えて、サーバ装置３に操作部を設けて、操作者が操作部を操作することによって模範者ＩＤと楽曲ＩＤとを入力し、サーバ装置３の制御部３１が、模範者ＩＤと楽曲ＩＤとの入力を受け付けるようにしてもよい。又は、ＵＳＢ（Universal Serial Bus）等のインタフェースを介して模範者ＩＤと楽曲ＩＤとの入力を制御部３１が受け付けるようにしてもよい。要するに、制御部３１が模範者ＩＤと楽曲ＩＤとの入力を受け付けるようにすればよい。
【００４１】
（７）なお、上述した実施形態においては、特徴データとして、「ビブラート」、「つっこみ」、「ため」などの技法を示すデータを用いたが、上述した実施形態で用いた技法を全て用いる必要はなく、いずれか一つを用いるようにしてもよく、複数を用いるようにしてもよい。また、特徴データは、上述した実施形態で示した以外の歌唱技法又は演奏技法が用いられている部分の特徴を示すデータであってもよい。例えば、弦楽器などで倍音を奏するいわゆるハーモニクスの技法が用いられている部分の特徴を示すデータであってもよい。
また、特徴データは、技法が用いられている部分の特徴を示すデータに限らず、例えば、歌唱が開始された部分などであってもよい。要するに、歌唱音声又は楽器演奏音の進行における特定の部分の特徴を示すデータであればよい。
【００４２】
また、上述した実施形態においては、特徴データブロックを識別する識別情報として、模範者に割り当てられた模範者ＩＤを用いたが、特徴データブロックを識別する識別情報は、これに限らず、他の情報であってもよい。要するに、１又は複数の特徴データを含む特徴データブロックを複数記憶するとともに、各特徴データブロックを各々識別する複数の識別情報を記憶すればよい。
【００４３】
（８）なお、ガイド音声データや模範者音声データはＷＡＶＥ形式やＭＰ３形式のデータとしたが、データの形式はこれに限定されるものではなく、歌唱音声又は演奏音を表すデータであればどのような形式のデータであってもよい。
【００４４】
（９）上述した実施形態では、カラオケ装置２とサーバ装置３とがネットワーク４で接続された楽曲練習支援システム１が、上記実施形態に係る機能の全てを実現するようになっている。これに対し、ネットワークで接続された３以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のシステムを実現するようにしてもよい。または、ひとつの装置が上記機能の全てを実現するようにしてもよい。
【００４５】
（１０）上述した実施形態におけるカラオケ装置２の制御部２１又はサーバ装置３の制御部３１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置２又はサーバ装置３にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４６】
【図１】楽曲練習支援システムの全体構成を示すブロック図である。
【図２】カラオケ装置の構成を示すブロック図である。
【図３】サーバ装置の構成を示すブロック図である。
【図４】サーバ装置によって記憶される技法挿入箇所指定データの一例を示す図である。
【図５】サーバ装置によって記憶される特徴データブロックの一例を示す図である。
【図６】実施形態の動作を示すシーケンス図である。
【図７】特徴抽出データの一例を示す図である。
【図８】実施形態の動作を示すシーケンス図である。
【符号の説明】
【００４７】
１…楽曲練習支援システム、２，２ａ，２ｂ，２ｃ…カラオケ装置、３…サーバ装置、４…ネットワーク、２１…制御部、２２…記憶部、２３…表示部、２４…操作部、２５…マイクロフォン、２６…音声処理部、２７…スピーカ、２８…通信部、３１…制御部、３２…記憶部、３３…通信部。
【図１】
2007310204.tif 000003
【図２】
2007310204.tif 000004
【図３】
2007310204.tif 000005
【図４】
2007310204.tif 000006
【図５】
2007310204.tif 000007
【図６】
2007310204.tif 000008
【図７】
2007310204.tif 000009
【図８】
2007310204.tif 000010