(57)【要約】【課題】歌唱者の歌唱を妨げることなく歌唱支援が可能な技術を提供する。【解決手段】歌唱者の歌唱を支援する歌唱支援装置は、歌唱される楽曲に対応し歌唱者の歌唱を誘導するガイドメロディを、音声合成により、２種類以上生成するガイドメロディ合成部と、２種類以上のガイドメロディを切替えて、楽曲に合わせて出力するガイドメロディ出力部と、を備える。【選択図】図３
2019090936.tif 000002
【特許請求の範囲】
【請求項１】
歌唱者の歌唱を支援する歌唱支援装置であって、
前記歌唱される楽曲に対応し前記歌唱者の前記歌唱を誘導するガイドメロディを、音声合成により、２種類以上生成するガイドメロディ合成部と、
前記２種類以上のガイドメロディを切替えて、前記楽曲に合わせて出力するガイドメロディ出力部と、を備える歌唱支援装置。
【請求項２】
請求項１に記載の歌唱支援装置であって、
前記ガイドメロディ合成部は、前記ガイドメロディを統計的手法により音響パラメータを学習した音響モデルを用いて音声合成を行う歌唱支援装置。
【請求項３】
請求項１または請求項２に記載の歌唱支援装置であって、
前記ガイドメロディ合成部は、前記音声合成により、少なくとも、歌詞の無いメロディ音と歌詞のあるボーカル音とを、前記2種類以上のガイドメロディとして生成する歌唱支援装置。
【請求項４】
請求項３に記載の歌唱支援装置であって、
前記メロディ音の合成は、前記楽曲のハミングやスキャットなどの歌詞を伴わない歌唱音を学習して得られた第１の音響モデルに基づいて行われ、前記ボーカル音の合成は、前記楽曲の歌詞を用いた歌唱音を学習して得られた第２の音響モデルに基づいて行われる歌唱支援装置。
【請求項５】
請求項１から請求項４のまでのいずれか一項に記載の歌唱支援装置であって、
前記歌唱者の前記歌唱の程度を判定する歌唱状況判定部を備え、
前記ガイドメロディ出力部は、前記判定した前記歌唱の程度に応じて前記ガイドメロディを切替える歌唱支援装置。
【請求項６】
請求項１から請求項５のまでのいずれか一項に記載の歌唱支援装置を備えるカラオケ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱支援装置の技術に関する。
【背景技術】
【０００２】
従来の通信カラオケ装置として、ガイドメロディによる歌唱者のサポートを行う歌唱支援装置が知られている。ガイドメロディとは、カラオケ用の楽曲の演奏に沿って歌唱者が歌えない場合、歌唱を誘導するために再生される主旋律や、模範ボーカル音声である（例えば、特許文献１および特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１４８６２７号公報
【特許文献２】特開２００５−０４９４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、歌唱者が歌唱できる部分に通常のガイドボーカルを流すと、歌唱者の歌唱と被ってしまうため、歌唱者が惑わされて歌いにくい場合や聴衆が聴きにくい場合がある。そのため、歌唱者の歌唱を妨げることなく歌唱支援が可能な技術が望まれていた。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００６】
（１）本発明の一形態によれば、歌唱者の歌唱を支援する歌唱支援装置が提供される。この歌唱支援装置は、前記歌唱される楽曲に対応し前記歌唱者の前記歌唱を誘導するガイドメロディを、音声合成により、２種類以上生成するガイドメロディ合成部と；前記２種類以上のガイドメロディを切替えて、前記楽曲に合わせて出力するガイドメロディ出力部と、を備える。この形態の歌唱支援装置によれば、複数種類のガイドメロディを切替えて出力できるため、歌唱者の歌唱に対して適切な形態、例えば、歌唱者の歌唱と被らないでメロディ音のサポートができる。そのため、歌唱者の歌唱を妨げることなく歌唱支援ができる。
【０００７】
（２）上記形態の歌唱支援装置において、前記ガイドメロディ合成部は、前記ガイドメロディを統計的手法により音響パラメータを学習した音響モデルを用いて音声合成を行ってもよい。この形態の歌唱支援装置によれば、少ないデータ量で音声合成によりガイドメロディを生成する事ができる。
【０００８】
（３）上記形態の歌唱支援装置において、前記ガイドメロディ合成部は、前記音響モデルを用いた音声合成により、少なくとも、歌詞の無いメロディ音と歌詞のあるボーカル音とを、前記２種類以上のガイドメロディとして生成してもよい。この形態の歌唱支援装置によれば、歌詞の無いメロディ音により歌唱者の歌唱と被らないでメロディ音のサポートができる。そのため、歌唱者の歌唱を妨げることなく歌唱支援ができる。
【０００９】
（４）上記形態の歌唱支援装置において、前記メロディ音の合成は、前記楽曲のハミングやスキャットなどの歌詞を伴わない歌唱音を学習して得られた第１の音響モデルに基づいて行われ、前記ボーカル音の合成は、前記楽曲の歌詞を用いた歌唱音を学習して得られた第２の音響モデルに基づいて行われてもよい。この形態の歌唱支援装置によれば、音声合成により容易に２種類以上のガイドメロディを生成する事ができる。
【００１０】
（５）上記形態の歌唱支援装置において、前記歌唱者の前記歌唱の程度を判定する歌唱状況判定部を備え；前記ガイドメロディ出力部は、前記判定した前記歌唱の程度に応じて前記ガイドメロディを切替えてもよい。この形態の歌唱支援装置によれば、歌唱状況に応じてガイドメロディを切替えて出力できるため、より効果的に歌唱者の歌唱と被らないでメロディ音のサポートができる。
【００１１】
なお、本発明は、種々の態様で実現することが可能である。例えば、この形態の歌唱支援装置を備えたカラオケ装置やカラオケシステム、歌唱支援方法、コンピュータプログラム等の形態で実現することができる。コンピュータプログラムは、コンピュータが読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【図面の簡単な説明】
【００１２】
【図１】歌唱支援装置を含むカラオケ装置の概要を示す説明図である。
【図２】音響モデルに含まれる各種の音響パラメータを示す図である。
【図３】ガイドメロディ出力処理を表すフローチャートである。
【図４】第２実施形態における歌唱支援装置を含むカラオケ装置の概要を示す説明図である。
【図５】平均音量と歌唱尤度と平均音高差とガイドメロディとの関係を定義した図である。
【発明を実施するための形態】
【００１３】
Ａ．第１実施形態：
図１は、本発明の一実施形態における歌唱支援装置１００を含むカラオケ装置２００の概要を示す説明図である。カラオケ装置２００は、歌唱支援装置１００と、楽曲演奏装置１０５と、ミキシングアンプ５０とを備える。歌唱支援装置１００は、カラオケ装置２００において、歌唱者の歌唱をガイドメロディによってサポートする装置である。本実施形態において、歌唱支援装置１００は、ガイドメロディ合成部１０と、歌唱状況判定部２０と、ガイドメロディ出力部３０と、を備える。
【００１４】
ガイドメロディ合成部１０は、一楽曲に対して２種類以上のガイドメロディを音声合成により生成する。「ガイドメロディ」とは、歌唱者の歌唱を誘導するための主旋律や、模範ボーカル音声である。本実施形態において、ガイドメロディ合成部１０は、統計的手法により音響パラメータを学習した音響モデルを用いて音声合成を行う。より具体的には、隠れマルコフモデル（以下、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）とも記載する）や、ディープニューラルネットワーク（以下、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）とも記載する）を用いて、ガイドメロディを生成する。音響モデルの学習に用いる音響パラメータの詳細については後述する。
【００１５】
歌唱状況判定部２０は、音声入力部４０（例えば、マイク）より入力された歌唱者の歌唱（歌声である音声）の程度を判定する。歌唱の程度とは、歌唱者がその歌を歌唱できているかどうかの程度を意味する。本実施形態において、歌唱状況判定部２０は、例えば、入力された歌唱の音量と音程と歌詞とによって判定する。
【００１６】
ガイドメロディ出力部３０は、ガイドメロディ合成部１０によって生成された複数のガイドメロディを、歌唱状況判定部２０において判定された歌唱の程度に応じて切替え、ミキシングアンプ５０を介してスピーカ６０へ出力する。
【００１７】
楽曲演奏装置１０５は、カラオケ装置２００において、楽曲を演奏する装置である。楽曲演奏装置１０５は、記憶部１５と、制御部２５と、楽曲出力部３５と、を備える。楽曲演奏装置１０５は、操作部７０（例えば、リモコン）より操作され、演奏する楽曲が選択される。
【００１８】
記憶部１５は、ネットワークＮＷより演奏する楽曲のデータ、例えばＭＩＤＩ規格で作成された伴奏楽音の演奏データ（以下「ＭＩＤＩデータ」という）を取得して記憶する。制御部２５は、操作部７０より入力された操作指示に応じて、楽曲出力部３５を制御する。例えば、楽曲を演奏する順番の制御や、楽曲の早送りや一時停止等の制御を行う。なお、記憶部１５は、ＭＩＤＩデータをネットワークＮＷから取得せず、予め一部または全部を記憶していてもよい。
【００１９】
楽曲出力部３５は、記憶部１５よりＭＩＤＩデータを取得し、デコードして演奏するカラオケ楽曲を生成し、ミキシングアンプ５０を介してスピーカ６０へ出力する。なお、ミキシングアンプ５０は、ガイドメロディと、音声入力部４０より入力された歌唱者の歌唱と、カラオケ楽曲とを合成したスピーカ６０より出力する。
【００２０】
図２は、音響モデルによりモデル化する各種の音響パラメータを示す図である。基本周波数は、一般に対数基本周波数ｐｔとして扱われており、その関連パラメータとしては、有声／無声の区別、対数基本周波数の一次微分（Δｐｔ）や二次微分（Δ２ｐｔ）が考えられる。これらは音源情報と呼ばれることがある。なお、無声部分は対数基本周波数ｐｔの値を持たない。このため、無声部分に所定の定数を入れる等の方法によって有声／無声の区別を行う。また、スペクトルパラメータとしては、メルケプストラムｃｔやその一次微分（Δｃｔ）、二次微分（Δ２ｃｔ）などがある。これらは、スペクトル情報と呼ばれることがある。更に、こうした音源情報、スペクトル情報の他に、本実施形態では、歌唱表現情報を扱う。
【００２１】
歌唱表現情報には、音高のビブラートの周期Ｖ１ｆｔおよび振幅Ｖ１ａｔと、音の大きさのビブラートの周期Ｖ２ｆｔおよび振幅Ｖ２ａｔとが、音素単位でモデル化されて含まれている。音高のビブラートの周期、音高のビブラートの振幅、音の大きさのビブラートの周期、音の大きさのビブラートの振幅についても、それぞれに対応する一時微分（Δ）と、二次微分（Δ２）とを持つが、図示の便宜上、図２ではこれら周期および振幅についての一次微分、二次微分の図示を省略している。上記パラメータのうち、メルケプストラムｃｔを初めとする各パラメータの一次微分や二次微分は、時間変動を考慮するために用いられる。動的特徴を考慮することにより、歌声の合成時における音と音のつながりが滑らかなものとなる。動的特徴を用いた音声合成の手法については、説明を省略する。
【００２２】
また、音響モデルとしてＤＮＮを用いた場合には、メルケプストラムｃｔの代わりにスペクトルをモデル化してもよいし、上記音響パラメータの代わりに音声波形を音響パラメータとしてモデル化してもよい。
【００２３】
本実施形態において、音響モデルは、ハミングやスキャットの等の歌詞を伴わない歌唱音を学習して得られた第１の音響モデルと、歌詞を用いた歌唱音を学習して得られた第２の音響モデルとを含む。
【００２４】
図３は、本実施形態におけるガイドメロディ出力処理を表すフローチャートである。ガイドメロディ出力処理は、カラオケにおいて、楽曲が再生されると同時に開始される処理であり、歌唱の程度に応じてガイドメロディを切替えるための処理である。なお、図示の便宜上、ガイドメロディをガイドと省略して記載している。ガイドメロディ出力部３０は、まず、出力するガイドメロディを「メロディ音」に設定する（ステップＳ１００）。「メロディ音」とは、歌詞を持たない旋律のみの音声である。メロディ音は、例えば、楽器音やハミング等による音声が用いられる。
【００２５】
次に、歌唱状況判定部２０は、現在の楽曲の再生部分が歌唱区間かどうか判定する（ステップＳ１１０）。楽曲の再生部分が歌唱区間で無い場合（ステップＳ１１０：ＮＯ）、歌唱の程度に応じて歌声を切替えることがないため、歌唱状況判定部２０は、楽曲が終了かどうか判定する（ステップＳ２１０）。
【００２６】
楽曲の再生部分が歌唱区間である場合（ステップＳ１１０：ＹＥＳ）、歌唱状況判定部２０は、音声入力部４０より歌唱者の歌唱を取得する（ステップＳ１２０）。歌唱状況判定部２０は、取得した歌唱の平均音量を算出する（ステップＳ１３０）。平均音量とは、例えば、予め定めた長さの区間における歌唱の音量の平均として求めることができる。
【００２７】
次に、歌唱状況判定部２０は、算出した平均音量が予め定めた閾値以上かどうか判定する（ステップＳ１４０）。閾値は任意に定めることが出来る。平均音量が閾値より小さい場合（ステップＳ１４０：ＮＯ）、換言すると歌唱できていないと判断した場合、ガイドメロディ出力部３０は、出力するガイドメロディを「ボーカル音」に設定して（ステップＳ１６５）、ステップＳ２１０に移行する。「ボーカル音」とは、歌詞のある歌声である。本実施形態において、ボーカル音のガイドメロディは、上述した第２の音響モデルを用いて音声合成により生成する。
【００２８】
平均音量が閾値以上の場合（ステップＳ１４０：ＹＥＳ）、換言すると歌唱できていると判断した場合、歌唱状況判定部２０は、ステップＳ１２０で取得した歌唱の歌唱尤度を算出する（ステップＳ１５０）。歌唱尤度とは、予め定めた長さの区間における歌唱の尤もらしさ、より具体的には、歌詞と譜割り（歌詞の発音タイミング）の正しさの度合いを示す。歌唱尤度は、楽譜通りに歌った場合値が高くなる。
【００２９】
歌唱尤度の算出における歌詞の正誤判断は、歌詞が予め解っているため、例えば、音声認識を用いてもよいし、音素の正誤によって判断してもよい。また、譜割りの正誤判断は、例えば、歌声の各音素がどのタイミングからどのタイミングまでを占めるかを示す音素アライメントを求め、楽譜の音符境界との一致具合によって判断すればよい。
【００３０】
次に、歌唱状況判定部２０は、算出した歌唱尤度が予め定めた閾値以上かどうか判定する（ステップＳ１６０）。閾値は任意に定めることが出来る。歌唱尤度が閾値より小さい場合（ステップＳ１６０：ＮＯ）、換言すると歌唱できていないと判断した場合、ガイドメロディ出力部３０は、出力するガイドメロディを「ボーカル音」に設定して（ステップＳ１６５）、ステップＳ２１０に移行する。なお、ステップＳ１４０の直後にステップＳ１６５で設定する「ボーカル音」と、ステップＳ１６０の直後にステップＳ１６５で設定する「ボーカル音」とは、同一のガイドメロディでなくてもよい、例えば音量等が異なっていてもよい。
【００３１】
歌唱尤度が閾値以上の場合（ステップＳ１６０：ＹＥＳ）、換言すると歌唱できていると判断した場合、歌唱状況判定部２０は、ステップＳ１２０で取得した歌唱の平均音高差を算出する（ステップＳ１７０）。平均音高差とは、例えば、予め定めた長さの区間における歌唱の音高と、楽譜の音高との差の絶対値の平均として求めることができる。音高は、例えば、基本周波数を抽出することで求めることができる。なお、平均音高差の代わりに、例えば、予め定めた長さの区間における歌唱において、半音以上外した回数等を用いても良い。
【００３２】
次に、歌唱状況判定部２０は、算出した平均音高差が予め定めた閾値以下かどうか判定する（ステップＳ１８０）。閾値は任意に定めることが出来る。平均音高差が閾値より大きい場合（ステップＳ１８０：ＮＯ）、換言すると正しい音高で歌唱できていないと判断した場合、ガイドメロディ出力部３０は、出力するガイドメロディを「メロディ音」に設定して（ステップＳ１９５）、ステップＳ２１０に移行する。本実施形態において、メロディ音のガイドメロディは、上述した第１の音響モデルを用いて音声合成により生成する。
【００３３】
平均音高差が閾値以下の場合（ステップＳ１８０：ＹＥＳ）、換言すると平均音量と歌唱尤度と平均音高差とに基づいて正しい音高で歌唱できていると判断した場合、ガイドメロディ出力部３０は、ガイドが「メロディ音」に設定されているかどうか判定する（ステップＳ１９０）。ガイドが「メロディ音」でない場合（ステップＳ１９０：ＮＯ）、ガイドメロディ出力部３０は、出力するガイドメロディを「メロディ音」に設定して（ステップＳ１９５）、ステップＳ２１０に移行する。
【００３４】
ガイドが「メロディ音」の場合（ステップＳ１９０：ＹＥＳ）、ガイドメロディ出力部３０は、ガイドが「メロディ音」に変更されてから所定時間が経過したかどうか判定する（ステップＳ２００）。所定時間は任意に定めることが出来る。所定時間経過していない場合（ステップＳ２００：ＮＯ）、ガイドメロディ出力部３０は、出力するガイドメロディを「無し」に設定して（ステップＳ２０５）、ステップＳ２１０に移行する。ガイドメロディ出力部３０は、歌唱状況判定部２０が歌唱できていると判断しても、所定時間が経過するまでは出力するガイドメロディを「メロディ音」のままとし、所定時間が経過した後は、出力するガイドメロディを「無し」とすることで、歌唱者が歌唱の程度が安定するまで歌唱を支援できる。
【００３５】
所定時間経過している場合（ステップＳ２００：ＹＥＳ）、歌唱状況判定部２０は、楽曲が終了かどうか判定する（ステップＳ２１０）。
【００３６】
楽曲が終了していない場合（ステップＳ２１０：ＮＯ）、ステップＳ１１０から処理を繰り返す。楽曲が終了した場合（ステップＳ２１０：ＹＥＳ）、ガイドメロディ出力処理は終了する。
【００３７】
以上で説明した本実施形態の歌唱支援装置１００によれば、歌唱の程度に応じて、ガイドメロディ出力部３０が、ガイドメロディを切替える。より具体的には、平均音量が閾値未満の場合および歌唱尤度が閾値未満の場合、換言すると、歌えていない場合、ガイドメロディ出力部３０は、ガイドメロディをボーカル音に設定する。また、平均音量および歌唱尤度が閾値以上でかつ平均音高差が閾値未満の場合、換言すると、歌詞については歌えている場合、ガイドメロディ出力部３０は、ガイドメロディをメロディ音に設定する。また、平均音量および歌唱尤度および平均音高差が閾値以上の場合、換言すると、歌えている場合、ガイドメロディ出力部３０は、ガイドメロディを無しに設定する。そのため、歌唱者の歌唱を妨げることなく歌唱支援装置１００ができる。
【００３８】
また、本実施形態では、歌唱状況判定部２０は、平均音量と歌唱尤度と平均音高差とを順に判定しており、例えば、平均音量が閾値未満の場合、歌唱尤度の算出・判定および平均音高差の算出・判定を行わずに、ガイドメロディ出力部３０は、ガイドメロディをボーカル音に設定する。そのため、歌唱状況判定部２０の処理を最小限にすることができる。
【００３９】
また、本実施形態では、ガイドメロディ合成部１０は、統計的手法により音響パラメータを学習した音響モデルを用いて音声合成を行っている。そのため、曲毎に音声を収録すること無く、音声合成によりガイドメロディを生成する事ができる。
【００４０】
また、本実施形態では、ガイドメロディ合成部は、歌詞を伴わない歌唱音を学習して得られた第１の音響モデルを用いて、歌詞の無いメロディ音を生成し、歌詞を用いた歌唱音を学習して得られた第２の音響モデルを用いて、歌詞のあるボーカル音を生成する。従って、ガイドメロディ合成部１０は、容易に２種類以上のガイドメロディを生成する事ができる。また、歌詞の無いメロディ音により歌唱者の歌唱と被らないでメロディ音のサポートができる。そのため、歌唱者の歌唱を妨げることなく歌唱支援ができる。
【００４１】
Ｂ．第２実施形態：
図４は、第２実施形態における歌唱支援装置１００を含むカラオケ装置２００の概要を示す説明図である。第２実施形態の歌唱支援装置は、第１実施形態の歌唱支援装置１００と異なり、操作部７０Ａにより操作指示を受ける点が異なるものの、その他の構成は第１実施形態の歌唱支援装置１００と同様であるため、操作部７０Ａについて説明し、その他の構成の説明は省略する。
【００４２】
操作部７０Ａは、ガイドメロディの切替えを制御する。より具体的には、歌唱者が操作部７０Ａを操作することによって、ガイドメロディ出力部３０が出力するガイドメロディを切替えることができる。操作部７０Ａは、ボタン７１〜７３を備えている。ボタン７１は、ガイドメロディを「ボーカル音」に設定し、ボタン７２は、ガイドメロディを「メロディ音」に設定し、ボタン７３は、ガイドメロディを「無し」に設定する。
【００４３】
例えば、歌唱者がガイドメロディをボーカル音からメロディ音に切替える操作を行った場合、より具体的には、歌唱者がボタン７２を選択した場合、ガイドメロディ出力部３０は、操作部７０Ａより、ガイドメロディ切り替えの指示を受け、ガイドメロディをボーカル音からメロディ音に切替える。
【００４４】
以上で説明した本実施形態の歌唱支援装置１００によれば、歌唱者の操作により、ガイドメロディ出力部３０が出力するガイドメロディを切替えるため、ガイドメロディ出力部３０は、歌唱者の要求に沿ったガイドメロディの切り替えを行える。そのため、歌唱者の歌唱を妨げることなく歌唱支援ができる。
【００４５】
Ｃ．その他の実施形態：
上記実施形態において、ガイドメロディ合成部１０は、統計的手法により音響パラメータを学習した音響モデルを用いて音声合成を行っている。この代わりに、ガイドメロディ合成部１０は、波形接続方式を用いて音声合成を行ってもよい。また、統計的手法により音響パラメータを学習した音響モデルを用いた音声合成により生成したガイドメロディと、波形接続方式を用いて行った音声合成により生成したガイドメロディとを切替えて出力してもよい。
【００４６】
また、上記実施形態に置いて、ガイドメロディ出力部３０は、ガイドメロディ合成部１０が生成した２種類以上のガイドメロディを切替えて出力しているが、ガイドメロディ合成部１０は、リアルタイムでガイドメロディを生成してもよい。例えば、ガイドメロディ合成部１０は、歌唱程度に応じて音声合成に用いる音響パラメータを学習した音響モデルを切替えて、ガイドメロディを生成してもよい。
【００４７】
また、上記実施形態において、ガイドメロディ合成部１０は、歌詞を伴わない歌唱音を学習して得られた第１の音響モデルを用いて、歌詞の無いメロディ音を生成し、歌詞を用いた歌唱音を学習して得られた第２の音響モデルを用いて、歌詞のあるボーカル音を生成しているが、ガイドメロディの種類や、音響モデルはこれに限定されない。この代わりに、例えば、ガイドメロディ合成部１０は、男声による歌唱音をサンプリングして得られた音響モデルを用いて男声のボーカル音と、女声による歌唱音をサンプリングして得られた音響モデルを用いて女声のボーカル音とを生成してもよい。
【００４８】
また、上記実施形態において、ガイドメロディ出力部３０は、歌唱程度に応じてガイドメロディを「ボーカル音」、「メロディ音」、「無し」とで切替えているが、これに限定されない。例えば、図３においてステップＳ２００、Ｓ２０５を省略して、常にガイドメロディを出力するようにしてもよい。
【００４９】
また、上記実施形態において、歌唱状況判定部２０は、入力された歌唱の音量と歌詞と音程とによって、より具体的には平均音量と歌唱尤度と平均音量差とによって歌唱の程度を判定しているが、歌唱の程度の判定はこれらの要素に限られない。例えば、抑揚やビブラート、しゃくりなどの要素を用いてもよい。
【００５０】
また、上記実施形態において、歌唱者が複数人いる場合、歌唱者毎に歌唱の程度の判定を行い、正しく歌えている方にガイド状態を合わせてもよい。この形態によれば、歌えていない歌唱者は歌えている歌唱者の歌声をガイドにすることができるため、ガイドメロディによる歌唱の誘導を最小限とすることができる。そのため、歌唱者の歌唱を妨げることなく歌唱支援ができる。
【００５１】
また、上記実施形態において、歌唱の程度の判定に用いる歌唱の長さの範囲は、時間以外の予め定められた規則に基づき区切られた範囲としてもよい。規則とは、例えば、小節やフレーズを用いることができる。
【００５２】
また、上記実施形態において、歌唱の程度の判定に用いる歌唱の長さは、判定に用いる数値が閾値に近いほど長く、閾値から遠いほど短くしてもよい。例えば、長い場合は過去１フレーズ分、短い場合は過去１小節分としてもよい。この形態によれば、ガイドメロディ出力部３０は、歌唱の程度に応じて即座に適切なガイドメロディに切り替えることができる。また、歌えているか歌えていないか判定が難しい場合はより慎重で正確な判定が行うことができる。
【００５３】
また、上記実施形態において、判定に用いる歌唱は、現在から遡る時間によって重みを付けて平均を計算してもよい。例えば、判定に用いる歌唱が現在に近いほど重みを大きくし、過去に遡るほど重みを小さくしてもよい。この形態によれば、直近の歌唱の程度に迅速に反応しつつ、過去の歌唱の程度も考慮することができるため、歌唱の程度の判定結果が安定する。
【００５４】
また、上記実施形態において、歌唱の程度の判定に平均音量と平均音高差とを用いているが、この代わりに、中央値や最頻値等、統計的な別の基準を用いてもよい。
【００５５】
また、上記実施形態において、歌唱状況判定部２０は、歌唱の程度について、平均音量と歌唱尤度と平均音高差とを順に判定している。これ対して、歌唱状況判定部２０は、平均音量と歌唱尤度と平均音高差との関係が定義されたマップや関数に基づき、歌唱の程度を判定してもよい。図５は、平均音量と歌唱尤度と平均音高差とガイドメロディとの関係を定義した図である。図５によれば、平均音量が閾値未満であり、歌唱尤度および平均音高差が閾値以上の場合、ガイドメロディを無しに設定する。第１ボーカル音と第２ボーカル音と第３ボーカル音とは、それぞれ音量が異なる。なお、図５は歌唱の程度に応じて設定するガイドメロディの種類ついての一例に過ぎない。
【００５６】
また、第１実施形態において、歌唱状況判定部２０が歌唱の程度を判定している。この代わりに、カラオケ装置２００が備えている採点機能を用いて歌唱の程度を判定してもよい。例えば、採点機能によるリアルタイムの採点点数が閾値を上回っているかどうかという基準を用いることができる。
【００５７】
本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。
【符号の説明】
【００５８】
１０…ガイドメロディ合成部
１５…記憶部
２０…歌唱状況判定部
２５…制御部
３０…ガイドメロディ出力部
３５…楽曲出力部
４０…音声入力部
５０…ミキシングアンプ
６０…スピーカ
７０、７０Ａ…操作部
７１、７２、７３…ボタン
１００…歌唱支援装置
１０５…楽曲演奏装置
２００…カラオケ装置
ＮＷ…ネットワーク
【図１】
2019090936.tif 000003
【図２】
2019090936.tif 000004
【図３】
2019090936.tif 000005
【図４】
2019090936.tif 000006
【図５】
2019090936.tif 000007
【手続補正書】
【提出日】平成30年3月6日(2018.3.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
歌唱者の歌唱を支援する歌唱支援装置であって、
前記歌唱される楽曲に対応し前記歌唱者の前記歌唱を誘導するガイドメロディを、音声合成により、同一の旋律に対して２種類以上生成するガイドメロディ合成部と、
前記２種類以上のガイドメロディを切替えて、前記楽曲に合わせて出力するガイドメロディ出力部と、を備える歌唱支援装置。
【請求項２】
請求項１に記載の歌唱支援装置であって、
前記ガイドメロディ合成部は、前記ガイドメロディを統計的手法により音響パラメータを学習した音響モデルを用いて音声合成を行う歌唱支援装置。
【請求項３】
請求項１または請求項２に記載の歌唱支援装置であって、
前記ガイドメロディ合成部は、前記音声合成により、少なくとも、歌詞の無いメロディ音と歌詞のあるボーカル音とを、前記2種類以上のガイドメロディとして生成する歌唱支援装置。
【請求項４】
請求項３に記載の歌唱支援装置であって、
前記メロディ音の合成は、前記楽曲のハミングやスキャットなどの歌詞を伴わない歌唱音を学習して得られた第１の音響モデルに基づいて行われ、前記ボーカル音の合成は、前記楽曲の歌詞を用いた歌唱音を学習して得られた第２の音響モデルに基づいて行われる歌唱支援装置。
【請求項５】
請求項１から請求項４のまでのいずれか一項に記載の歌唱支援装置であって、
前記歌唱者の前記歌唱の程度を判定する歌唱状況判定部を備え、
前記ガイドメロディ出力部は、前記判定した前記歌唱の程度に応じて前記ガイドメロディを切替える歌唱支援装置。
【請求項６】
請求項１から請求項５のまでのいずれか一項に記載の歌唱支援装置を備えるカラオケ装置。
【請求項７】
歌唱者の歌唱を支援する歌唱支援装置であって、
前記歌唱される楽曲に対応し前記歌唱者の前記歌唱を誘導するガイドメロディを、音声合成により、２種類以上生成するガイドメロディ合成部と、
前記２種類以上のガイドメロディを切替えて、前記楽曲に合わせて出力するガイドメロディ出力部と、を備え、
前記ガイドメロディ合成部は、前記音声合成により、少なくとも、歌詞の無いメロディ音と歌詞のあるボーカル音とを、前記2種類以上のガイドメロディとして生成する歌唱支援装置。
【請求項８】
請求項７に記載の歌唱支援装置であって、
前記メロディ音の合成は、前記楽曲のハミングやスキャットなどの歌詞を伴わない歌唱音を学習して得られた第１の音響モデルに基づいて行われ、前記ボーカル音の合成は、前記楽曲の歌詞を用いた歌唱音を学習して得られた第２の音響モデルに基づいて行われる歌唱支援装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。本発明は以下の形態で実施できる。本発明の一形態によれば、歌唱者の歌唱を支援する歌唱支援装置が提供される。この歌唱支援装置は、前記歌唱される楽曲に対応し前記歌唱者の前記歌唱を誘導するガイドメロディを、音声合成により、同一の旋律に対して２種類以上生成するガイドメロディ合成部と；前記２種類以上のガイドメロディを切替えて、前記楽曲に合わせて出力するガイドメロディ出力部と、を備える。この形態の歌唱支援装置によれば、複数種類のガイドメロディを切替えて出力できるため、歌唱者の歌唱に対して適切な形態、例えば、歌唱者の歌唱と被らないでメロディ音のサポートができる。そのため、歌唱者の歌唱を妨げることなく歌唱支援ができる。
【手続補正書】
【提出日】平成30年7月10日(2018.7.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
歌唱者の歌唱を支援する歌唱支援装置であって、
前記歌唱される楽曲に対応し前記歌唱者の前記歌唱を誘導するガイドメロディを、音声合成により、２種類以上生成するガイドメロディ合成部と、
前記２種類以上のガイドメロディを切替えて、前記楽曲に合わせて出力するガイドメロディ出力部と、を備え、
前記ガイドメロディ合成部は、前記音声合成により、少なくとも、歌詞の無いメロディ音と歌詞のあるボーカル音とを、前記２種類以上のガイドメロディとして生成する歌唱支援装置。
【請求項２】
請求項１に記載の歌唱支援装置であって、
前記メロディ音の合成は、前記楽曲のハミングやスキャットなどの歌詞を伴わない歌唱音を学習して得られた第１の音響モデルに基づいて行われ、前記ボーカル音の合成は、前記楽曲の歌詞を用いた歌唱音を学習して得られた第２の音響モデルに基づいて行われる歌唱支援装置。