(57)【要約】      （修正有）【解決手段】本発明は音楽合成方法及びシステム、端末並びにコンピュータ可読記憶媒体を提供し、該音楽合成方法は、ユーザーの選択した曲目を受信することと、テキストコンテンツを取得することと、ユーザーが前記テキストコンテンツに基づいて録音した音声データを受信することと、前記テキストコンテンツにおける各単文字の音響特性に基づいて、前記音声データを各音声セグメントに分割することと、前記曲目及び前記音声データに基づいて、音楽ファイルを形成することと、を含む。【効果】本発明の音楽合成方法によって、ユーザーの音声を曲目と結合し、最適な音楽効果をシミュレーションすることができ、更にユーザーが音楽の演唱及び実演に参加でき、音楽の娯楽性を向上させる。【選択図】図１
2019219638.tif 000002
【特許請求の範囲】
【請求項１】
音楽合成方法であって、
ユーザーの選択した曲目を受信することと、
テキストコンテンツを取得することと、
ユーザーが前記テキストコンテンツに基づいて録音した音声データを受信することと、
前記曲目及び前記音声データに基づいて、音楽ファイルを形成することと、を含むことを特徴とする音楽合成方法。
【請求項２】
テキストコンテンツを取得することは、
ユーザーが曲データベースから選択した、前記曲目に対応する歌詞テキストを受信することを含むことを特徴とする請求項１に記載の方法。
【請求項３】
テキストコンテンツを取得することは、
ユーザーの入力したオリジナルテキストを受信することを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記曲目及び前記音声データに基づいて、音楽ファイルを形成する前に、前記方法は、
前記音声データに対してノイズ低減処理を行うことを更に含むことを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記テキストコンテンツ及び前記音声データに基づいて、音楽ファイルを形成することは、
前記テキストコンテンツにおける各単文字の音響特性に基づいて、前記音声データを各音声セグメントに分割することと、
各前記音声セグメントを前記曲目の中にマッチングして、前記曲目のメロディ及びリズムに基づいて、前記音声セグメントを調整することにより、音楽ファイルを形成することと、を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記テキストコンテンツにおける各文字の音響特性に基づいて、前記音声データを各音声セグメントに分割することは、
テキストコンテンツにおける各単文字に対応する予め記憶された音響モデルを検索することと、
前記テキストコンテンツの文字順序に基づいて、各単文字に対応する前記音響モデルによって、前記音声データを各前記音響モデルに一対一に揃えている前記音声セグメントに分割することと、を含むことを特徴とする請求項５に記載の方法。
【請求項７】
各前記音声セグメントを前記曲目の中にマッチングして、前記曲目のメロディ及びリズムに基づいて、前記音声セグメントを調整することにより、音楽ファイルを形成することは、
前記曲目を注記し、複数の音楽セグメントを形成することと、
各前記音声セグメントを位置の対応する前記音楽セグメントにマッチングすることと、
音楽セグメントのメロディ及びリズムに基づいて、前記音声セグメントを調整することにより、音楽ファイルを形成することと、を含むことを特徴とする請求項５に記載の方法。
【請求項８】
前記曲目を注記し、複数の音楽セグメントを形成することは、
前記曲目の原曲に基づいて、前記曲目における各単文字のメロディ、音高、位置及び音長を注記することにより、複数の音楽セグメントを形成することを含むことを特徴とする請求項７に記載の方法。
【請求項９】
音楽合成システムであって、
ユーザーの選択した曲目を受信するように配置される曲目選択ユニットと、
テキストコンテンツを取得するように配置されるテキスト取得ユニットと、
ユーザーが前記テキストコンテンツに基づいて録音した音声データを受信するように配置される音声録音ユニットと、
前記曲目及び前記音声データに基づいて、音楽ファイルを形成するように配置される音楽形成ユニットと、を備えることを特徴とする音楽合成システム。
【請求項１０】
前記テキスト取得ユニットはユーザーが曲データベースから選択した、前記曲目に対応する歌詞テキストを受信するように更に配置されることを特徴とする請求項９に記載のシステム。
【請求項１１】
前記テキスト取得ユニットはユーザーの入力したオリジナルテキストを受信するように更に配置されることを特徴とする請求項９に記載のシステム。
【請求項１２】
前記システムは、
前記音声データに対してノイズ低減処理を行うように配置される音声ノイズ低減ユニットを更に備えることを特徴とする請求項９〜１１のいずれか一項に記載のシステム。
【請求項１３】
前記音楽形成ユニットは、
前記テキストコンテンツにおける各単文字の音響特性に基づいて、前記音声データを各音声セグメントに分割するように配置される音声分割ユニットと、
各前記音声セグメントを前記曲目の中にマッチングして、前記曲目のメロディ及びリズムに基づいて、前記音声セグメントを調整することにより、音楽ファイルを形成するように配置される音楽合成ユニットと、を備えることを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記音声分割ユニットは、
テキストコンテンツにおける各単文字に対応する予め記憶された音響モデルを検索するように配置されるモデル対応ユニットと、
前記テキストコンテンツの文字順序に基づいて、各単文字に対応する前記音響モデルによって、前記音声データを各前記音響モデルに一対一に揃えている前記音声セグメントに分割するように配置されるセグメント分割ユニットと、を備えることを特徴とする請求項１３に記載のシステム。
【請求項１５】
前記音楽合成ユニットは、
前記曲目を注記し、複数の音楽セグメントを形成するように配置されるセグメント形成ユニットと、
各前記音声セグメントを位置の対応する前記音楽セグメントにマッチングするように配置される位置マッチングユニットと、
音楽セグメントのメロディ及びリズムに基づいて、前記音声セグメントを調整することにより、音楽ファイルを形成するように配置されるセグメント調整ユニットと、を備えることを特徴とする請求項１３に記載のシステム。
【請求項１６】
前記セグメント形成ユニットは前記曲目の原曲に基づいて、前記曲目における各単文字のメロディ、音高、位置及び音長を注記することにより、複数の音楽セグメントを形成するように更に配置されることを特徴とする請求項１５に記載のシステム。
【請求項１７】
音楽合成端末であって、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するためのメモリと、を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行される場合、前記１つ又は複数のプロセッサに請求項１〜８のいずれか一項に記載の方法を実現させることを特徴とする音楽合成端末。
【請求項１８】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
該プログラムがプロセッサにより実行される時、請求項１〜８のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信技術分野に関し、特に音楽合成方法及びシステム、端末並びにコンピュータ可読記憶媒体に関する。
【背景技術】
【０００２】
音楽は重要な娯楽方式の１つであり、モバイルインターネットの発展に伴い、音楽が多様化していく。携帯電話等のスマートデバイスで音楽を聞くことができる以外に、ユーザーは更に各タイプのアプリケーションソフトウェアによって音楽の演唱及び録音等の活動に参加することができる。
【０００３】
しかしながら、音楽の演唱は一定の専門性を有するため、一般的にユーザーは音色が良く、且つ音調及びリズムを理解できる必要がある。このように、音楽知識が不足し、音楽センスが悪いユーザーは参加することが困難になる。
【０００４】
このため、ユーザーの声をどのように曲目と結合し、最適な音楽効果をシミュレーションするかは、人々が関心を持っている問題である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術における以上の１つ又は複数の技術的問題を解決し、又は、少なくとも１つの有益な選択肢を提供するために、本発明の実施例は音楽合成方法及びシステム、端末並びにコンピュータ可読記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
第一態様において、本発明の実施例に係る音楽合成方法であって、
曲データベースから曲目を選択することと、
テキストコンテンツを取得することと、
ユーザーが前記テキストコンテンツに基づいて録音した音声データを受信することと、
前記曲目及び前記音声データに基づいて、音楽ファイルを形成することと、を含む。
【０００７】
第一態様によれば、本発明の第一態様の第一実施形態では、テキストコンテンツを取得することは、
ユーザーが曲データベースから選択した前記曲目に対応する歌詞のテキストを受信することを含む。
【０００８】
第一態様によれば、本発明の第一態様の第二実施形態では、テキストコンテンツを取得することは、
ユーザーの入力したオリジナルテキストを受信することを含む。
【０００９】
第一態様及び上記第一態様のいずれかの実施形態によれば、本発明の第一態様の第三実施形態では、前記曲目及び前記音声データに基づいて、音楽ファイルを形成する前に、前記方法は更に、
前記音声データに対してノイズ低減処理を行うことを含む。
【００１０】
第一態様及び第一態様の第三実施形態によれば、本発明の第一態様の第四実施形態では、前記テキストコンテンツ及び前記音声データに基づいて、音楽ファイルを形成することは、
前記テキストコンテンツにおける各単文字の音響特性に基づいて、前記音声データを各音声セグメントに分割することと、
各前記音声セグメントを前記曲目にマッチングして、前記曲目のメロディ及びリズムに基づいて、前記音声セグメントを調整することにより、音楽ファイルを形成することと、を含む。
【００１１】
第一態様及び第一態様の第四実施形態によれば、本発明の第一態様の第五実施形態では、前記テキストコンテンツにおける各文字の音響特性に基づいて、前記音声データを各音声セグメントに分割することは、
テキストコンテンツにおける各単文字に対応する音響モデルを検索することと、
前記テキストコンテンツの文字順序に基づいて、各単文字に対応する予め記憶された前記音響モデルによって、前記音声データを各前記音響モデルに一対一に揃えている前記音声セグメントに分割することと、を含む。
【００１２】
第一態様及び第一態様の第四実施形態によれば、本発明の第一態様の第六実施形態では、各前記音声セグメントを前記曲目にマッチングして、前記曲目のメロディ及びリズムに基づいて、前記音声セグメントを調整することにより、音楽ファイルを形成することは、
前記曲目を注記して、複数の音楽セグメントを形成することと、
各前記音声セグメントを位置の対応する前記音楽セグメントにマッチングすることと、
音楽セグメントのメロディ及びリズムに基づいて、前記音声セグメントを調整することにより、音楽ファイルを形成することと、を含む。
【００１３】
第一態様及び第一態様の第六実施形態によれば、本発明の第一態様の第七実施形態では、前記曲目を注記して、複数の音楽セグメントを形成することは、
前記曲目の原曲に基づいて、前記曲目における各単文字のメロディ、音高、位置及び音長を注記することにより、複数の音楽セグメントを形成することを含む。
【００１４】
第二態様において、本発明の実施例に係る音楽合成システムであって、
ユーザーの選択した曲目を受信するように配置される曲目選択ユニットと、
テキストコンテンツを取得するように配置されるテキスト取得ユニットと、
ユーザーが前記テキストコンテンツに基づいて録音した音声データを受信するように配置される音声録音ユニットと、
前記曲目及び前記音声データに基づいて、音楽ファイルを形成するように配置される音楽形成ユニットと、を含む。
【００１５】
第二態様によれば、本発明の第二態様の第一実施形態では、ユーザーが曲データベースから選択した、前記曲目に対応する歌詞テキストを受信するように更に配置される。
【００１６】
第二態様によれば、本発明の第二態様の第二実施形態では、前記テキスト取得ユニットはユーザーの入力したオリジナルテキストを受信するように更に配置される。
【００１７】
第二態様及び上記第二態様のいずれかの実施形態によれば、本発明の第二態様の第三実施形態では、前記システムは、
前記音声データに対してノイズ低減処理を行うように配置される音声ノイズ低減ユニットを更に含む。
【００１８】
第二態様及び第二態様の第三実施形態によれば、本発明の第二態様の第四実施形態では、前記音楽形成ユニットは、
前記テキストコンテンツにおける各単文字の音響特性に基づいて、前記音声データを各音声セグメントに分割するように配置される音声分割ユニットと、
各前記音声セグメントを前記曲目の中にマッチングして、前記曲目のメロディ及びリズムに基づいて、前記音声セグメントを調整することにより、音楽ファイルを形成するように配置される音楽合成ユニットと、を含む。
【００１９】
第二態様及び第二態様の第四実施形態によれば、本発明の第二態様の第五実施形態では、前記音声分割ユニットは、
テキストコンテンツにおける各単文字に対応する予め記憶された音響モデルを検索するように配置されるモデル対応ユニットと、
前記テキストコンテンツの文字順序に基づいて、各単文字に対応する前記音響モデルによって、前記音声データを各前記音響モデルに一対一に揃えている前記音声セグメントに分割するように配置されるセグメント分割ユニットと、を含む。
【００２０】
第二態様及び第二態様の第四実施形態によれば、本発明の第二態様の第六実施形態では、前記音楽合成ユニットは、
前記曲目を注記して、複数の音楽セグメントを形成するように配置されるセグメント形成ユニットと、
各前記音声セグメントを位置の対応する前記音楽セグメントの中にマッチングするように配置される位置マッチングユニットと、
音楽セグメントのメロディ及びリズムに基づいて、前記音声セグメントを調整することにより、音楽ファイルを形成するように配置されるセグメント調整ユニットと、を含む。
【００２１】
第二態様及び第二態様の第六実施形態によれば、本発明の第二態様の第七実施形態では、前記セグメント形成ユニットは前記曲目の原曲に基づいて、前記曲目における各単文字のメロディ、音高、位置及び音長を注記することにより、複数の音楽セグメントを形成するように更に配置される。
【００２２】
第三態様において、本発明の実施例に係る音楽合成端末であって、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するためのメモリと、を含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行される場合、前記１つ又は複数のプロセッサに上記いずれかの前記音楽合成方法を実現させる。
【００２３】
第四態様において、本発明の実施例に係るコンピュータ可読記憶媒体であって、コンピュータプログラムが記憶され、該プログラムがプロセッサにより実行される場合、上記第一態様におけるいずれかの前記音楽合成方法を実現する。
【００２４】
前記機能はハードウェアにより実現されてもよいし、ハードウェアで対応するソフトウェアを実行することにより実現されてもよい。前記ハードウェア又はソフトウェアは上記機能に対応する１つ又は複数のモジュールを含む。
【発明の効果】
【００２５】
上記技術案のうちの１つの技術案は、本発明の音楽合成方法によって、ユーザーの音声を曲目と結合し、最適な音楽効果をシミュレーションすることができ、更にユーザーが音楽の演唱及び実演に参加でき、音楽の娯楽性を向上させるという利点又は有益な効果を有する。
【００２６】
上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。
【図面の簡単な説明】
【００２７】
図面において、特に断りがない限り、複数の図面における同一記号は同様又は類似する部材又は要素を示す。これらの図面は比率で描かれるとは限らない。これらの図面は本発明の開示に係るいくつかの実施形態を描くものに過ぎず、本発明の範囲を制限するものと見なされるべきではないと理解すべきである。
【００２８】
【図１】本発明の一実施例に係る音楽合成方法１００のフローチャートである。
【図２】本発明の別の実施例に係る音楽合成方法２００のフローチャートである。
【図３】本発明の別の実施例に係る音楽合成方法３００のフローチャートである。
【図４】本発明の別の実施例に係る音楽合成方法４００のフローチャートである。
【図５】本発明の別の実施例に係る音楽合成方法５００のフローチャートである。
【図６】本発明の一実施例に係る音楽合成システム６００のブロック構成図である。
【図７】本発明の別の実施例に係る音楽合成システム７００のブロック構成図である。
【図８】本発明の別の実施例に係る音楽合成システム８００のブロック構成図である。
【図９】本発明の別の実施例に係る音楽合成システム９００のブロック構成図である。
【図１０】本発明の別の実施例に係る音楽合成システム１０００のブロック構成図である。
【図１１】本発明に係る音楽合成端末の模式図である。
【発明を実施するための形態】
【００２９】
以下、ある模式的な実施例を簡単に説明する。当業者が理解できるとおり、本発明の趣旨又は範囲を逸脱せずに、様々な方式で説明される実施例を修正することができる。従って、図面及び説明は本質的に例示的なものであって、制限的なものではないと見なされる。
【００３０】
以下、図１〜図１１によれば、本発明の音楽合成方法、システム及び端末を説明する。
【００３１】
図１に示すように、本発明の音楽合成方法１００はステップＳ１０１〜ステップＳ１０４を含む。
【００３２】
まず、曲目選択ステップＳ１０１によって、ユーザーの選択した曲目を受信することができる。ユーザーはプリセットの曲データベースから自分の好きな曲目を検索して選択することができる。曲目の音楽タイプはポップ、ロック、ラップ、民謡等を含んでもよいが、それらに限らない。
【００３３】
次に、テキスト取得ステップＳ１０２によって、テキストコンテンツを取得することができる。好ましくは、ユーザーは曲データベースから曲目に対応する歌詞テキストを選択して選定することができ、ステップＳ１０２では、該歌詞テキストをテキストコンテンツとして取得することができる。又は、ユーザーはオリジナルテキストを入力することができ、ステップＳ１０２では、該オリジナルテキストをテキストコンテンツとして取得することができる。
【００３４】
次に、音声録音ステップＳ１０３によって、ユーザーがテキストコンテンツに基づいて録音した音声データを受信する。ユーザーは選択された歌詞テキスト又は自分の入力したオリジナルテキストに基づいて、テキストコンテンツを朗読して、音声データを録音することができる。ステップＳ１０３では、ユーザーの録音した音声データを受信することができる。
【００３５】
更に、音楽形成ステップＳ１０４によって、選択された曲目、及び、ステップＳ１０３において受信された音声データに基づいて、音楽ファイルを形成する。
【００３６】
本発明の音楽合成方法１００によって、ユーザーの録音した音声を選定された曲目と結合して、音楽ファイルを形成することにより、音楽の実演を簡単にすることができ、ユーザーが実演に参加する積極性を向上させる。
【００３７】
図２に示すように、本発明の一実施例の音楽合成方法２００は、方法１００を基礎とし、音楽形成ステップＳ１０４が音声分割ステップＳ１１４及び音楽合成ステップＳ１１５を含んでもよい。
【００３８】
音声分割ステップＳ１１４では、テキストコンテンツにおける各文字の音響特性に基づいて、音声データを各音声セグメントに分割することができる。音響特性は少なくとも音調、音量、音高及び音長のうちの１つを含む。
【００３９】
一実施例において、具体的に、大量のオーディオファイル及びデータから各単文字に対応する音調、音量、音高及び音長等の特性を収集することができる。取得されたテキストコンテンツに基づいて、オーディオデータのコンテンツを予測することができる。次に、予測されたコンテンツにおける各単文字の音調、音量、音高及び音長等の特性に基づいて、音声データの中に順に揃えることにより、音声データを各音声セグメントに分割する。
【００４０】
最後に、音楽合成ステップＳ１１５によって、各音声セグメントを曲目にマッチングして、曲目のメロディ及びリズムに基づいて、音声セグメントを調整することにより、音楽ファイルを形成することができる。
【００４１】
一実施例において、分割された音声セグメントを選定された曲目の中に対応にマッチングすることができ、且つ、曲目のメロディ及びリズムに基づいて、各音声セグメントの位置、メロディ、音高及び音長等を調整することができる。従って、各音声セグメントの位置、メロディ、音高及び音長等を曲目のメロディ及びリズムにマッチングして、音楽ファイルを形成することができる。
【００４２】
本発明の音楽合成方法２００によって、ユーザーの録音した音声を選定された曲目にマッチングすることができ、且つ、曲目のメロディ及びリズムに基づいて、ユーザーの音声を調整することにより、ユーザーの音声を曲目と結合させる。方法２００によって、最適な音楽効果をシミュレーションすることができるだけでなく、ユーザーが音楽の演唱及び実演にも参加でき、音楽の娯楽性を向上させる。
【００４３】
図３に示すように、本発明の一実施例の音楽合成方法３００は、方法１００又は方法２００を基礎とし、音楽形成ステップＳ１０４を行う前に、音声ノイズ低減ステップＳ１０４′を更に含む。
【００４４】
音声ノイズ低減ステップＳ１０４′では、音声データに対してノイズ低減処理を行うことができる。
【００４５】
一実施例において、ノイズ低減処理はオーディオデータに対してノイズ抑制及び残響除去処理を行うことができ、更にノイズ環境における音声データに対するノイズ低減特性を向上させる。無論、非線形処理例えば信号増幅等を用いて、ノイズ低減性能を向上させることもできる。
【００４６】
本発明の方法３００によって、音声データに対してノイズ低減処理を行うことができ、音声データにおけるノイズ干渉を減少させ、音声データの品質を確保する。
【００４７】
図４に示すように、本発明の一実施例の音楽合成方法４００は、方法３００又は方法２００又は方法１００を基礎とし、音声分割ステップＳ１１４はモデル対応ステップＳ１１４１及びセグメント分割ステップＳ１１４２を更に含む。
【００４８】
モデル対応ステップＳ１１４１では、テキストコンテンツにおける各単文字に対応する音響モデルを検索することができる。音響モデルが前記音楽合成方法を用いたプログラムに予め記憶されてもよい。且つ、大量のオーディオにおける各単文字の発音方式を統計し、ニューラルネットワークアルゴリズムで様々な発音方式を深く勉強して分析することにより音響モデルを取得できる。発音方式は少なくとも、オーディオにおける単文字の音調、音量、音高及び音長等を含むことができる。
【００４９】
一実施例において、「今」を例とし、大量のデータにはオーディオ「あなたは今日何をするつもりですか」、「今日は泳ぎに行きたいです」等が含まれるが、「今」はこの数段のオーディオにおいて異なる位置にあり、且つ異なるオーディオからの「今」の発音方式、即ち音調、音量、音高及び音長がいずれも異なる。これらのオーディオにおける「今」に関わるデータを統計してまとめて、深く勉強して分析することにより、最後に計算してから「今」の音響モデルを取得することができる。
【００５０】
更に、取得されたテキストコンテンツ「今日は雪が降りました」を例とし、予め記憶された音響モデルからそれぞれ「今」、「日」、「は」、「雪」、「が」、「降」、「り」、「ま」、「し」、「た」の各単文字に対応する音響モデルを検索することができる。
【００５１】
次に、セグメント分割ステップＳ１１４２に進み、テキストコンテンツの文字順序、即ち「今」、「日」、「は」、「雪」、「が」、「降」、「り」、「ま」、「し」、「た」の１０つの単文字の順序に応じて、各単文字に対応する前記音響モデルによって、ユーザーの録音した音声データを順序通りに各音響モデルに一対一に揃えている音声セグメントに分割する。
【００５２】
本発明の方法４００によって、ユーザーの録音したオーディオデータを１つ１つの音声セグメントに正確に分割することができ、各セグメントは１つの単文字を含み、且つ元の音声データにおけるコンテンツの一部が損失しないように維持することができる。
【００５３】
図５に示すように、本発明の一実施例の音楽合成方法５００は、方法４００又は方法３００又は方法２００又は方法１００を基礎とし、音楽合成ステップＳ１１５がセグメント形成ステップＳ１１５１、位置マッチングステップＳ１１５２及びセグメント調整ステップＳ１１５３を更に含む。
【００５４】
セグメント形成ステップＳ１１５１では、前記曲目を注記して、複数の音楽セグメントを形成することができる。
【００５５】
一実施例において、前記曲目の原曲に基づいて、曲目における各単文字のメロディ、音高、位置及び音長を注記することにより、複数の音楽セグメントを形成することができる。選定された曲目≪良い日≫における「今日は良い日です」を例とし、原曲に基づいて、曲目における「今」、「日」、「は」、「良」、「い」、「日」、「で」、「す」に対応するメロディ、音高、位置及び音長等を注記することにより、「今」、「日」、「は」、「良」、「い」、「日」、「で」、「す」のそれぞれに対応する音楽セグメントを形成することができる。更に、複数の音楽セグメントを整理して、音楽テンプレートにすることもできる。このように、ユーザーが曲目を選択する時、該曲目の音楽テンプレートを直接呼び出して、ユーザーの音声データを調整することができる。
【００５６】
次に、位置マッチングステップＳ１１５２では、セグメント分割ステップＳ１１４２において分割された複数の音声セグメントを位置の対応する音楽セグメントの中に順にマッチングすることができる。
【００５７】
次に、セグメント調整ステップＳ１１５３によって、音楽セグメントのメロディ及びリズムに基づいて、音声セグメントのメロディ、音高、音長、開始位置等を調整する。従って、音声セグメントを音楽セグメントの音調及びリズムにマッチングするまで調整することにより、音楽ファイルを形成する。
【００５８】
本発明の方法５００によって、曲目の音調及びリズムに基づいて、ユーザーが音楽を演唱する効果をシミュレーションすることができ、ユーザーが音楽の演唱及び実演に参加でき、音楽の娯楽性を向上させる。
【００５９】
図６に示すように、音楽合成システム６００であって、曲目選択ユニット６０１、テキスト取得ユニット６０２、音声録音ユニット６０３及び音楽形成ユニット６０４を備える。
【００６０】
曲目選択ユニット６０１はユーザーの選択した曲目を受信するように配置される。
【００６１】
テキスト取得ユニット６０２はテキストコンテンツを取得するように配置される。好ましくは、ユーザーは曲データベースから選定された曲目に対応する歌詞テキストを選択することができ、テキスト取得ユニット６０２は該歌詞テキストをテキストコンテンツとして取得することができる。或いは、ユーザーはオリジナルテキストを入力することができ、テキスト取得ユニット６０２は該オリジナルテキストをテキストコンテンツとして取得することができる。
【００６２】
音声録音ユニット６０３はユーザーがテキストコンテンツに基づいて録音した音声データを受信するように配置される。ユーザーは選択された歌詞テキスト又は自分の入力したオリジナルテキストに基づいて、テキストコンテンツを朗読して、音声データを録音することができる。音声録音ユニット６０３はユーザーの録音した音声データを受信することができる。
【００６３】
音楽形成ユニット６０４は曲目及び受信された音声データに基づいて、音楽ファイルを形成するように配置される。
【００６４】
具体的に、図６に示す音楽合成システム６００は図１に示す音楽合成方法１００に対応する。図６に示すシステムの具体的な実現方式は図１に示す方法の実施例における説明を参照する。
【００６５】
図７に示すように、音楽合成システム７００は、システム６００を基礎とし、音楽形成ユニット６０４は音声分割ユニット６１４及び音楽合成ユニット６１５を更に備える。
【００６６】
音声分割ユニット６１４はテキストコンテンツにおける各文字の音響特性に基づいて、音声データを各音声セグメントに分割することができる。ここで、音響特性は少なくとも、音調、音量、音高及び音長のうちの１つを含む。
【００６７】
一実施例において、具体的に、大量のオーディオファイル及びデータから各単文字に対応する音調、音量及び音長等の特性を収集することができる。取得されたテキストコンテンツに基づいて、オーディオデータにおけるコンテンツを予測することができる。次に、予測されたコンテンツにおける各単文字の音調、音量及び音長等の特性に基づいて、音声データの中に順に揃えることにより、音声データを各音声セグメントに分割する。
【００６８】
最後に、音楽合成ユニット６１５によって、各音声セグメントを曲目の中にマッチングして、曲目の音調及びリズムに基づいて、音声セグメントを調整することにより、音楽ファイルを形成することができる。
【００６９】
一実施例において、分割された音声セグメントを選定された曲目の中に対応にマッチングすることができ、且つ、曲目のメロディ及びリズムに基づいて、各音声セグメントのメロディ、音高、位置及び音長等を調整することができる。従って、各音声セグメントのメロディ、音高、位置等を曲目のメロディ及びリズムにマッチングして、音楽ファイルを形成することができる。
【００７０】
本発明の音楽合成システム７００によって、ユーザーの録音した音声を選定された曲目の中にマッチングすることができ、且つ、曲目のメロディ及びリズムに基づいて、ユーザーの音声を調整することにより、ユーザーの音声を曲目と結合させる。システム７００は最適な音楽効果をシミュレーションすることができるだけでなく、ユーザーが音楽の演唱及び実演にも参加でき、音楽の娯楽性を向上させる。
【００７１】
具体的に、図７に示す音楽合成システム７００は図２に示す音楽合成方法２００に対応する。図７に示すシステムの具体的な実現方式は図２に示す方法の実施例における説明を参照する。
【００７２】
図８に示すように、音楽合成システム８００であって、システム７００又はシステム６００を基礎とし、音声ノイズ低減ユニット６０４′を更に備える。
【００７３】
音声ノイズ低減ユニット６０４′は音声データに対してノイズ低減処理を行うように配置される。
【００７４】
具体的に、図８に示す音楽合成システム８００は図３に示す音楽合成方法３００に対応する。図８に示すシステムの具体的な実現方式は図３に示す方法の実施例における説明を参照する。
【００７５】
図９に示すように、音楽合成システム９００は、システム８００又はシステム７００又はシステム６００を基礎とし、音声分割ユニット６１４はモデル対応ユニット６１４１及びセグメント分割ユニット６１４２を更に備える。
【００７６】
モデル対応ユニット６１４１はテキストコンテンツにおける各単文字に対応する音響モデルを検索するように配置される。
【００７７】
セグメント分割ユニット６１４２は、前記テキストコンテンツの文字順序に基づいて、各単文字に対応する前記音響モデルによって、前記音声データを各前記音響モデルに一対一に揃えている前記音声セグメントに分割するように配置される。
【００７８】
ここで、前記音響モデルが前記音楽合成方法を用いたプログラムに予め記憶され、大量のオーディオにおける各単文字の発音方式を統計して、様々な発音方式を深く勉強して分析することにより、前記音響モデルが取得される。発音方式は少なくとも、音調、音量、音高及び音長のうちの１つを含む。
【００７９】
具体的に、図９に示す音楽合成システム９００は図４に示す音楽合成方法４００に対応する。図９に示すシステムの具体的な実現方式は図４に示す方法の実施例における説明を参照する。
【００８０】
図１０に示すように、音楽合成システム１０００であって、システム９００又はシステム８００又はシステム７００又はシステム６００を基礎とし、音楽合成ユニット６１５はセグメント形成ユニット６１５１、位置マッチングユニット６１５２及びセグメント調整ユニット６１５３を更に備える。
【００８１】
セグメント形成ユニット６１５１は、曲目を注記し、複数の音楽セグメントを形成するように配置される。更に、テンプレート形成ユニット６１５１は前記曲目の原曲に基づいて、曲目における各単文字のメロディ、音高、位置及び音長を注記することにより、複数の音楽セグメントを形成することができる。
【００８２】
位置マッチングユニット６１５２は各音声セグメントを位置の対応する音楽セグメントにマッチングするように配置される。
【００８３】
セグメント調整ユニット６１５３は音楽セグメントのメロディ及びリズムに基づいて、音声セグメントを調整することにより、音楽ファイルを形成するように配置される。
【００８４】
具体的に、図１０に示す音楽合成システム１０００は図５に示す音楽合成方法５００に対応する。図１０に示すシステムの具体的な実現方式は図５に示す方法の実施例における説明を参照する。
【００８５】
図１１に示すように、音楽合成端末はメモリ９１０及びプロセッサ９２０を備える。メモリ９１０の中にはプロセッサ９２０で実行できるコンピュータプログラムが記憶される。プロセッサ９２０がコンピュータプログラムを実行する時、上記実施例における音楽合成方法を実現する。メモリ９１０及びプロセッサ９２０の数が１つ又は複数であってもよい。
【００８６】
該サーバは、
外部デバイスと通信し、データ交換伝送を行うための通信インターフェース９３０を更に備える。
【００８７】
メモリ９１０は高速ＲＡＭメモリを備える可能性もあるし、更に不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）、例えば少なくとも１つの磁気ディスクメモリを備える可能性もある。
【００８８】
メモリ９１０、プロセッサ９２０及び通信インターフェース９３０が独立に実現する場合、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０はバスで互いに接続され、且つ相互間の通信を実現することができる。バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ  Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ｃｏｍｐｏｎｅｎｔ）バス等であってもよい。バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図１１では１本のみの太線で示すが、１本のみのバス又は１つタイプのみのバスを有すると示さない。
【００８９】
選択的に、具体的に実現する時、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０が１枚のチップに統合される場合、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０は内部インターフェースによって相互間の通信を実現することができる。
【００９０】
一実施例において、本発明はコンピュータ可読記憶媒体を更に提供し、該可読記憶媒体にはコンピュータプログラムが記憶され、該プログラムがプロセッサにより実行される時、上記第一態様におけるいずれかの前記音楽合成方法を実現する。
【００９１】
本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例によれば説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、互いに矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。
【００９２】
また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。
【００９３】
当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、特定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。
【００９４】
フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読記憶媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム、又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読記憶媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読記憶媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー装置、及び携帯型読み出し専用メモリ（ＣＤＲＯＭ）を含む。また、コンピュータ可読記憶媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。
【００９５】
本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。
【００９６】
当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。
【００９７】
また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。
【００９８】
以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。
【図１】
2019219638.tif 000003
【図２】
2019219638.tif 000004
【図３】
2019219638.tif 000005
【図４】
2019219638.tif 000006
【図５】
2019219638.tif 000007
【図６】
2019219638.tif 000008
【図７】
2019219638.tif 000009
【図８】
2019219638.tif 000010
【図９】
2019219638.tif 000011
【図１０】
2019219638.tif 000012
【図１１】
2019219638.tif 000013