(57)【要約】本発明は、音楽と音声を合成するためのシステム及び方法、及びこれを利用したサービスシステム及びサービス方法に関する。本発明によるシステム及び方法は、音声と音楽を合成することで、リスナーがミキシングの効果を最大限感じることができる。また、本発明によるシステム及び方法は、専用のシンセサイザーのボリューム調節無しに、音声および音楽を様々な効果を付して合成することができる。【選択図】図１
2008527458.tif 000002
【特許請求の範囲】
【請求項１】
音楽と音声を合成するためのシステムであって、
使用者から音声を受信するための受信部と、
複数の音楽データを保存しているデータベースと、
前記受信部から入力される音声の無音部分検出によって前記データベースに保存された音楽のボリュームを調節して、調節された音楽と受信された音声を合成する合成部と、
を具備することを特徴とするシステム。
【請求項２】
音楽と音声を合成するためのシステムであって、
使用者から入力される音声を受信するための受信部と、
複数の音楽データを保存しているデータベースと、
前記受信された音声を無音部分検出によって複数の音声エレメントで分離して、分離した音声エレメントを前記データベースに保存された音楽と合成する合成部と、
を具備することを特徴とするシステム。
【請求項３】
音楽と音声を合成するためのシステムであって、
使用者から入力される音声を受信するための受信部と、
曲別に一つ以上に分離した音楽エレメントを保存しているデータベースと、
前記一つ以上に分離した音楽エレメントと前記音声を受信された音声の無音部分によって合成する合成部と、
を具備することを特徴とするシステム。
【請求項４】
音楽と音声を合成するためのシステムであって、
使用者から入力される音声を受信するための受信部と、
曲別に一つ以上に分離した音楽エレメントを保存しているデータベースと、
前記検出された無音部分により一つ以上の音声エレメントで分離して、分離した前記音声エレメントと前記音楽エレメントを合成する合成部と、
を具備することを特徴とする音楽と音声の合成システム。
【請求項５】
音楽と音声を合成するための方法であって、
使用者から入力される音声を受信する段階と、
前記受信された音声の無音部分を検出する段階と、
前記検出された無音部分によって音楽ボリュームを調節する段階と、
前記調節された音楽と前記受信された音声を合成する段階と、
前記合成された音声を送信する段階を具備することを特徴とする音楽メールサービス方法。
【請求項６】
音楽と音声を合成するための方法であって、
使用者から入力される音声を受信する段階と、
前記受信された音声の無音部分を検出する段階と、
前記検出された無音部分によって一つ以上に分離した音楽エレメントと前記音声を合成する段階と、
を具備することを特徴とする音楽と音声の合成方法。
【請求項７】
音楽と音声を合成するための方法であって、
使用者から入力される音声を受信する段階と、
前記受信された音声の無音部分を検出する段階と、
前記検出された無音部分により一つ以上の音声エレメントで分離する段階と、
選択された音楽に前記音声エレメントを結合して音楽と音声を合成する段階と、
を具備することを特徴とする音楽と音声の合成方法。
【請求項８】
音楽と音声を合成するための方法であって、
使用者から入力される音声を受信する第１段階と、
前記受信された音声の無音部分を検出する第２段階と、
前記検出された無音部分により一つ以上の音声エレメントで分離する第３段階と、
既分離した音楽のエレメントと前記音声エレメントを結合して音楽と音声を合成する第４段階と、
を具備することを特徴とする音楽と音声の合成方法。
【請求項９】
音楽と音声を合成してサービスするための方法であって、
インターネットを通じて使用者から入力される音声を受信する第１段階と、
前記受信された音声の無音部分を検出する第２段階と、
前記検出された無音部分により一つ以上の音声エレメントで分離する第３段階と、
既分離した音楽のエレメントと前記音声エレメントを結合して音楽と音声を合成する第４段階と、
前記合成された音楽と音声を前記インターネットを通じて送信する第５段階と、
を具備することを特徴とする音楽と音声の合成方法。
【請求項１０】
音楽と音声を合成するための方法であって、
使用者から音声を入力受ける第１段階と、
入力された音声によって音楽のボリュームを調節するための区間を決める第２段階と、
設定された前記音楽の導入部で前記音声の始め部位をマッチングさせて合成するが、前記音楽のボリュームはダウンさせて、前記音声の終了部位で前記音楽のボリュームをアップさせる第３段階と、
前記ボリュームがアップされた状態で設定された時間が到来すれば前記音楽のボリュームをフェードアウトさせる第４段階と、
を具備することを特徴とする音楽と音声の合成方法。
【請求項１１】
音楽と音声を合成するための方法であって、
使用者から音声を入力受ける第１段階と、
入力された音声の時間や無音部位によりひとつ以上に分離するとか使用者によって一つ以上に分離して入力された音声エレメントを音楽と合成するが、
前記それぞれの音声エレメント始め部位では音楽がダウンされ、それぞれの音声エレメント終了部位では音楽がアップされるように合成することを特徴とする音楽と音声の合成方法。
【請求項１２】
音楽と音声を合成するための方法であって、
使用者から音声を入力受ける第１段階と、
入力された音声の時間や無音部位によりひとつ以上に分離するとか使用者によって一つ以上に分離して入力された音声エレメントを音楽と合成するが、
前記それぞれの音声エレメント始め部位によって音楽がダウンされ、それぞれの音声エレメント終了部位によって音楽がアップされるように合成して、
前記それぞれの音声エレメントの間の時間間隔は一定時間以上にあるように合成することを特徴とする音楽と音声の合成方法。
【請求項１３】
音楽と音声を合成するための方法であって、
使用者から音声を入力受ける第１段階と、
入力された音声の手始め部分を音楽の特定部位にマッチングさせて合成するが、音声の手始め部位で音楽のボリュームをダウンさせて合成する第２段階と、
音声の終了部位で音楽をアップシキョ合成する第３段階と、
を具備することを特徴とする音楽と音声の合成方法。
【請求項１４】
請求項１３において、
前記第３段階で、
一定時間が経過されると音楽をフェードアウトさせて合成する第４段階をさらに具備することを特徴とする音楽と音声の合成方法。
【請求項１５】
請求項１３において、
前記入力された音声の無音部分が一定時間以上なら無音部分を縮小して合成することを特徴とする音楽と音声の合成方法。
【請求項１６】
請求項１３において、
前記入力された音声を無音部分や時間長さを考慮して２個以上のエレメントで分離して音楽と合成すること
を特徴とする音楽と音声の合成方法。
【請求項１７】
請求項１６において、
前記分離したそれぞれのエレメントの間は音楽がアップされて合成されるが、次音声エレメントの始め部位で音楽のボリュームをダウンさせて合成することを特徴とする音楽と音声の合成方法。
【請求項１８】
請求項１７において、
前記分離したそれぞれのエレメントの間の時間の間音楽がアップされて合成されるが、次音声エレメントの合成は次のダウンポイント地点で合成が始まることを特徴とする音楽と音声の合成方法。
【請求項１９】
音楽と音声を合成するための方法であって、
音声を入力受ける第１段階と、
音楽に設定された複数のダウンポイントの中でどの一つのダウンポイントで前記入力された音声の始め部位を合成する第２段階と、
前記音声の始め部位で前記音楽のボリュームをダウンさせて合成する第３段階と、
前記音声の終了部位で前記音楽のボリュームをアップさせて合成する第４段階と、
を具備することを特徴とする音楽と音声の合成方法。
【請求項２０】
音楽と音声を合成するための方法であって、
入力された音声のすべて時間や無音部位よりひとつ以上に分離するとか使用者によって一つ以上に分離して入力された音声エレメントを保存する第１段階と、
前記音声エレメントを手順によって合成するが音声エレメントの始め部位を音楽に設定された複数のダウンポイントの中でどの一つのダウンポイントで前記入力された音声の始め部位を合成して、前記音声の始め部位で前記音楽のボリュームをダウンさせて合成する第２段階と、
音声エレメントの終了部位で前記音楽のボリュームをアップさせて合成する第３段階と、
を具備することを特徴とする音楽と音声の合成方法。
【請求項２１】
請求項２０において、
前記複数の音声エレメントを合成するにおいて、
前後音声エレメントの間は一定時間間隔に合成されるとか、
１個以上のダウンポイントを含むことを特徴とする音楽と音声の合成方法。
【請求項２２】
請求項２０において、
前記入力受けた音声が音楽の長さより長い場合音楽を繰り返すとかそのほか他の音楽をミキシングして音声と合成することを特徴とする音楽と音声の合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽と音声を合成するためのシステム及び方法、さらにはこれを利用したサービスシステム及びサービス方法に関するものである。
【背景技術】
【０００２】
一般的に現在常用化されている音楽メールサービス方法は、メールを送ろうとする使用者が願う曲を選択して、これを相手に提供する単に音楽のみを伝送するサービスに過ぎず、使用者の様々な欲求を満たすことができなかった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は上述した問題点を解決するために提案されたものであり、その目的は、使用者の音声が含まれているのみならず受信者が易しく内容を把握することもできて、普通の音楽放送のように音楽メールを提供することができるシステム及び方法を提供することにある。
【０００４】
本発明のまた他の目的は、使用者の音声と音楽を混合するが使用者の音声に相応しくボリュームが調節されて、多様なミキシング効果の具現を可能としたシステム及び方法を提供するにある。
【課題を解決するための手段】
【０００５】
本発明は、使用者の音声を受信するための受信部と、複数の音楽データを保存するためのデータベースと、前記受信部から入力される音声の無音部分の検出によって前記データベースに保存された音楽のボリュームを調節して、調節された音楽と受信された音声を合成する合成部と、を具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、音声と音楽を適切に合成することで、これを聞く使用者がミキシングの効果を最大限感じることができる長所がある。
【０００７】
また、本発明によれば、人がいちいちボリュームを調節しなくてもすぐれたミキシング効果を新たにつくることができる効果がある。
【発明を実施するための最良の形態】
【０００８】
上述した問題点を解決するために、本発明は、音楽と音声を合成するためのシステムにおいて、使用者から音声を受信するための受信部と、複数の音楽データを保存しているデータベースと、前記受信部から入力される音声の無音部分検出によって前記データベースに保存された音楽のボリュームを調節して、調節された音楽と受信された音声を合成する合成部と、を具備することを特徴とする。
【０００９】
また、本発明は、使用者から入力される音声を受信するための受信部と、複数の音楽データを保存しているデータベースと、前記受信された音声を無音部分検出によって複数の音声エレメントで分離して、分離した音声エレメントを前記データベースに保存された音楽と合成する合成部と、を具備することを特徴とする。
【００１０】
また、本発明は、使用者から入力される音声を受信するための受信部と、曲別に一つ以上に分離した音楽エレメントを保存しているデータベースと、前記一つ以上に分離した音楽エレメントと前記音声を受信された音声の無音部分によって合成する合成部と、を具備することを特徴とする。
【００１１】
また、本発明は、使用者から入力される音声を受信するための受信部と、曲別に一つ以上に分離した音楽エレメントを保存しているデータベースと、前記検出された無音部分により一つ以上の音声エレメントで分離して、分離した前記音声エレメントと前記音楽エレメントを合成する合成部と、を具備することを特徴とする。
【００１２】
また、本発明は、使用者から入力される音声を受信する段階と、前記受信された音声の無音部分を検出する段階と、前記検出された無音部分によって音楽ボリュームを調節する段階と、前記調節された音楽と前記受信された音声を合成する段階と、前記合成された音声を送信する段階と、を具備することを特徴とする。
【００１３】
また、本発明は、使用者から入力される音声を受信する段階と、前記受信された音声の無音部分を検出する段階と、前記検出された無音部分によって一つ以上に分離した音楽エレメントと前記音声を合成する段階と、を具備することを特徴とする。
【００１４】
また、本発明は、使用者から入力される音声を受信する段階と、前記受信された音声の無音部分を検出する段階と、前記検出された無音部分により一つ以上の音声エレメントで分離する段階と、選択された音楽に前記音声エレメントを結合して音楽と音声を合成する段階と、を具備することを特徴とする。
【００１５】
また、本発明は、使用者から入力される音声を受信する第１段階と、前記受信された音声の無音部分を検出する第２段階と、前記検出された無音部分により一つ以上の音声エレメントで分離する第３段階と、既分離した音楽のエレメントと前記音声エレメントを結合して音楽と音声を合成する第４段階と、を具備することを特徴とする。
【００１６】
以下、添付された図面を参照して本発明の望ましい実試例を説明する。
【００１７】
図１に示すように、本発明は、送受信部（１０）と、合成部（２０）と、データベース部（３０）と、を含む。
【００１８】
送受信部（１０）は、インターネットや移動通信網、一般電話網などと接続される。この送受信部（１０）は、使用者から入力される音声を受信して、音声と音楽が合成された合成音を特定の使用者に送信する。
【００１９】
合成部（２０）は、入力された音声と使用者が予め指定した音楽を合成する。ここで、合成は、一般的に単純合算による合成を意味しない。すなわち、図２に示されるような音楽と音声を単純合成する場合には、図３に示されるように音楽と音声が混在して音声内容を受信者が聞き分けることができなくなり、合成の効果が半減される、という問題点がある。
【００２０】
したがって、本発明の実試例では、図４に示されたところのように音声の無音区間を検出して、無音区間と音声活性化になった区間によって音楽のボリュームを調節して、図５に示されるように合成することができる。
【００２１】
再び図５を参照すると、音声がない部分では音楽だけが出て、音声がある部分では音楽のボリュームが低くなるようにして、使用者の音声が明りょうに聞こえるようにした。このとき、音声を、無音区間（図２のＡ、Ｂ、Ｃ）を基準として、複数の音声エレメントに分けることもできる。このように分離された音声は、予め分離された音楽と合成されることができ、音楽の導入部分や終了部分に合わせて、音声ブランク部分（Ａ、Ｂ、Ｃ）の長さの調節を任意に行うことができる。
【００２２】
合成部（２０）は、音声と音楽とを合成するに先立って、入力される音声を、ブランク区間を参照して複数の音声エレメントに分離することができる。例えば、複数のエレメントへの音声分離は、無音が１秒を超える部分を基準として行うことができる。また、入力される音声の全体長さを複数の区間に分けて、該当部分に近接したブランクを基準として複数の音声エレメントに分離することもできる。例えば、全体３０秒の音声が入力される場合、これを先側及び後側の二つのエレメントに分離することとし、中間部分である１５秒部分に近接したブランク（無音部分）を基準として、先後で二つの音声エレメントに分離することができる。このとき、先側または後側の内の一つの音声エレメント中に、音声がないブランク区間の長さが一定時間以上であれば、図１０に示すように、これを縮小してブランクの長さを短くすることもできる。
【００２３】
一方、通話中には多くのノイズが発生し入力されることになる。このようなノイズの除去のためには、例えば特定ホワイトノイズ（回線雑音のように音声入力のはじめから最後まで持続する雑音）を全体的に取り除くことや、音声帯域の周波数帯以外はフィルターリングを通じて取り除くなどの方法を利用して、明りょうな音声の入力を受けることができる。
【００２４】
データベース部（３０）には、多数の音楽データが保存されている。図６，図７，図８に示されたように、音楽データは、多くの音楽エレメントで構成されることができる。音楽エレメントは、音楽のビートやリズム、あるいは入力される音の大きさ、歌手の声の始め部分などを基準にして自動に生成することができ、また、使用者が任意に設定してエレメントを構成することもできる。
【００２５】
図６は音楽エレメントの終了部分におけるボリューム設定例を表わしたグラフである。Ａの部分は、音声が終わった部分であり、音楽のボリュームが上昇される期間である。Ｂの部分は、音声は無く、音楽だけが上昇されたボリューム状態で出る期間であり、音楽でのクライマックス部分を抜粹して終了エレメントを構成することができる。Ｃの部分は、視聴者に最後の余韻を残すために、ゆっくりボリュームを下げる期間である。
【００２６】
図７は、Ｄ区間の始点で音声が始まるときに、背景音楽として使われることができるダウンエレメントを図示したものである。Ａの部分は、急激に上昇する期間であり、最初から１００％のボリュームで始めることもできる。Ｂの部分は、音声が始まる前のブランク期間に対応する区間である。Ｃの部分は、音楽のダウンに相応しい部分を基準にして、音楽ボリュームをダウンさせた期間（区間）である。音声エレメントは、Ｃ区間やＤ区間の開始地点で音声が始まるように調節して合成されることができる。Ｄの部分は、音声エレメント区間として音声が活性化された部分である。音声が活性化された部分の長さは、Ｄ区間の長さを任意に調節して合成すれば良い。音楽が背景音になって音声が主になる部分では、図７のＤ区間と図８のＡ区間とが合成され、また、音声が終わる部分のエレメントに合わせて音楽エレメントのクライマックス部分を合成することにより、ミキシングの効果を最大化することができる。このとき、図７のＤ区間や、図８のＢ区間の長さを調節して、音声が活性化されたエレメントの長さに合わせて音楽背景を調整することができる。このようにすれば、音声が始まる部分と音声が終わる部分で、最も適当な部分の音楽をミキシングすることができる。図８は、音声が複数のエレメントに分けられた場合に使用することができるブリッジ部分を示す。
【００２７】
図８を参照すると、Ｄ区間に（図２のＡ、Ｂ、Ｃ区間のような）音声のブランク区間が一致しなくても、音声エレメントを区分した場合に先後の音声エレメントを、音楽のボリュームが小さい図８のＢ及びＦ区間に配置することで、ミキシングの効果を達成することができる。
【００２８】
図７と図８のエレメントを合成したものを示す図９を参照すると、Ｄ、Ｅ、及びＦの区間は、音声が活発になる区間であり、Ｂ及びＨの区間は、音声が無く音楽だけ出る部分になる。すなわち、Ｔの時間では、声が出て音楽はボリュームが下げられて背景に敷かれ、また、Ｔ’の時間では、音声が終わって音楽だけが出る。
【００２９】
上述したように、本発明の実試形態では、音楽が背景音で小さく流されることのみを例に挙げたが、音声がある部分では完全に背景の音楽が流されないように具現することも可能であることは勿論である。
【００３０】
以上の説明は音声と音楽を合成する方法に関して説明したが、このように合成された音は、使用者の選択によって予約されて、特定使用者に音楽メールで特定日に送信されることができ、また、カラーリングやフィーリング、着信音、電子メールなどのサービスで送信が設定されることができることは勿論である。ウェブを通じて前記機能をサービスする場合、基本的なコメントを提供することもでき、合成された音楽及び音声をリプレイして、当該音楽及び音声の再録音が成り立つようにすることもできる。
【００３１】
一方、本発明で言及している音楽は、一般的なポップやクラシック音楽を含むことは勿論であり、自然音やその他映画のオリジナルサウンドトラックなどの録音されたサウンドを包括的に指称するものである。
【００３２】
また、上述した実試例ではサーバー基盤のサービスに重点を置いて説明したが、本発明はクライアント基盤のプログラムで具現することも可能である。この場合に使われる音楽は、別途の音楽コンテンツサーバーで提供することができ、或いは、使用者が直接製作または購入した音源を使うこともできる。
【００３３】
図１３は、本発明による、音声と音楽を合成するための装置の概略的なブロック構成図である。図１３の合成装置は、クライアント基盤の端末機に実装されることのできる、合成可能な装置を例に挙げており、図１に示された合成部（２０）及びデータベース（３０）を含んで具現されたものである。ただし、背景になる音楽を保存する機能を有するデータベース（３０）については、インターネットのような通信網を通じて、音楽ファイルをダウンすることで具現することもできる。
【００３４】
制御部（１００）は、音声と音楽の合成のための全般的な制御動作を遂行する。
【００３５】
フィルターリング部（１６０）は、入力されるアナログ音声をサンプリングしてデジタル信号に変換し、さらに、該変換された信号をフーリエ変換して、時間軸上のデータを周波数軸上のデータに変換した後、人間が出すことができない低域や高域の周波数を遮断して人間の音声のみを入力できるように処理する。このようなデジタル的な処理は、アナログフィルターで具現することもできる。すなわち、フィルターリング部（１６０）は、周辺雑音や回線雑音などのホワイトノイズを取り除いて、人の声のみを音声合成に利用するようにする。
【００３６】
また、フィルターリング部（１６０）は、一定に入力されるホワイトノイズを取り除く役目を遂行する。例えば、ファンが回っている空間では、たとえ音声が聞かれなくても、ファンの騷音が入力されることを感知することができる。この場合、人の声が入力されない時間帯と入力される時間帯の信号差を通じて、ホワイトノイズを容易に取り除くことができる。すなわち、Ｔ時間帯の第１の入力信号ｓと、Ｔ＋ｔ時間帯の第２の入力信号ｓ＋Ｓ信号とを使用してホワイト雑音ｓを取り除くことで、音声入力の間一定に入力されるホワイトノイズを取り除く。また、フィルターリング部は、ピークノイズを取り除く役目も遂行する。すなわち、時間軸上の信号で急に大きい音が入力される場合（一定値以上の振幅を有する大きな信号が入力されれば）、該当のピーク信号をフィルターすることでピークノイズを取り除く役目も遂行する。
【００３７】
音声分離部（１４０）は、入力された音声の全体的な時間と、無音調節部（１３０）を通じて無音部分を検出して、全体の音声データを複数の音声エレメントに分離する。例えば、図１０の上部に示すように、一つの音声が入力される場合には、時間枠を考慮して、無音部分のＢ位置を分離位置と決定して、音声を前後二つの部分に分離する。もしもＢのような無音部分がない場合には、ＡまたはＣの位置が分離部分になる。入力される音声の分離は、音楽のボリュームの高低調節のためのものであり、また、分離は自動で或いは手動で行うことができる。さらには、音声の分離は、使用者が該当部分の音声を順に入力することで行うこともできる。例えば、携帯電話の１番ボタンを押して音声の第１エレメントを入力して、２番ボタンを押して音声の第２エレメントを入力することもできる。さらには、案内情報に従って該当の音声を入力して分離することもできる。
【００３８】
無音調節部（１３０）は、入力された音声信号の長さが予め定義された長さ以下である場合に、その信号を無音処理して、使用者が音声を入力しない無音部分であると判断する。このときに考慮されなければならない事項は、入力される信号の有無は勿論であり、音声が入力されない時間が一定時間以上の部分を無音部分と判断する。すなわち、音声が入力されない時間の長さによって無音部分を検出する。無音調節部（１３０）は、音声の分離のための補助動作を遂行する。すなわち、図１０の下側に示されるように、音声が所定数で分離した後に、無音調節部（１３０）は、音声エレメント前後端の無音部分を削除して（第１及び第２エレメントの前後端参照）、さらに、中間部分の無音（Ａ、Ｃ）が一定時間以上であれば、無音部分の一部を所定時間分だけ削除して短くする（Ａ’、Ｃ’）。
【００３９】
保存部（１２０）は、入力される音声及び分離した音声と、合成のための背景音楽と、合成されたファイルと、を保存する。
【００４０】
合成部（１５０）は、制御部（１００）の制御の下で、保存された音声と音楽を、デジタル処理を通じて合成する。このとき、合成された音声と音楽は、そのボリュームが調節される。具体的には、音声の場合、平均の大きさ以下の音声或いは平均の大きさ以上の音声が入力されれば、これを増幅する或いは減少させて、聞き取りに問題がないようにする。一方、音楽のボリュームは、始めの部位は、原音そのままを使うこととするか、或いはフェードインする（無音から本来のボリュームまで徐々に大きくなる）ようにボリューム制御を使用する。音楽の終りの部位は、フェードアウトする（本来のボリュームから無音まで徐々に小くなる）  ようにボリューム制御を使用する。音声エレメントの始めの部位では、一定値にボリュームを下げるダウン制御を使って、音声エレメントの終りの部位では本来のボリュームに回復させるアップ制御を使う。場合によっては、ファーストフォワード（早い順方向再生）、ファーストリワインド（早い逆方向再生）、リワインド（逆方向再生）方法を使うこともできる。
【００４１】
一方、入力された音声の時間長さが音楽の長さを超過する場合には、同一音楽を繰り返して使うこと、或いは他の音楽をミキシングして背景で使うこともできる。
【００４２】
以下、図１０，図１１，及び図１２を参照して、入力された音声を二つの音声エレメントに分離した後に、２個の音楽を利用して合成する例を説明する。
【００４３】
図１０の上側に示すように、使用者が音声を入力すると、最初に、フィルターリング部（１６０）によってノイズを取り除き、該フィルター後の音声を臨時保存する。次に、音声分離部（１４０）は、無音調節部（１３０）を通じて無音部位を検出して、入力された音声の時間を考慮して、保存された音声を２個の音声エレメントに分離する（図１０の下端）。また、一定の長さ以上で入力された無音部分は、無音調節部（１３０）により一部削除されて、無音部分が短くなるように調節される。
【００４４】
図１１は合成するための音楽を示す。図１１中に示された番号（１、２、３、・・・９）は、音声エレメントが合成されることができる地点であり且つ音楽の音量がダウンされることができる地点である、ダウンポイント（ＤＰ、ポイント情報）地点を表したものである。ダウンポイントは、一般的に、音楽の雰囲気が変わる部分、歌手の歌唱が始まる部分、リフレインが始まる部分、各節（例えば、１節、２節、３節の始め部位）の始め部分、語節が始まる部分、単語が始まる部分、独奏または合奏が始まる部分、楽章または節が始まる部分などで設定されることができる。このようなダウンポイントは、短くは数秒から長くは数十秒間隔で、多数設定されることができる。
【００４５】
図１０の下方に示されるように、音声の分離が完了した後に、合成部（１５０）によって音声と音楽を合成する。
【００４６】
図１２を参照すると、’Ｔ１’地点は一番目のダウンポイント（１）がある部分であり、この部分で音声の第１エレメントの合成を始める。このとき、第１エレメントの始まる部位である  ’Ｔ１’  地点で音楽はダウンコントロールされて、第１エレメントが終わる  ’Ｔ２’  地点で音楽はアップコントロールされる。このとき音楽の立場でみると、４番のダウンポイントを経過した地点だが、５番のダウンポイントは経過していない所になる。このとき、次のダウンポイントである５番までの時間が予め定義された量の時間より短くなれば、５番のダウンポイントで音声の第２エレメント合成を開始するのではなく、次の次である６番のダウンポイントで第２エレメント合成を開始する。’Ｔ３’地点では、音楽はダウンコントロールになる。上記のようにダウンポイントによって音声の第１及び第２エレメント間の時間を調節することもできるが、他にも、特定時間長さを指定して音声の第２エレメント合成地点を調節することもできる。例えば、第１エレメントが終わる’Ｔ２’地点から２０秒が経過された部位で音声の第２エレメントを開始して合成を行うこともできる。望ましくは、ミキシング効果を最大限にするために、ダウンポイント地点で第２エレメント合成を始めるのがよい。
【００４７】
一方、第２エレメントの合成が始まったが、音楽の長さが音声の長さよりも短く、’Ｔ４’地点までで終わる場合には、’Ｔ４’  地点で同一音楽またはその他の音楽を合成して、音声だけ合成されないようにした。このときの第１の音楽エレメントの終わり及び第２の音楽エレメントの始めの音楽合成は、図９の  ’Ｅ’地点に示されるように、使用者が聞くのに等しい音量が聞こえるように、相互交差されたボリュームコントロールを使う。
【００４８】
音声の第２エレメントの合成が終わる  ’Ｔ５’  地点では、音楽の音量はアップコントロールされる。その後、前述のように、次のダウンポイントまでの時間が一定時間以上になれば次のダウンポイントである  ３’  地点でフェードアウトコントロールして、時間が一定時間以上にならない場合には、次の次である  ４’  ダウンポイントでフェードアウトコントロールをする。
【００４９】
図１４は、上述した方法によって音声と音楽が合成された結果物を利用したサービスの例を示した図である。
【００５０】
２００段階で、使用者が通信網（移動通信網、有線通信網、或いはインターネット網）を通じてサーバーに接続すれば、使用者確認の手続を処理する。使用者が合成サービスを要求すると２２０段階へ進行し、そうではなければ２１１段階へ進行して動作を遂行する。
【００５１】
２２０段階で、使用者は、接続された通信網を通じて音声を入力する。このとき、音声入力は、携帯電話または一般有線電話機、或いはインターネットに接続されたコンピューターのマイクを通じて行われる。音声入力は、前述のように任意のメニュー案内に従って使用者が直接、幾つかの音声エレメントに分けて入力することができ、或いは、サーバーは、使用者が入力した全体的な音声を、その長さ及び無音区間を参照して、複数のエレメントに分離することができる。もちろん、一つのエレメントのみを利用して合成が成り立つこともできる。２３０段階で、合成部（２０）が、前述の音声の分離及びこれを利用した合成過程でダウンポイントによって、また、導入エレメント、ブリッジエレメント、終了エレメントを利用することによって、合成を行う。２４０段階で、サービスの適用対象が使用者により確認され、また、当該サービスの課金が遂行される。例えば、合成された音が音声メッセージであれば、メッセージの送信時間と対象者に関する情報（サービス情報）がサーバーに入力される。２５０段階で、該当の時間にメッセージを送って、メッセージ送信結果を使用者に知らせる。合成された音が音声メッセージの場合、サービスプロバイダは、使用者により設定された該当の時間に対象者に電話をかけて、案内メッセージを送信した後、合成された音、例えば  ”１２３４様が  ５６７８様に送った  ＤＪメールメッセージです。”を送信する。
【００５２】
適用対象がベル音またはカラリング（通話接続音）である場合には、該当の使用者の電話機または交換器に音設定をする、或いは、ベル音関連ダウンロード機能を通じて、ベル音を電話機にダウンロード設定するようにする。設定が完了すれば、当該設定に関する情報は、使用者に短文形態で送られる。
【産業上の利用可能性】
【００５３】
上述したように、本発明によれば、音声と音楽を適切に合成することで、これを聞く使用者がミキシングの効果を最大限感じることができ、人がいちいちボリュームを調節しなくてもすぐれたミキシング効果を新たにつくることができるので、音声と音楽を合成するのに好適に使用される。
【図面の簡単な説明】
【００５４】
【図１】本発明の実試例による音楽メールサービスシステムの概略的な構成図である。
【図２】音楽と音声を時間軸の上に表したグラフである。
【図３】音楽と音声の従来の合成方法による合成音のグラフである。
【図４】音声の無音区間によって音楽のボリュームが調整されたグラフである。
【図５】ボリュームが調整された音楽と音声を合成したグラフである。
【図６】音楽エレメントの終了部分におけるボリューム設定例を表わしたグラフである。
【図７】ダウンエレメントのボリューム特性のグラフである。
【図８】アップエレメントのボリューム特性のグラフである。
【図９】ダウン及びアップエレメントの合成による活性音声エレメント区間の具現例である。
【図１０】音声分離のための概念図である。
【図１１】音楽のダウンポイント指定例を表した図面である。
【図１２】音楽と分離された音声との合成例を表した図である。
【図１３】本発明の実試例による音声と音楽の合成のための装置の概略的な構成図である。
【図１４】本発明の実試例による処理を示すフローチャートである。
【図１】
2008527458.tif 000003
【図２】
2008527458.tif 000004
【図３】
2008527458.tif 000005
【図４】
2008527458.tif 000006
【図５】
2008527458.tif 000007
【図６】
2008527458.tif 000008
【図７】
2008527458.tif 000009
【図８】
2008527458.tif 000010
【図９】
2008527458.tif 000011
【図１０】
2008527458.tif 000012
【図１１】
2008527458.tif 000013
【図１２】
2008527458.tif 000014
【図１３】
2008527458.tif 000015
【図１４】
2008527458.tif 000016
【手続補正書】
【提出日】平成19年9月18日(2007.9.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音楽と音声を合成するためのシステムであって、
使用者から音声を受信するための受信部と、
複数の音楽データを保存しているデータベースと、
前記音声を一つ以上の音声エレメントで構成されるように処理して、前記受信部から入力される音声の無音部分検出や前記音声エレメントの始めや終了によって前記データベースに保存された音楽のボリュームを調節して、調節された音楽と前記音声エレメントを合成して合成された音楽と音声エレメントを保存する合成部と、
を具備することを特徴とするシステム。
【請求項２】
請求項１において、
前記合成部は、
前記音声を一つ以上の音声エレメントで構成されるように処理するが、前記受信された音声の無音部分検出や使用者によって一つ以上の音声エレメントで構成されるように処理することを特徴とするシステム。
【請求項３】
音楽と音声を合成するためのシステムであって、
使用者から入力される音声を受信するための受信部と、
曲別にひとつ以上で構成された音楽エレメントを保存しているデータベースと、
前記音声を一つ以上の音声エレメントで構成されるように処理して、前記受信部から入力される音声の無音部分検出や前記音声エレメントの始めや終了によって前記データベースに保存された音楽エレメントと前記音声エレメントを合成して合成された音楽エレメントと音声エレメントを保存する合成部と、
を具備することを特徴とするシステム。
【請求項４】
請求項３において、
前記合成部は、
前記音声を一つ以上の音声エレメントで構成されるように処理するが、前記受信された音声の無音部分検出や使用者によって一つ以上の音声エレメントで構成されるように処理することを特徴とするシステム。
【請求項５】
音楽と音声を合成するための方法であって、
使用者から入力される音声を受信する第１段階と、
前記受信された音声を一つ以上の音声エレメントで構成されるように処理する第２段階と、
前記音声の無音部分検出や前記音声エレメントの始めや終了によって音楽のボリュームを調節する第３段階と、
前記ボリューム調節された音楽と音声エレメントを合成する第４段階と、
を具備することを特徴とする方法。
【請求項６】
請求項５において、
前記第２段階は、
前記音声を一つ以上の音声エレメントで構成されるように処理するが、前記受信された音声の無音部分検出や使用者によって一つ以上の音声エレメントで構成されるように処理することを特徴とするシステム。
【請求項７】
音楽と音声を合成するための方法であって、
使用者から入力される音声を受信する第１段階と、
前記受信された音声を一つ以上の音声エレメントで構成されるように処理する第２段階と、
前記受信部から入力される音声の無音部分検出や前記音声エレメントの始めや終了によって曲別に一つ以上に構成された音楽エレメントと前記音声エレメントとの合成位置を調整する第３段階と、
前記調整によって前記音声エレメントと音楽エレメントを合成する第４段階と、
を具備することを特徴とする方法。
【請求項８】
請求項７において、
前記第２段階は、
前記音声を一つ以上の音声エレメントで構成されるように処理するが、前記受信された音声の無音部分検出や使用者によって一つ以上の音声エレメントで構成されるように処理することを特徴とするシステム。
【請求項９】
音楽と音声を合成してサービスするための方法であって、
使用者から入力される音声を受信する第１段階と、
前記検出された無音部分や使用者によって一つ以上の音声エレメントで構成されるように処理する第２段階と、
音楽と前記音声エレメントを結合して音楽と音声エレメントを合成する第３段階と、
前記合成された音楽と音声エレメントのサービス情報を入力受ける第４段階と、
前記サービス情報によって前記合成された音楽と音声エレメントに関するサービスを処理する第５段階と、
を具備することを特徴とするサービス方法。
【請求項１０】
請求項９において、
前記第３段階での合成は、
設定された前記音楽の導入部で前記音声エレメントの始め部位をマッチングさせて合成するが、前記音声エレメント部位では音楽のボリュームをダウンさせて合成する第６段階と、
前記音声エレメントの中で最終合成される音声エレメントが終わって設定された時間が到来すれば前記音楽のボリュームをフェードアウトさせる第７段階と、
をさらに具備することを特徴とするサービス方法。
【請求項１１】
請求項９において、
前記音声エレメントの無音部分が一定時間以上なら無音部分を縮小することを特徴とするサービス方法。
【請求項１２】
請求項９において、
前記第２段階は、
前記入力された音声を無音部分や時間長さを考慮して２個以上の音声エレメントに分離することを特徴とするサービス方法。
【請求項１３】
音楽と音声を合成してサービスするための方法であって、
使用者から入力される音声を受信する第１段階と、
前記受信された音声の無音部分や使用者に従って前記受信された音声を一つ以上の音声エレメントで構成されるように処理する第２段階と、
複数の音楽エレメントと前記音声エレメントを結合して前記音楽エレメントと前記音声グエレメントを合成する第３段階と、
前記合成された音楽エレメントと音声エレメントのサービス情報を入力受ける第４段階と、
前記情報によって前記合成された音楽エレメントと音声エレメントに関するサービスを処理する第５段階と、
を具備することを特徴とするサービス方法。
【請求項１４】
請求項１３において、
前記第３段階での合成は、
前記音声エレメントの部分ではボリュームがダウンされた音楽エレメントを利用して合成して、
前記音声エレメントの中で最終音声エレメントが終わって設定された時間が到来すれば前記音楽エレメントの中で合成される最終音楽エレメントはボリュームがフェードアウトされることを特徴とするサービス方法。
【請求項１５】
請求項１３において、
前記音声エレメントの無音部分が一定時間以上なら無音部分を縮小して合成することを特徴とするサービス方法。
【請求項１６】
請求項１３において、
前記入力された音声を無音部分や時間長さを考慮して２個以上の音声エレメントに分離して音楽と合成することを特徴とするサービス方法。
【請求項１７】
請求項１３において、
前記音楽エレメントは、
導入エレメントと、ブリッジエレメント、終了エレメントを含むことを特徴とするサービス方法。
【請求項１８】
請求項１７において、
前記導入エレメントや、ブリッジエレメントまたは、終了エレメントは前記音声エレメントと合性されるためにボリュームがダウンされた区間を含むことを特徴とするサービス方法。
【請求項１９】
音楽と音声を合成するための方法であって、
音声を入力受ける第１段階と、
前記音声が合成されるための位置に関する一つ以上のポイント情報を持った音楽と前記音声を合成するが、前記ポイントの中でどの一つのポイントで前記入力された音声の始め部位を合成する第２段階と、
前記音声と音楽が合成された情報を保存する第３段階と、
を具備することを特徴とする音楽と音声の合成方法。
【請求項２０】
音楽と音声を合成するための方法であって、
音声を入力受ける第１段階と、
前記音声の無音部分検出や使用者によって前記音声が一つ以上の音声エレメントで構成されるように処理する第２段階と、
前記音声エレメントが合成されるための位置に関する一つ以上のポイント情報を持った音楽と前記音声エレメントを合成するが、前記ポイントの中でどの一つのポイントで前記音声エレメントの始め部位を合成する第３段階と、
前記合成された音声と音楽を低装する第４段階と、
を具備することを特徴とする音楽と音声の合成方法。
【請求項２１】
請求項２０において、
前記複数の音声エレメントを合成するにおいて、
前後音声エレメントの間は、一定時間以上に合成される或いは１個以上のポイントを含むことを特徴とする音楽と音声の合成方法。
【請求項２２】
請求項２０において、
前記入力受けた音声が音楽の長さより長い場合、音楽を繰り返す或いは他の音楽をミキシングして音声と合成することを特徴とする音楽と音声の合成方法。
【請求項２３】
音楽と音声を合成してサービスするための方法であって、
使用者から入力される音声を受信する第１段階と、
前記音声の無音部分検出や使用者によって前記音声を一つ以上の音声エレメントで構成されるように処理する第２段階と、
前記音声エレメントと音楽を合成する第３段階と、
合成された音声エレメントと音楽に対するサービス情報を入力受ける第４段階と、
前記サービス情報によって前記合成された音楽と音声エレメントに関するサービスを処理する第５段階と、
前記サービス処理による結果を知らせる第６段階と、
を具備することを特徴とするサービス方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽と音声を合成するためのシステム及び方法、さらにはこれを利用したサービスシステム及びサービス方法に関するものである。
【背景技術】
【０００２】
一般的に現在常用化されている音楽メールサービス方法は、メールを送ろうとする使用者が願う曲を選択して、これを相手に提供する単に音楽のみを伝送するサービスに過ぎず、使用者の様々な欲求を満たすことができなかった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は上述した問題点を解決するために提案されたものであり、その目的は、使用者の音声が含まれているのみならず受信者が易しく内容を把握することもできて、普通の音楽放送のように音楽メールを提供することができるシステム及び方法を提供することにある。
【０００４】
本発明のまた他の目的は、使用者の音声と音楽を混合するが使用者の音声に相応しくボリュームが調節されて、多様なミキシング効果の具現を可能としたシステム及び方法を提供するにある。
【課題を解決するための手段】
【０００５】
本発明は、使用者の音声を受信するための受信部と、複数の音楽データを保存するためのデータベースと、前記受信部から入力される音声の無音部分の検出によって前記データベースに保存された音楽のボリュームを調節して、調節された音楽と受信された音声を合成する合成部と、を具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、音声と音楽を適切に合成することで、これを聞く使用者がミキシングの効果を最大限感じることができる長所がある。
【０００７】
また、本発明によれば、人がいちいちボリュームを調節しなくてもすぐれたミキシング効果を新たにつくることができる効果がある。
【発明を実施するための最良の形態】
【０００８】
上述した問題点を解決するために、本発明は、使用者から音声を受信するための受信部と、複数の音楽データを保存しているデータベースと、前記音声を一つ以上の音声エレメントで構成されるように処理して、前記受信部から入力される音声の無音部分検出や前記音声エレメントの始めや終了によって前記データベースに保存された音楽のボリュームを調節して、調節された音楽と前記音声エレメントを合成して合成された音楽と音声エレメントを保存する合成部と、を具備することを特徴とする。
本発明は、前記音声を一つ以上の音声エレメントで構成されるように処理するが、前記受信された音声の無音部分検出や使用者によって一つ以上の音声エレメントで構成されるように処理することを特徴とする。
【０００９】
また、本発明は、使用者から入力される音声を受信するための受信部と、曲別にひとつ以上で構成された音楽エレメントを保存しているデータベースと、前記音声を一つ以上の音声エレメントで構成されるように処理して、前記受信部から入力される音声の無音部分検出や前記音声エレメントの始めや終了によって前記データベースに保存された音楽エレメントと前記音声エレメントを合成して、合成された音楽エレメントと音声エレメントを保存する合成部を具備することを特徴とする。
【００１０】
また、本発明は、前記音声を一つ以上の音声エレメントで構成されるように処理するが、前記受信された音声の無音部分検出や使用者によって一つ以上の音声エレメントで構成されるように処理することを特徴とする。
【００１１】
また、本発明は、使用者から入力される音声を受信する第１段階と、前記受信された音声を一つ以上の音声エレメントで構成されるように処理する第２段階と、前記音声の無音部分検出や前記音声エレメントの始めや終了によって音楽のボリュームを調節する第３段階と、前記ボリューム調節された音楽と音声エレメントを合成する第４段階と、を具備することを特徴とする。
【００１２】
また、本発明は、前記音声を一つ以上の音声エレメントで構成されるように処理するが、前記受信された音声の無音部分検出や使用者によって一つ以上の音声エレメントで構成されるように処理することを特徴とする。
【００１３】
また、本発明は、使用者から入力される音声を受信する第１段階と、前記受信された音声を一つ以上の音声エレメントで構成されるように処理する第２段階と、前記受信部から入力される音声の無音部分検出や前記音声エレメントの始めや終了によって曲別に一つ以上に構成された音楽エレメントと前記音声エレメントとの合成位置を調整する第３段階と、前記調整によって前記音声エレメントと音楽エレメントを合成する第４段階と、を具備することを特徴とする。
【００１４】
また、本発明は、前記音声を一つ以上の音声エレメントで構成されるように処理するが、前記受信された音声の無音部分検出や使用者によって一つ以上の音声エレメントで構成されるように処理することを特徴とする。
【００１５】
また、本発明は、使用者から入力される音声を受信する第１段階と、前記検出された無音部分や使用者によって一つ以上の音声エレメントで構成されるように処理する第２段階と、音楽と前記音声エレメントを結合して音楽と音声エレメントを合成する第３段階と、前記合成された音楽と音声エレメントのサービス情報を入力受ける第４段階と、前記サービス情報によって前記合成された音楽と音声エレメントに関するサービスを処理する第５段階と、を具備することを特徴とする。
【００１６】
また、本発明は、設定された前記音楽の導入部で前記音声エレメントの始め部位をマッチングさせて合成するが、前記音声エレメント部位では音楽のボリュームをダウンさせて合成する第６段階と、前記音声エレメントの中で最終合成される音声エレメントが終わって設定された時間が到来すれば前記音楽のボリュームをフェードアウトさせる第７段階と、をさらに具備することを特徴とする。
【００１７】
また、本発明は、前記音声エレメントの無音部分が一定時間以上なら無音部分を縮小することを特徴とする。
【００１８】
また、本発明は、使用者から入力される音声を受信する第１段階と、前記受信された音声の無音部分や使用者に従って前記受信された音声を一つ以上の音声エレメントで構成されるように処理する第２段階と、複数の音楽エレメントと前記音声エレメントを結合して前記音楽エレメントと前記音声グエレメントを合成する第３段階と、前記合成された音楽エレメントと音声エレメントのサービス情報を入力受ける第４段階と、前記情報によって前記合成された音楽エレメントと音声エレメントに関するサービスを処理する第５段階と、を具備することを特徴とする。
【００１９】
また、本発明は、前記音声エレメントの部分ではボリュームがダウンされた音楽エレメントを利用して合成して、前記音声エレメントの中で最終音声エレメントが終わって設定された時間が到来すれば前記音楽エレメントの中で合成される最終音楽エレメントはボリュームがフェードアウトされることを特徴とする。
【００２０】
また、本発明は、前記音声エレメントの無音部分が一定時間以上ならば無音部分を縮小して合成することを特徴とする。
【００２１】
また、本発明は、前記入力された音声を無音部分や時間長さを考慮して２個以上の音声エレメントに分離して音楽と合成することを特徴とする。
【００２２】
また、本発明は、前記導入エレメントや、ブリッジエレメントまたは、終了エレメントは前記音声エレメントと合性されるためにボリュームがダウンされた区間を含むことを特徴とする。
【００２３】
また、本発明は、音声を入力受ける第１段階と、前記音声が合成されるための位置に関する一つ以上のポイント情報を持った音楽と前記音声を合成するが、前記ポイントの中でどの一つのポイントで前記入力された音声の始め部位を合成する第２段階と、前記音声と音楽が合成された情報を保存する第３段階と、を具備することを特徴とする。
【００２４】
また、本発明は、音声を入力受ける第１段階と、前記音声の無音部分検出や使用者によって前記音声が一つ以上の音声エレメントで構成されるように処理する第２段階と、前記音声エレメントが合成されるための位置に関する一つ以上のポイント情報を持った音楽と前記音声エレメントを合成するが、前記ポイントの中でどの一つのポイントで前記音声エレメントの始め部位を合成する第３段階と、前記合成された音声と音楽を低装する第４段階と、を具備することを特徴とする。
【００２５】
また、本発明は、前後音声エレメントの間は、一定時間以上に合成される或いは、１個以上のポイントを含むことを特徴とする。
【００２６】
また、本発明は、前記入力受けた音声が音楽の長さより長い場合、音楽を繰り返す或いは他の音楽をミキシングして音声と合成することを特徴とする。
【００２７】
また、本発明は、使用者から入力される音声を受信する第１段階と、前記音声の無音部分検出や使用者によって前記音声を一つ以上の音声エレメントで構成されるように処理する第２段階と、前記音声エレメントと音楽を合成する第３段階と、合成された音声エレメントと音楽に対するサービス情報を入力受ける第４段階と、前記サービス情報によって前記合成された音楽と音声エレメントに関するサービスを処理する第５段階と、前記サービス処理による結果を知らせる第６段階と、を具備することを特徴とする。
【００２８】
以下、添付された図面を参照して本発明の望ましい実試例を説明する。
【００２９】
図１に示すように、本発明は、送受信部（１０）と、合成部（２０）と、データベース部（３０）と、を含む。
【００３０】
送受信部（１０）は、インターネットや移動通信網、一般電話網などと接続される。この送受信部（１０）は、使用者から入力される音声を受信して、音声と音楽が合成された合成音を特定の使用者に送信する。
【００３１】
合成部（２０）は、入力された音声と使用者が予め指定した音楽を合成する。ここで、合成は、一般的に単純合算による合成を意味しない。すなわち、図２に示されるような音楽と音声を単純合成する場合には、図３に示されるように音楽と音声が混在して音声内容を受信者が聞き分けることができなくなり、合成の効果が半減される、という問題点がある。
【００３２】
したがって、本発明の実試例では、図４に示されたところのように音声の無音区間を検出して、無音区間と音声活性化になった区間によって音楽のボリュームを調節して、図５に示されるように合成することができる。
【００３３】
再び図５を参照すると、音声がない部分では音楽だけが出て、音声がある部分では音楽のボリュームが低くなるようにして、使用者の音声が明りょうに聞こえるようにした。このとき、音声を、無音区間（図２のＡ、Ｂ、Ｃ）を基準として、複数の音声エレメントに分けることもできる。このように分離された音声は、予め分離された音楽と合成されることができ、音楽の導入部分や終了部分に合わせて、音声ブランク部分（Ａ、Ｂ、Ｃ）の長さの調節を任意に行うことができる。
【００３４】
合成部（２０）は、音声と音楽とを合成するに先立って、入力される音声を、ブランク区間を参照して複数の音声エレメントに分離することができる。例えば、複数のエレメントへの音声分離は、無音が１秒を超える部分を基準として行うことができる。また、入力される音声の全体長さを複数の区間に分けて、該当部分に近接したブランクを基準として複数の音声エレメントに分離することもできる。例えば、全体３０秒の音声が入力される場合、これを先側及び後側の二つのエレメントに分離することとし、中間部分である１５秒部分に近接したブランク（無音部分）を基準として、先後で二つの音声エレメントに分離することができる。このとき、先側または後側の内の一つの音声エレメント中に、音声がないブランク区間の長さが一定時間以上であれば、図１０に示すように、これを縮小してブランクの長さを短くすることもできる。
【００３５】
一方、通話中には多くのノイズが発生し入力されることになる。このようなノイズの除去のためには、例えば特定ホワイトノイズ（回線雑音のように音声入力のはじめから最後まで持続する雑音）を全体的に取り除くことや、音声帯域の周波数帯以外はフィルターリングを通じて取り除くなどの方法を利用して、明りょうな音声の入力を受けることができる。
【００３６】
データベース部（３０）には、多数の音楽データが保存されている。図６，図７，図８に示されたように、音楽データは、多くの音楽エレメントで構成されることができる。音楽エレメントは、音楽のビートやリズム、あるいは入力される音の大きさ、歌手の声の始め部分などを基準にして自動に生成することができ、また、使用者が任意に設定してエレメントを構成することもできる。
【００３７】
図６は音楽エレメントの終了部分におけるボリューム設定例を表わしたグラフである。Ａの部分は、音声が終わった部分であり、音楽のボリュームが上昇される期間である。Ｂの部分は、音声は無く、音楽だけが上昇されたボリューム状態で出る期間であり、音楽でのクライマックス部分を抜粹して終了エレメントを構成することができる。Ｃの部分は、視聴者に最後の余韻を残すために、ゆっくりボリュームを下げる期間である。
【００３８】
図７は、Ｄ区間の始点で音声が始まるときに、背景音楽として使われることができるダウンエレメントを図示したものである。Ａの部分は、急激に上昇する期間であり、最初から１００％のボリュームで始めることもできる。Ｂの部分は、音声が始まる前のブランク期間に対応する区間である。Ｃの部分は、音楽のダウンに相応しい部分を基準にして、音楽ボリュームをダウンさせた期間（区間）である。音声エレメントは、Ｃ区間やＤ区間の開始地点で音声が始まるように調節して合成されることができる。Ｄの部分は、音声エレメント区間として音声が活性化された部分である。音声が活性化された部分の長さは、Ｄ区間の長さを任意に調節して合成すれば良い。音楽が背景音になって音声が主になる部分では、図７のＤ区間と図８のＡ区間とが合成され、また、音声が終わる部分のエレメントに合わせて音楽エレメントのクライマックス部分を合成することにより、ミキシングの効果を最大化することができる。このとき、図７のＤ区間や、図８のＢ区間の長さを調節して、音声が活性化されたエレメントの長さに合わせて音楽背景を調整することができる。このようにすれば、音声が始まる部分と音声が終わる部分で、最も適当な部分の音楽をミキシングすることができる。図８は、音声が複数のエレメントに分けられた場合に使用することができるブリッジ部分を示す。
【００３９】
図８を参照すると、Ｄ区間に（図２のＡ、Ｂ、Ｃ区間のような）音声のブランク区間が一致しなくても、音声エレメントを区分した場合に先後の音声エレメントを、音楽のボリュームが小さい図８のＢ及びＦ区間に配置することで、ミキシングの効果を達成することができる。
【００４０】
図７と図８のエレメントを合成したものを示す図９を参照すると、Ｄ、Ｅ、及びＦの区間は、音声が活発になる区間であり、Ｂ及びＨの区間は、音声が無く音楽だけ出る部分になる。すなわち、Ｔの時間では、声が出て音楽はボリュームが下げられて背景に敷かれ、また、Ｔ’の時間では、音声が終わって音楽だけが出る。
【００４１】
上述したように、本発明の実試形態では、音楽が背景音で小さく流されることのみを例に挙げたが、音声がある部分では完全に背景の音楽が流されないように具現することも可能であることは勿論である。
【００４２】
以上の説明は音声と音楽を合成する方法に関して説明したが、このように合成された音は、使用者の選択によって予約されて、特定使用者に音楽メールで特定日に送信されることができ、また、カラーリングやフィーリング、着信音、電子メールなどのサービスで送信が設定されることができることは勿論である。ウェブを通じて前記機能をサービスする場合、基本的なコメントを提供することもでき、合成された音楽及び音声をリプレイして、当該音楽及び音声の再録音が成り立つようにすることもできる。
【００４３】
一方、本発明で言及している音楽は、一般的なポップやクラシック音楽を含むことは勿論であり、自然音やその他映画のオリジナルサウンドトラックなどの録音されたサウンドを包括的に指称するものである。
【００４４】
また、上述した実試例ではサーバー基盤のサービスに重点を置いて説明したが、本発明はクライアント基盤のプログラムで具現することも可能である。この場合に使われる音楽は、別途の音楽コンテンツサーバーで提供することができ、或いは、使用者が直接製作または購入した音源を使うこともできる。
【００４５】
図１３は、本発明による、音声と音楽を合成するための装置の概略的なブロック構成図である。図１３の合成装置は、クライアント基盤の端末機に実装されることのできる、合成可能な装置を例に挙げており、図１に示された合成部（２０）及びデータベース（３０）を含んで具現されたものである。ただし、背景になる音楽を保存する機能を有するデータベース（３０）については、インターネットのような通信網を通じて、音楽ファイルをダウンすることで具現することもできる。
【００４６】
制御部（１００）は、音声と音楽の合成のための全般的な制御動作を遂行する。
【００４７】
フィルターリング部（１６０）は、入力されるアナログ音声をサンプリングしてデジタル信号に変換し、さらに、該変換された信号をフーリエ変換して、時間軸上のデータを周波数軸上のデータに変換した後、人間が出すことができない低域や高域の周波数を遮断して人間の音声のみを入力できるように処理する。このようなデジタル的な処理は、アナログフィルターで具現することもできる。すなわち、フィルターリング部（１６０）は、周辺雑音や回線雑音などのホワイトノイズを取り除いて、人の声のみを音声合成に利用するようにする。
【００４８】
また、フィルターリング部（１６０）は、一定に入力されるホワイトノイズを取り除く役目を遂行する。例えば、ファンが回っている空間では、たとえ音声が聞かれなくても、ファンの騷音が入力されることを感知することができる。この場合、人の声が入力されない時間帯と入力される時間帯の信号差を通じて、ホワイトノイズを容易に取り除くことができる。すなわち、Ｔ時間帯の第１の入力信号ｓと、Ｔ＋ｔ時間帯の第２の入力信号ｓ＋Ｓ信号とを使用してホワイト雑音ｓを取り除くことで、音声入力の間一定に入力されるホワイトノイズを取り除く。また、フィルターリング部は、ピークノイズを取り除く役目も遂行する。すなわち、時間軸上の信号で急に大きい音が入力される場合（一定値以上の振幅を有する大きな信号が入力されれば）、該当のピーク信号をフィルターすることでピークノイズを取り除く役目も遂行する。
【００４９】
音声分離部（１４０）は、入力された音声の全体的な時間と、無音調節部（１３０）を通じて無音部分を検出して、全体の音声データを複数の音声エレメントに分離する。例えば、図１０の上部に示すように、一つの音声が入力される場合には、時間枠を考慮して、無音部分のＢ位置を分離位置と決定して、音声を前後二つの部分に分離する。もしもＢのような無音部分がない場合には、ＡまたはＣの位置が分離部分になる。入力される音声の分離は、音楽のボリュームの高低調節のためのものであり、また、分離は自動で或いは手動で行うことができる。さらには、音声の分離は、使用者が該当部分の音声を順に入力することで行うこともできる。例えば、携帯電話の１番ボタンを押して音声の第１エレメントを入力して、２番ボタンを押して音声の第２エレメントを入力することもできる。さらには、案内情報に従って該当の音声を入力して分離することもできる。
【００５０】
無音調節部（１３０）は、入力された音声信号の長さが予め定義された長さ以下である場合に、その信号を無音処理して、使用者が音声を入力しない無音部分であると判断する。このときに考慮されなければならない事項は、入力される信号の有無は勿論であり、音声が入力されない時間が一定時間以上の部分を無音部分と判断する。すなわち、音声が入力されない時間の長さによって無音部分を検出する。無音調節部（１３０）は、音声の分離のための補助動作を遂行する。すなわち、図１０の下側に示されるように、音声が所定数で分離した後に、無音調節部（１３０）は、音声エレメント前後端の無音部分を削除して（第１及び第２エレメントの前後端参照）、さらに、中間部分の無音（Ａ、Ｃ）が一定時間以上であれば、無音部分の一部を所定時間分だけ削除して短くする（Ａ’、Ｃ’）。
【００５１】
保存部（１２０）は、入力される音声及び分離した音声と、合成のための背景音楽と、合成されたファイルと、を保存する。
【００５２】
合成部（１５０）は、制御部（１００）の制御の下で、保存された音声と音楽を、デジタル処理を通じて合成する。このとき、合成された音声と音楽は、そのボリュームが調節される。具体的には、音声の場合、平均の大きさ以下の音声或いは平均の大きさ以上の音声が入力されれば、これを増幅する或いは減少させて、聞き取りに問題がないようにする。一方、音楽のボリュームは、始めの部位は、原音そのままを使うこととするか、或いはフェードインする（無音から本来のボリュームまで徐々に大きくなる）ようにボリューム制御を使用する。音楽の終りの部位は、フェードアウトする（本来のボリュームから無音まで徐々に小くなる）  ようにボリューム制御を使用する。音声エレメントの始めの部位では、一定値にボリュームを下げるダウン制御を使って、音声エレメントの終りの部位では本来のボリュームに回復させるアップ制御を使う。場合によっては、ファーストフォワード（早い順方向再生）、ファーストリワインド（早い逆方向再生）、リワインド（逆方向再生）方法を使うこともできる。
【００５３】
一方、入力された音声の時間長さが音楽の長さを超過する場合には、同一音楽を繰り返して使うこと、或いは他の音楽をミキシングして背景で使うこともできる。
【００５４】
以下、図１０，図１１，及び図１２を参照して、入力された音声を二つの音声エレメントに分離した後に、２個の音楽を利用して合成する例を説明する。
【００５５】
図１０の上側に示すように、使用者が音声を入力すると、最初に、フィルターリング部（１６０）によってノイズを取り除き、該フィルター後の音声を臨時保存する。次に、音声分離部（１４０）は、無音調節部（１３０）を通じて無音部位を検出して、入力された音声の時間を考慮して、保存された音声を２個の音声エレメントに分離する（図１０の下端）。また、一定の長さ以上で入力された無音部分は、無音調節部（１３０）により一部削除されて、無音部分が短くなるように調節される。
【００５６】
図１１は合成するための音楽を示す。図１１中に示された番号（１、２、３、・・・９）は、音声エレメントが合成されることができる地点であり且つ音楽の音量がダウンされることができる地点である、ダウンポイント（ＤＰ、ポイント情報）地点を表したものである。ダウンポイントは、一般的に、音楽の雰囲気が変わる部分、歌手の歌唱が始まる部分、リフレインが始まる部分、各節（例えば、１節、２節、３節の始め部位）の始め部分、語節が始まる部分、単語が始まる部分、独奏または合奏が始まる部分、楽章または節が始まる部分などで設定されることができる。このようなダウンポイントは、短くは数秒から長くは数十秒間隔で、多数設定されることができる。
【００５７】
図１０の下方に示されるように、音声の分離が完了した後に、合成部（１５０）によって音声と音楽を合成する。
【００５８】
図１２を参照すると、’Ｔ１’地点は一番目のダウンポイント（１）がある部分であり、この部分で音声の第１エレメントの合成を始める。このとき、第１エレメントの始まる部位である  ’Ｔ１’  地点で音楽はダウンコントロールされて、第１エレメントが終わる  ’Ｔ２’  地点で音楽はアップコントロールされる。このとき音楽の立場でみると、４番のダウンポイントを経過した地点だが、５番のダウンポイントは経過していない所になる。このとき、次のダウンポイントである５番までの時間が予め定義された量の時間より短くなれば、５番のダウンポイントで音声の第２エレメント合成を開始するのではなく、次の次である６番のダウンポイントで第２エレメント合成を開始する。’Ｔ３’地点では、音楽はダウンコントロールになる。上記のようにダウンポイントによって音声の第１及び第２エレメント間の時間を調節することもできるが、他にも、特定時間長さを指定して音声の第２エレメント合成地点を調節することもできる。例えば、第１エレメントが終わる’Ｔ２’地点から２０秒が経過された部位で音声の第２エレメントを開始して合成を行うこともできる。望ましくは、ミキシング効果を最大限にするために、ダウンポイント地点で第２エレメント合成を始めるのがよい。
【００５９】
一方、第２エレメントの合成が始まったが、音楽の長さが音声の長さよりも短く、’Ｔ４’地点までで終わる場合には、’Ｔ４’  地点で同一音楽またはその他の音楽を合成して、音声だけ合成されないようにした。このときの第１の音楽エレメントの終わり及び第２の音楽エレメントの始めの音楽合成は、図９の  ’Ｅ’地点に示されるように、使用者が聞くのに等しい音量が聞こえるように、相互交差されたボリュームコントロールを使う。
【００６０】
音声の第２エレメントの合成が終わる  ’Ｔ５’  地点では、音楽の音量はアップコントロールされる。その後、前述のように、次のダウンポイントまでの時間が一定時間以上になれば次のダウンポイントである  ３’  地点でフェードアウトコントロールして、時間が一定時間以上にならない場合には、次の次である  ４’  ダウンポイントでフェードアウトコントロールをする。
【００６１】
図１４は、上述した方法によって音声と音楽が合成された結果物を利用したサービスの例を示した図である。
【００６２】
２００段階で、使用者が通信網（移動通信網、有線通信網、或いはインターネット網）を通じてサーバーに接続すれば、使用者確認の手続を処理する。使用者が合成サービスを要求すると２２０段階へ進行し、そうではなければ２１１段階へ進行して動作を遂行する。
【００６３】
２２０段階で、使用者は、接続された通信網を通じて音声を入力する。このとき、音声入力は、携帯電話または一般有線電話機、或いはインターネットに接続されたコンピューターのマイクを通じて行われる。音声入力は、前述のように任意のメニュー案内に従って使用者が直接、幾つかの音声エレメントに分けて入力することができ、或いは、サーバーは、使用者が入力した全体的な音声を、その長さ及び無音区間を参照して、複数のエレメントに分離することができる。もちろん、一つのエレメントのみを利用して合成が成り立つこともできる。２３０段階で、合成部（２０）が、前述の音声の分離及びこれを利用した合成過程でダウンポイントによって、また、導入エレメント、ブリッジエレメント、終了エレメントを利用することによって、合成を行う。２４０段階で、サービスの適用対象が使用者により確認され、また、当該サービスの課金が遂行される。例えば、合成された音が音声メッセージであれば、メッセージの送信時間と対象者に関する情報（サービス情報）がサーバーに入力される。２５０段階で、該当の時間にメッセージを送って、メッセージ送信結果を使用者に知らせる。合成された音が音声メッセージの場合、サービスプロバイダは、使用者により設定された該当の時間に対象者に電話をかけて、案内メッセージを送信した後、合成された音、例えば  ”１２３４様が  ５６７８様に送った  ＤＪメールメッセージです。”を送信する。
【００６４】
適用対象がベル音またはカラリング（通話接続音）である場合には、該当の使用者の電話機または交換器に音設定をする、或いは、ベル音関連ダウンロード機能を通じて、ベル音を電話機にダウンロード設定するようにする。設定が完了すれば、当該設定に関する情報は、使用者に短文形態で送られる。
【産業上の利用可能性】
【００６５】
上述したように、本発明によれば、音声と音楽を適切に合成することで、これを聞く使用者がミキシングの効果を最大限感じることができ、人がいちいちボリュームを調節しなくてもすぐれたミキシング効果を新たにつくることができるので、音声と音楽を合成するのに好適に使用される。
【図面の簡単な説明】
【００６６】
【図１】本発明の実試例による音楽メールサービスシステムの概略的な構成図である。
【図２】音楽と音声を時間軸の上に表したグラフである。
【図３】音楽と音声の従来の合成方法による合成音のグラフである。
【図４】音声の無音区間によって音楽のボリュームが調整されたグラフである。
【図５】ボリュームが調整された音楽と音声を合成したグラフである。
【図６】音楽エレメントの終了部分におけるボリューム設定例を表わしたグラフである。
【図７】ダウンエレメントのボリューム特性のグラフである。
【図８】アップエレメントのボリューム特性のグラフである。
【図９】ダウン及びアップエレメントの合成による活性音声エレメント区間の具現例である。
【図１０】音声分離のための概念図である。
【図１１】音楽のダウンポイント指定例を表した図面である。
【図１２】音楽と分離された音声との合成例を表した図である。
【図１３】本発明の実試例による音声と音楽の合成のための装置の概略的な構成図である。
【図１４】本発明の実試例による処理を示すフローチャートである。
【国際調査報告】
2008527458.tif 000017
2008527458.tif 000018