(57)【要約】【課題】ユーザ自身がイメージしたメロディを、音楽的な専門知識を必要とすることなく、しかも、簡単かつ確実に音楽データに変換することができるようにする。【解決手段】ユーザが口ずさんだメロディ音声の入力を受け付けるとともに、その入力されるメロディ音声のリズムに対応したキーの押下を受け付ける。そして、この受け付けたキーの押下タイミングに基づいてメロディ音声から音高と音長を抽出し、これによって音楽データを生成する。そして、この生成した音楽データを端末装置１で再生可能なファイルにフォーマット変換して端末装置１側に送信する。【選択図】  図４
2004226672.tif 000002
【特許請求の範囲】
【請求項１】
メロディ音声の入力を受け付ける音声受付手段と、この入力されるメロディ音声のリズムに対応したキーの押下を受け付けるキー押下受付手段と、前記音声受付手段およびキー押下受付手段によって受け付けた音声およびリズムのタイミングに基づいて音楽データを生成する音楽データ生成手段と、この音楽データ生成手段によって生成された音楽データを出力する出力手段とを具備してなることを特徴とする音楽データ生成システム。
【請求項２】
前記音楽データ生成手段が、音声受付手段およびキー押下受付手段によって受け付けた音声およびリズムのタイミングによってメロディデータを生成するとともに、このメロディデータに基づき伴奏データを生成して音楽データを生成するものである請求項１に記載の音楽データ生成システム。
【請求項３】
少なくとも前記音声受付手段、キー押下受付手段、出力手段が端末装置に設けられたものであり、音楽データ生成手段がサーバ装置に設けられたものである請求項１に記載の音楽データ生成システム。
【請求項４】
メロディ音声の入力を受け付ける音声受付手段と、この入力されるメロディ音声のリズムに対応したキーの押下を受け付けるキー押下受付手段と、を備えた端末装置に対して通信可能に設けられたサーバ装置であって、
前記音声受付手段およびキー押下受付手段によって受け付けた音声およびリズムのタイミングに基づいて音楽データを生成する音楽データ生成手段と、この音楽データ生成手段によって生成された音楽データを端末装置に送信する送信手段と、を備えたサーバ装置。
【請求項５】
前記音楽データ生成手段が、音声受付手段およびキー押下受付手段によって受け付けた音声およびリズムのタイミングによってメロディデータを生成するとともに、このメロディデータに基づき伴奏データを生成して音楽データを生成するものである請求項４に記載のサーバ装置。
【請求項６】
前記送信手段が、端末装置の機種に対応した音楽データに変換して送信するものである請求項４に記載のサーバ装置。
【請求項７】
入力されたメロディ音声をもとに音楽データを生成する音楽データ生成方法において、
前記入力されたメロディ音声に基づいて音高情報を出力するとともに、メロディ音声のリズムに対応して受け付けたキーの押下タイミングに応じてその音長を決定し、音楽データを生成することを特徴とする音楽データ生成方法。
【請求項８】
入力されたメロディ音声をもとに音楽データを生成する音楽データ生成方法において、
前記入力されたメロディ音声に基づいて音高情報を出力するとともに、メロディ音声のリズムに対応して受け付けたキーの押下タイミングに応じてその音長を決定してメロディデータを生成するステップと、
この生成されたメロディデータに基づき伴奏データを生成して音楽データを生成するステップと、を設けたことを特徴とする音楽データ生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、携帯電話の着信メロディを生成するシステムに関するものであり、より具体的には、端末装置を用いてより簡単かつ確実に自作のメロディを生成できるようにしたシステムに関するものである。
【０００２】
【従来の技術】
近年の携帯電話には、ユーザの嗜好に応じて着信メロディを設定できるようにした機能が付加されている。この着信メロディの設定方法は、あらかじめその端末装置に記憶されている着信メロディを選択して設定する方法や、もしくは、センターにあらかじめ登録されている複数の曲の中から所望の曲を選択してダウンロードして着信メロディとする方法などがある。また、ユーザ自身が音高や音長などの入力を行って独自の着信メロディとして設定する方法などもある。
【０００３】
ところで、このような独自の着信メロディの設定は、一般的には次のようにして行われる。まず、着信メロディを作成する場合、端末装置の表示画面にメロディ設定のための画面を表示し、曲を作成するための基本情報としてのテンポ、音量、音色などを入力する。次に、メロディなどのデータを入力すべく、音符を一音ずつ選択して五線譜の所定の位置にプロットし、この作業を全てのデータの入力が完了するまで繰り返す。そして、これらの作業が完了したら最後に視聴を行い、適宜修正などを行った後に着信メロディとして登録する。
【０００４】
【発明が解決しようとする課題】
ところが、このような手法で独自の着信メロディを作成する場合、ある程度専門的な音楽知識が必要となるため、音楽的知識を持ち合わせていないユーザが自分でイメージしたメロディをそのまま五線譜に入力するのは非常に難しい。また、これに加えて、携帯電話などのように音楽情報の入力に不適な端末装置を用いて音高や音符などを入力操作するには大変時間がかかる。
【０００５】
かかる課題を解決するものとして、キー操作を行わずにメロディを入力できるようにした装置やシステムが種々提案されている。例えば、特開平１１―２２０５１８号公報などには、ユーザが口ずさんだメロディを音声認識し、デジタルデータに変換して着信メロディとして設定できるようにしたものが開示されている。また、文献によるものだけでなく、ユーザが口ずさんだメロディを、音声認識技術を用いて音楽データに変換し、そのメロディを再生して使用できるようにしたシステムも実在する。このようなシステムは、基本的には計算機に直接接続された入力デバイスを利用してなるもので、ユーザがそのデバイスを用いて入力したメロディ音声に基づいて、メロディの音高や音価などを決定していくものである。
【０００６】
しかし、このような音声認識技術を用いた装置やシステムでは、滑らかに音高が変化するメロディ音声や、同音高が連続するようなメロディ音声を入力する場合、あるいは休符が入る場合は、各音高に対する長さの判定があいまいになってしまう傾向が強く、認識した音楽データを修正するための処理が煩雑になる。
【０００７】
そこで、本発明は上記課題に着目してなされたもので、ユーザ自身がイメージしたメロディを音楽的な専門知識を要することなく、しかも、簡単かつ確実に音楽データを生成できるようなシステムなどを提供することを目的とする。
【０００８】
【課題を解決するための手段】
すなわち、本発明は上記課題を解決すべく、メロディ音声の入力を受け付けるとともに、その入力されるメロディ音声のリズムに対応したキーの押下を受け付ける。そして、この受け付けたキーの押下タイミングに関する情報を用いてメロディ音声から音高情報と音長情報を抽出し、これによって音楽データを生成して視聴可能に出力できるようにしたものである。
【０００９】
このようにユーザが入力したタイミング情報を用いることによって、滑らかに変化するメロディ音声や同音高が連続するメロディ音声が入力される場合、あるいは休符が入る場合であっても、正確にその音高や音価の判定を行うことができ、また、認識率の向上に伴う音楽データの修正も少なくすることができる。
【００１０】
また、この音楽データを生成する場合、ユーザが入力したメロディ音声に基づいてメロディデータを生成し、また、このメロディデータに基づいてコードなどの伴奏データを付与して音楽データを生成する。
【００１１】
このように構成すれば、単にユーザが入力したメロディ音声と同じメロディを生成するだけでなく、コード付けなどを施したより高度な音楽データを提供することができるようになる。
【００１２】
更に、この音声の入力やキーの押下および音楽データの出力を端末装置側で実行し、音楽データの生成処理をサーバ側で実行する。
【００１３】
このように構成すれば、サーバ側で高機能なコンピュータを用いることによって端末装置の機能に依存することのない高精度かつ均一な音楽データの生成処理を行うことができるようになる。
【００１４】
また、このようにサーバ装置側で生成した音楽データを端末装置側に送信する際、その端末装置で出力処理可能なファイル形式に変換して送信する。
【００１５】
このように構成すれば、端末装置側でファイル変換を行う必要がなくなり、特に、端末装置が携帯電話などのような小型端末であるような場合は、ファイル変換などに基づくバッテリーの消費などを抑えることが可能となる。
【００１６】
【発明の実施の形態】
以下、本発明における一実施の形態である音楽データ生成システム４について図面を用いて説明する。この実施の形態では、端末装置１である携帯電話および、音声データ取得装置２ａ、および音楽生成サーバ装置２ｂを備えて構成される。なお、端末装置１は、本実施の形態においては携帯電話を用いて説明するがこれに限らず、ＰＨＳ、ＰＤＡなどのような携帯端末の他、パーソナルコンピュータ、据え置きタイプの電話機、ＦＡＸ、ＡＶ機器などを使用することもできる。
【００１７】
この音楽データ生成システム４は、端末装置１、音声データ取得装置２ａ、音楽生成サーバ装置２ｂ、およびこれらを接続する電話回線３ａやデータ通信回線３ｂなどによって構成される。端末装置１は、メロディ音声の入力を受け付けるとともに、これと並行して、そのメロディのリズムに対応したキーの押下を受け付ける。そして、これらの情報を音楽データ取得装置２ａを介して音楽生成サーバ装置２ｂに送信し、音楽生成サーバ装置２ｂ側では、主にキーの押下情報に基づいてメロディの生成および、このメロディに対応するコード付けなどを行い、端末装置１側に送信して着信メロディなどとして使用できるようにしたものである。以下、本実施の形態における音楽データ生成システム４の各構成について具体的に説明する。
【００１８】
端末装置１は、少なくとも音声入力手段１０、音声送信手段１１、キー押下受付手段１２、テンポ出力手段１３、操作キーデータ送信手段１４、受信手段１５、記憶手段１６、出力手段１７などを具備する。また、これ以外にも携帯電話としての機能を実現するための種々の手段をも具備する。
【００１９】
音声入力手段１０は、携帯電話に本来装備されているマイクなどによって構成されるもので、ユーザが口ずさんだメロディ音声をアナログ情報として入力できるようにしたものである。このメロディ音声は、操作案内によるキーの操作によって入力開始が指示された後にその音声入力を受け付け、同じく操作案内によるキーの操作によって入力終了の指示がなされた場合にその入力の受け付けを終了する。この受け付けたメロディ音声は、直接音声送信手段１１に出力され、もしくは、一旦、端末装置１のメモリなどに記憶した後、音声送信手段１１に出力される。
【００２０】
音声送信手段１１は、音声入力手段１０によって入力されたメロディ音声をアナログ情報として音楽データ取得装置２ａ側に送信するもので、携帯電話の通話手段である電話回線３ａを通じてサーバ装置２側に送信する。
【００２１】
キー押下受付手段１２は、音声入力手段１０に入力されるメロディ音声のリズムに合わせたキーの押下を受け付けるもので、ちょうど打楽器を使用するような感覚でキーの押下を受け付けるものである。このキー押下受付手段１２は、携帯電話に本来装備されているテンキーなどのキーボタンと、そのキーが押下されたタイミングを検出する手段などから構成される。この押下が検出されると、このキー押下受付手段１２によって、その押下時間および押下タイミング間の長さまでが計測される。具体的には、例えば、キーが押下されたタイミングからキーの押下が解放されたタイミングまでの時間をクロックによって計測する。そして、その音長を図４に示すようにディスプレイに表示するとともに、操作キーデータ送信手段１４に出力する。また、このキー押下の受け付けは、単一のキーのみによってその押下を受け付けるばかりでなく、複数のいずれのキーも受け付けるようにしても良い。特に、複数のキーを受け付けるようにした場合は、早いリズムのメロディを入力する場合に有効である。
【００２２】
テンポ出力手段１３は、キー押下を補助するためのテンポを出力するもので、所定のテンポに合わせたメトロノーム音を周期的に出力するものである。このテンポの出力は、音声入力手段１０を機能させるためのスタートキーが押下された場合に出力が開始され、同じく、音声入力を終了されるためのキーが押下された場合にその出力が停止される。
【００２３】
操作キーデータ送信手段１４は、リズムに対応して受け付けたキーの押下タイミングに関する操作キーデータを、データ通信回線３ｂを通じて音楽生成サーバ装置２ｂ側に送信する。また、これに付随して、音楽生成サーバ装置２ｂ側から音楽データを受信するための情報として、端末装置１の電話番号・メールアドレスなどのＩＤ情報のほか、その端末装置１の機種情報などを記憶手段１６から読み出して送信する。
【００２４】
受信手段１５は、音楽生成サーバ装置２ｂから送信されてきた音楽データを受信し、記憶手段１６に渡す。
【００２５】
記憶手段１６は、端末装置１を動作させるために必要となる情報を記憶するもので、携帯電話を機能させるための動作実行プログラムの他、自端末の電話番号・メールアドレスなどのＩＤ情報、および、音楽生成サーバ装置２ｂから受け取った音楽データなどを記憶する。
【００２６】
出力手段１７は、音声情報や文字情報などを出力するもので、スピーカやディスプレイなどによって構成される。
【００２７】
一方、音声データ取得装置２ａは、端末装置１から電話回線３ａを通じて送信されてきたアナログの音声データを音声データ取得手段２０によって取得し、端末装置１のＩＤ情報とともにこれらの情報を音楽生成サーバ装置２ｂに出力する。
【００２８】
また、音楽生成サーバ装置２ｂは、操作キーデータ取得手段２１、統合処理手段２２、音楽データ生成手段２３、フォーマット変換手段２４、音楽データ送信手段２５などを具備して構成される。なお、ここで音楽生成サーバ装置２ｂとは、この実施の形態においては、音声データの取得と操作キーデータの取得、音楽データの生成処理などの諸機能を果たすもので、単体のコンピュータのみならず、複数のコンピュータなどが結合してこれらの機能を果たしている場合は、このシステムが音楽生成サーバ装置となる。
【００２９】
操作キーデータ取得手段２１は、端末装置１から送信されてきたリズムに対応した押下タイミングに関する操作キーデータおよびその端末装置１のＩＤ情報や機種情報を取得する。
【００３０】
統合処理手段２２は、音声データ取得手段２０および操作キーデータ取得手段２１から受け取った音声データおよび操作キーデータを統合する。この統合処理は、例えば、音声データの入力開始時に押下されたスタートキーなどを基準として、その音声データと操作キーデータとの対応をとった統合処理を行う。
【００３１】
音楽データ生成手段２３は、メロディデータを生成するメロディデータ生成手段２３ａと、コードなどの伴奏データを生成して付加する伴奏データ生成手段２３ｂとを具備する。
【００３２】
メロディデータ生成手段２３ａは、音声データ取得装置２ａおよび操作キーデータ取得手段２１によって取得したメロディ音声情報と操作キーデータを受け取り、これらの情報に基づいてメロディを生成する。具体的には、音声データ取得装置２ａから出力されてきた情報を、キーが押下されたタイミングからその押下が解放されたタイミングまでの時間分抽出し、そのタイミング間に対応したメロディ音声の基本周波数を検出して音高を決定する。そして、これと並行して、そのタイミング間隔に基づいて、その音高に対する音価を決定する。
【００３３】
伴奏データ生成手段２３ｂは、生成されたメロディデータに基づき、伴奏データであるコード進行などを生成する。このコード生成は、まず、与えられたメロディデータについて、三和音進行に従って許容される和音進行をすべて列挙する。この和音進行は、和声学上の「禁則」と呼ばれる規則群、すなわち、「こうするのがよい」「こうしなければならない」あるいは「こうやってはならない」などの規則群に従い、三和音については第一転回型、第二転回型を全て考慮し、属和音については七の和音および九の和音をその転回型まで考慮して生成する。そして、このように生成された全てのコードに対して、あらかじめ設定された評価テーブルに従ってコード進行の評価付けを行い、最も評価の高かったコード群を抽出してメロディに割り当てる。
【００３４】
フォーマット変換手段２４は、生成された音楽データを端末装置１の機種毎に出力可能なフォーマットに変換するものであり、端末装置１から送信されてきた機種情報に基づいて音楽データを変換する。このフォーマット変換手段２４は、あらかじめ音楽生成サーバ装置２ｂの図示しない記憶手段に機種情報およびそれに対応した出力可能なファイル形式を記憶し、その端末装置１の機種情報に基づいてこのファイル形式を読み出して変換する。
【００３５】
音楽データ送信手段２５は、このようにフォーマット変換された音楽データを、データ通信回線３ｂを介して端末ＩＤに対応した端末装置１に送信し、端末装置１の記憶手段１６に記憶させる。この送信は、デジタル情報として変換されたファイルを送信するものであるため、端末装置１のＩＤ情報に含まれるメールアドレス宛にデータ通信回線３ｂを介して送信する。
【００３６】
次に、このように構成された音楽データ生成システム４を用いた着信メロディの生成フローについて説明する。
【００３７】
まず、ユーザが自作のメロディを作成する場合、端末装置１でメロディ作成のためのアプリケーションを起動させ、図４に示すような操作案内に従ってメロディ音声を入力するためのスタートキーの押下を受け付ける（Ｓ１）。そして、この表示画面に表示されているスタートキーに対応するキーを受け付けることによって、テンポを出力するとともに（Ｓ２）、音声データ取得装置２ａとの電話回線をつなぎ、メロディ音声の入力を受け付ける（Ｓ３）。また、これと並行してリズムタイミングによるキー押下の受け付けを許容し（Ｓ４）、キーが押下される毎にそのタイミングを検知して端末装置１の表示画面にユーザ確認用の音長データを表示する（図４参照）。そして、メロディ音声の入力が完了した場合、終了キーの押下を受け付け（Ｓ５）、端末装置１のＩＤ情報である電話番号やメールアドレスなどとともにその操作キーデータを音楽生成サーバ装置２ｂに送信する（Ｓ６）。
【００３８】
これらに対応して、音声データ取得装置２ａでは、端末装置１で入力されたメロディ音声をアナログ情報として取得するとともに（Ｓ１０）、その端末装置１のＩＤ情報を認識してこれらの情報を音楽生成サーバ装置２ｂに渡す。
また、これと同じくして音楽生成サーバ装置２ｂは、端末装置１から送信されてきた操作キーデータをその端末装置１のＩＤ情報とともに取得し（Ｓ１１）、統合処理手段２２にその情報を渡す。
【００３９】
これに基づいて音楽生成サーバ装置２ｂは、別々に受信したメロディ音声と操作キーデータの統合処理を行う（Ｓ１２）。そして、この統合処理されたデータをメロディデータ生成手段２３ａに渡す。そのメロディデータ生成手段２３ａでは、操作キーデータの押下時点を認識して、キーが押下されたタイミングから解放されたタイミングまでの時間分、および次に押下された時点までの時間長の音声データを切り出し、その切り出された音声データの基本周波数を検知して音高を認識する。また、これと並行して、そのタイミング間隔に基づいて、先に認識処理した音高の音からその音価、すなわち、四分音符、八分音符などに対応する譜面上の長さを認識し、これらの情報に基づいてメロディデータを生成する（Ｓ１３）。
【００４０】
次に、このようにメロディデータを生成した後、このデータに基づき、メロディに対応した全てのコードを禁則に従って生成し（Ｓ１４）、この中から最も評価の高かったコード進行を抽出してメロディデータの各音に割り当てる（Ｓ１５）。
そして、このように生成された音楽データを端末装置１側で出力可能にすべく、その端末装置１の機種情報を読み出し、その端末装置１での出力可能なファイル形式にフォーマット変換する（Ｓ１６）。そして、この変換されたファイルを端末装置１のメールアドレスに添付ファイルとして送信し（Ｓ１７）、端末装置１側でこの情報を受信（Ｓ７）させることによって、記憶手段１６に再生可能に記憶させ（Ｓ８）、着信メロディなどとして出力できるようにする（Ｓ９）。
このように上記実施の形態によれば、マイクからメロディ音声の入力を受け付けるとともに、その入力されるメロディ音声のリズムに対応したキーの押下を受け付け、この受け付けたキーの押下タイミングに基づいてメロディ音声から音高情報と音価情報を抽出して音楽データを生成するようにしたので、滑らかに変化するメロディ音声や、同音高が連続するメロディ音声が入力された場合、あるいは休符がある場合であってもその判定を正確に行うことができるようになる。
【００４１】
また、この音楽データを生成する場合、ユーザが入力した音声に基づいてメロディデータを生成し、また、このメロディデータに基づいてコードなどの伴奏データを生成して、それぞれを割り当てるようにしたので、単にユーザが入力したメロディ音声と同じメロディだけでなく、コード付けした高度な楽曲を提供することができるようになる。
【００４２】
更に、このメロディ音声の入力やキーの押下、および視聴出力を端末装置１側で実行し、音楽データの生成処理を音楽生成サーバ装置２ｂ側で実行するように構成したので、音楽生成サーバ装置２ｂ側で高機能なコンピュータを用いることによって端末装置１の機能に依存することのない高精度かつ均一な音楽データの生成処理を行うことができるようになる。また、既に市場に流通している端末装置１に対しても音楽データ生成のためのソフトをダウンロードさせることなくメロディ音声による音楽データ生成のサービスを提供することができるようになる。
【００４３】
また、このように音楽生成サーバ装置２ｂ側で生成した音楽データを端末装置１側に送信する場合、その端末装置１で出力処理可能なファイル形式に変換して送信するようにしたので、端末装置１側でファイル変換を行う必要がなくなり、特に、端末装置１が携帯電話などのような小型端末であるような場合は、ファイル変換などに基づくバッテリーの消費を押さえることが可能となる。
【００４４】
なお、本発明は上記実施の形態に限定されることなく、種々な方法で実施することが可能である。
【００４５】
例えば、上記実施の形態では、音楽生成サーバ装置２ｂ側でメロディやコードの生成処理を行うようにしたが、端末装置１側でもこれらの処理が可能な場合は、端末装置１側にこれらの機能を持たせるようにしても良い。そして、音楽データ生成に関する全ての機能を端末装置１側に持たせた場合、本発明との関係においては、音楽データ生成システム４が端末装置１となる。
【００４６】
また、上記実施の形態では、キー押下と解放のタイミング間隔における周波数検出を行って音高を検出するようにしたが、これに限らず、キー押下されたタイミングの前後一定時間の周波数検出を行って音高を検出するようにしても良く、また、キーが押下されたタイミングから次にキーが押下されたタイミングまでの間の周波数検出を行って音高を検出するようにしても良い。
【００４７】
また、上記実施の形態では、メロディ音声と操作キーデータを別々に送信するようにしているが、メロディ音声と操作キーデータとをまとめて音楽生成サーバ装置２ｂ側に送信するようにしても良い。このように構成した場合は、音楽生成サーバ装置２ｂ側でそれぞれのデータの突き合わせ処理などを行う必要がなくなり、音楽生成サーバ装置２ｂでの処理の軽減を図ることができるようになる。
【００４８】
また、上記実施の形態では、生成される音楽データの使用例として着信メロディを例に挙げて説明したが、これに限らず、一般の視聴のための音楽として使用することもできる。
【００４９】
また、上記実施の形態では、入力されたメロディ音声を同じメロディを有する音楽データに変換するばかりでなく、コードの付与なども行うようにしているが、単にその入力されたメロディ音声と同じ音楽データに変換する処理だけを行うようにしても良い。また、このメロディデータだけへの変換を行うか、コード付与を行うかをユーザの希望により選択できるようにしてもよい。
【００５０】
【発明の効果】
本発明は、ユーザが口ずさむメロディ音声の入力を受け付けるとともに、その入力されるメロディ音声のリズムに対応したキーの押下を受け付け、この受け付けたキーの押下タイミングに基づいてメロディ音声から音高情報と音価情報を抽出する。そして、これらの情報によって音楽データを生成できるようにしたので、入力するメロディ音声が滑らかに変化するようなものや、同音高が連続するような場合、あるいは休符を含む場合であっても正確にその判定を行うことができる。
【図面の簡単な説明】
【図１】本実施形態における音楽データ生成システムの概観図
【図２】同形態におけるシステムブロック図
【図３】同形態におけるシステムのフローチャート
【図４】同形態における端末装置の表示画面例
【符号の説明】
１・・・端末装置
２ｂ・・・音楽生成サーバ装置
４・・・音楽データ生成システム
１０・・・音声入力手段
１２・・・キー押下受付手段
１７・・・出力手段
２３・・・音楽データ生成手段
２３ａ・・・メロディデータ生成手段
２３ｂ・・・伴奏データ生成手段
２４・・・フォーマット変換手段
２５・・・音楽データ送信手段
【図１】
2004226672.tif 000003
【図２】
2004226672.tif 000004
【図３】
2004226672.tif 000005
【図４】
2004226672.tif 000006