(57)【要約】   【課題】音声により簡単に作曲を行うことができる作曲プログラムおよび作曲装置を提供すること。  【解決手段】  発生されたのがノートオンであるか否かを判断する（Ｓ１１）。ノートオンが発生された場合は（Ｓ１１：Ｙｅｓ）、音声認識処理により検出された音韻をＲＡＭ１３から読出し、その音韻に対応するプログラムチェンジを音韻テーブル１１ｂを参照して取得する。ＲＡＭ１３には、直近のプログラムチェンジを記憶し、今回取得したプログラムチェンジが変更されたか否かを判断する（Ｓ１２）。プログラムチェンジが変更された場合は（Ｓ１２：Ｙｅｓ）、新たなプログラムチェンジと、現在の時刻とをＲＡＭ１３に演奏データとして記憶する（Ｓ１３）。ここで、現在の時刻は、設定されているテンポにより設定される時間間隔により計時されるとともに、演奏を開始した時刻を０として計時されるものである。  【選択図】    図７
2007011209.tif 000002
【特許請求の範囲】
【請求項１】
音声を入力する音声入力ステップと、その音声入力ステップにより入力された音声に基づいて演奏情報を形成する演奏情報形成ステップと、その演奏情報形成ステップにより形成された演奏情報を記憶手段に記憶する記憶ステップとを備えた作曲プログラムにおいて、
前記演奏情報形成ステップは、前記音声入力ステップにより入力された一連の音声の各音声の発生タイミングを検出する時間情報検出ステップと、
前記音声入力ステップにより入力された音声の音韻を検出する音韻検出ステップと、
その音韻検出ステップにより検出された音韻に対応する音色を設定する音色設定ステップと、
その音色設定ステップにより設定された音色に対応する演奏情報を、前記時間情報検出ステップにより検出されたタイミングに応じた時間情報により形成するものであることを特徴とする作曲プログラム。
【請求項２】
前記音声入力ステップにより入力された音声のピッチを検出するピッチ検出ステップを備え、
前記演奏情報形成ステップは、前記時間情報検出ステップにより検出されたタイミングに応じた時間情報と、前記ピッチ検出ステップにより検出されたピッチに応じた音高情報とを有する演奏情報を形成するものであることを特徴とする請求項１記載の作曲プログラム。
【請求項３】
前記音声入力ステップにより入力された音声のレベルを検出するレベル検出ステップを備え、
前記演奏情報形成ステップは、前記時間情報検出ステップにより検出されたタイミングに応じた時間情報と、前記レベル検出ステップにより検出されたレベルに応じた音量情報とを有する演奏情報を形成するものであることを特徴とする請求項１または２記載の作曲プログラム。
【請求項４】
複数のリズム楽器音により構成されるリズムパターンを複数記憶するリズムパターン記憶手段からリズムパターンを選択し、その選択されたリズムパターンをリズムパートとして曲を作成する作曲プログラムにおいて、
音声を入力する音声入力ステップと、
その音声入力ステップにより入力された音声の音韻を検出する音韻検出ステップと、
前記音韻検出ステップにより検出された複数の音韻の順列に基づいて前記リズムパターン記憶手段の中からリズムパターンを選択するリズムパターン選択ステップとを備えていることを特徴とする作曲プログラム。
【請求項５】
音声を入力する音声入力手段と、その音声入力手段により入力された音声に基づいて演奏情報を形成する演奏情報形成手段と、その演奏情報形成手段により形成された演奏情報を記憶手段に記憶する記憶手段とを備えた作曲装置において、
前記演奏情報形成手段は、前記音声入力手段により入力された一連の音声の各音声の発生タイミングを検出する時間情報検出手段と、
その音声の音韻を検出する音韻検出手段と、
その音韻検出手段により検出された音韻に対応する音色を設定する音色設定手段と、
その音色設定手段により設定された音色に対応する演奏情報を、前記時間情報検出手段により検出されたタイミングに応じた時間情報により形成するものであることを特徴とする作曲装置。
【請求項６】
前記音声入力手段により入力された音声のピッチを検出するピッチ検出手段を備え、
前記演奏情報形成手段は、前記時間情報検出手段により検出されたタイミングに応じた時間情報と、前記ピッチ検出手段により検出されたピッチに応じた音高情報とを有する演奏情報を形成するものであることを特徴とする請求項５記載の作曲装置。
【請求項７】
前記音声入力手段により入力された音声のレベルを検出するレベル検出手段を備え、
前記演奏情報形成手段は、前記時間情報検出手段により検出されたタイミングに応じた時間情報と、前記レベル検出手段により検出されたレベルに応じた音量情報とを有する演奏情報を形成するものであることを特徴とする請求項５または６記載の作曲装置。
【請求項８】
複数のリズム楽器音により構成されるリズムパターンを複数記憶するリズムパターン記憶手段からリズムパターンを選択し、その選択されたリズムパターンをリズムパートとして曲を作成する作曲装置において、
音声を入力する音声入力手段と、
その音声入力手段に入力された音声の音韻を検出する音韻検出手段と、
その音韻検出手段により検出された複数の音韻の順列に基づいて前記リズムパターン記憶手段の中からリズムパターンを選択するリズムパターン選択手段とを備えていることを特徴とする作曲装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロフォンなどから音声を入力することにより作曲を行うことができる作曲プログラムおよび作曲装置に関する。
【背景技術】
【０００２】
従来、マイクから一連の音声を入力すると、各音声のピッチやレベルやタイミングやその音声が持続された長さなどを検出し、楽譜に変換したり、その検出した情報で電子楽器の音源を制御して発音させることが行われている。
【０００３】
特開平１１−２２０５１８号公報（特許文献１）には、携帯電話機であって、マイクから入力する音声信号の音高を検出し、その音高から音階情報を求め、その音階情報を記憶手段に記憶して着信メロディとし、着信があった場合に記憶手段に記憶した音階情報を音源に送信することにより着信メロディを発生するものが開示されている。
【０００４】
また、特開２００１−２６５３３６号公報（特許文献２）には、特許文献１と同様に、携帯電話機であって、マイクから音声により入力する階名（ド、レ、ミ・・・）を音声認識により認識して音階情報を求め、同様に着信メロディを作成するものが開示されている。
【特許文献１】特開平１１−２２０５１８号公報
【特許文献２】特開２００１−２６５３３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１および特許文献２に記載されている携帯電話機では、音源により発生される楽音の音色を設定することについては記述されていない。音源において音色をユーザが指定するような場合には、操作が煩わしいという欠点がある。
【０００６】
また、ドラムセットなどのように複数の打楽器から構成されている複雑なリズムを構成する場合には、各楽器毎に楽譜を入力するか、予め設定されている多数のリズムパターンの中から選択する必要があった。多数のリズムパターンの中から選択する場合には、リズムパターンに付されている名称などにより選択することができるが、名称が不明の場合には、選択することが困難であるという欠点もあった。
【０００７】
本発明は、上記問題点を解決するためになされたものであり、音声により簡単に作曲を行うことができる作曲プログラムおよび作曲装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この目的を達成するために、請求項１記載の作曲プログラムは、音声を入力する音声入力ステップと、その音声入力ステップにより入力された音声に基づいて演奏情報を形成する演奏情報形成ステップと、その演奏情報形成ステップにより形成された演奏情報を記憶手段に記憶する記憶ステップとを備えたものであって、前記演奏情報形成ステップは、前記音声入力ステップにより入力された一連の音声の各音声の発生タイミングを検出する時間情報検出ステップと、前記音声入力ステップにより入力された音声の音韻を検出する音韻検出ステップと、その音韻検出ステップにより検出された音韻に対応する音色を設定する音色設定ステップと、その音色設定ステップにより設定された音色に対応する演奏情報を、前記時間情報検出ステップにより検出されたタイミングに応じた時間情報により形成するものである。
【０００９】
請求項２記載の作曲プログラムは、請求項１記載の作曲プログラムにおいて、前記音声入力ステップにより入力された音声のピッチを検出するピッチ検出ステップを備え、前記演奏情報形成ステップは、前記時間情報検出ステップにより検出されたタイミングに応じた時間情報と、前記ピッチ検出ステップにより検出されたピッチに応じた音高情報とを有する演奏情報を形成するものである。
【００１０】
請求項３記載の作曲プログラムは、請求項１または２記載の作曲プログラムにおいて、前記音声入力手段に入力された音声のレベルを検出するレベル検出ステップを備え、前記演奏情報形成ステップは、前記時間情報検出ステップにより検出されたタイミングに応じた時間情報と、前記レベル検出ステップにより検出されたレベルに応じた音量情報とを有する演奏情報を形成するものである。
【００１１】
請求項４記載の作曲プログラムは、複数のリズム楽器音により構成されるリズムパターンを複数記憶するリズムパターン記憶手段からリズムパターンを選択し、その選択されたリズムパターンをリズムパートとして曲を作成するものであって、音声を入力する音声入力ステップと、その音声入力ステップにより入力された音声の音韻を検出する音韻検出ステップと、その音韻検出ステップにより検出された複数の音韻の順列に基づいて前記リズムパターン記憶手段の中からリズムパターンを選択するリズムパターン選択ステップとを備えている。
【００１２】
請求項５記載の作曲装置は、音声を入力する音声入力手段と、その音声入力手段により入力された音声に基づいて演奏情報を形成する演奏情報形成手段と、その演奏情報形成手段により形成された演奏情報を記憶手段に記憶する記憶手段とを備えたものであって、前記演奏情報形成手段は、前記音声入力手段により入力された一連の音声の各音声の発生タイミングを検出する時間情報検出手段と、その音声の音韻を検出する音韻検出手段と、その音韻検出手段により検出された音韻に対応する音色を設定する音色設定手段と、その音色設定手段により設定された音色に対応する演奏情報を、前記時間情報検出手段により検出されたタイミングに応じた時間情報により形成するものである。
【００１３】
請求項６記載の作曲装置は、請求項５記載の作曲装置において、前記音声入力手段により入力された音声のピッチを検出するピッチ検出手段を備え、前記演奏情報形成手段は、前記時間情報検出手段により検出されたタイミングに応じた時間情報と、前記ピッチ検出手段により検出されたピッチに応じた音高情報とを有する演奏情報を形成するものである。
【００１４】
請求項７記載の作曲装置は、請求項５または６記載の作曲装置において、前記音声入力手段に入力された音声のレベルを検出するレベル検出手段を備え、前記演奏情報形成手段は、前記時間情報検出手段により検出されたタイミングに応じた時間情報と、前記レベル検出手段により検出されたレベルに応じた音量情報とを有する演奏情報を形成するものである。
【００１５】
請求項８記載の作曲装置は、複数のリズム楽器音により構成されるリズムパターンを複数記憶するリズムパターン記憶手段からリズムパターンを選択し、その選択されたリズムパターンをリズムパートとして曲を作成するものであって、音声を入力する音声入力手段と、その音声入力手段により入力された音声の音韻を検出する音韻検出手段と、その音韻検出手段により検出された複数の音韻の順列に基づいて前記リズムパターン記憶手段の中からリズムパターンを選択するリズムパターン選択手段とを備えている。
【発明の効果】
【００１６】
請求項１記載の作曲プログラムおよび請求項５記載の作曲装置によれば、演奏情報形成ステップまたは演奏情報形成手段は、音声入力ステップまたは音声入力手段により入力された一連の音声の各音声の発生タイミングを検出する時間情報検出ステップまたは時間情報検出手段と、その音声の音韻を検出する音韻検出ステップまたは音韻検出手段と、その音韻検出ステップまたは音韻検出手段により検出された音韻に対応する音色を設定する音色設定ステップまたは音色設定手段と、その音色設定ステップまたは音色設定手段により設定された音色に対応する演奏情報を、時間情報検出ステップまたは時間情報検出手段により検出されたタイミングに応じた時間情報により形成するものである。
【００１７】
よって、作曲者は、入力される音声により形成される演奏情報の音色を設定する必要がなく、操作性が向上するという効果がある。また、作曲者は、日常、音楽の表現を他人に伝えるためによく使用する擬音により演奏情報を設定することができるので、作曲を行う作業が容易になる。
【００１８】
請求項２記載の作曲プログラムおよび請求項６記載の作曲装置によれば、請求項１記載の作曲プログラムおよび請求項５記載の作曲装置の奏する効果に加え、音声入力ステップまたは音声入力手段により入力された音声のピッチを検出するピッチ検出ステップまたはピッチ検出手段を備え、演奏情報形成ステップまたは演奏情報形成手段は、時間情報検出ステップまたは時間情報検出手段により検出されたタイミングに応じた時間情報と、ピッチ検出ステップにより検出されたピッチに応じた音高情報とを有する演奏情報を形成するものであるので、鍵盤などの操作子を操作することなく、音声により容易に演奏情報の音高を設定することができるという効果がある。
【００１９】
請求項３記載の作曲プログラムおよび請求項７記載の作曲装置によれば、請求項１または２記載の作曲プログラムおよび請求項５または６記載の作曲装置の奏する効果に加え、音声入力ステップまたは音声入力手段に入力された音声のレベルを検出するレベル検出ステップまたはレベル検出手段を備え、演奏情報形成ステップまたは演奏情報形成手段は、時間情報検出ステップまたは時間情報検出手段により検出されたタイミングに応じた時間情報と、レベル検出ステップまたはレベル検出手段により検出されたレベルに応じた音量情報とを有する演奏情報を形成するものであるので、鍵盤などの操作子を音量に応じた速度で操作することなく、音声により容易に演奏情報の音高を設定することができるという効果がある。
【００２０】
請求項４記載の作曲プログラムおよび請求項８記載の作曲装置によれば、音声を入力する音声入力ステップまたは音声入力手段と、その音声入力ステップまたは音声入力手段により入力された音声の音韻を検出する音韻検出ステップまたは音韻検出手段と、その音韻検出ステップまたは音韻検出手段により検出された複数の音韻の順列に基づいて前記リズムパターン記憶手段の中からリズムパターンを選択するリズムパターン検出ステップまたはリズムパターン選択手段とを備えているので、容易にリズムパターンを選択することができるという効果がある。例えば、リズムパターンを選択するに際して、そのリズムパターンに付されている名称が不明の場合には、記憶されているリズムパターンを順次再生して探さなければならず、時間と手間がかかっていた。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の好ましい実施例について、添付図面を参照して説明する。図１は、携帯電話１、パーソナルコンピュータ（以下ＰＣと称す）４および携帯サーバ２が接続されるネットワークシステムを示す構成図である。ネットワークシステムは、多数の携帯電話１と、ＰＣ４と、これらを結ぶ通信網３とにより構成される。
【００２２】
携帯電話１は、無線により基地局と送受信を行い、通話を行ったり情報を送受することができる通信装置である。近年、携帯電話１は、大容量の記憶装置を備え、多数の音楽や映像を記憶することができるようになってきた。
【００２３】
また、携帯電話１には、着信したことを知らせるメロディや、通信網３を経由してダウンロードした音楽を再生することができる高音質の音源などが搭載されている。
【００２４】
図２は、携帯電話１の電気的な構成を示したブロック図である。携帯電話１は、ＣＰＵ１０と、ＲＯＭ１１と、フラッシュＲＯＭ１２と、ＲＡＭ１３と、通信部１４と、その通信部１４に接続された受話器１５と送話器１６と、デジタルカメラ１７と、ディスプレイ１８と、操作子１９と、音源２０と、アンプ２１とスピーカ２２とにより構成されている。ＣＰＵ１０は、ＲＯＭ１１に記憶された制御プログラムに従って、各種処理を行う中央処理装置であり、ＲＯＭ１１は、書き替えることができない不揮発性のメモリであって、各種制御プログラムや各種処理に必要な情報などを記憶している。
【００２５】
制御プログラムとしては、音声認識プログラム１１ａと、演奏情報作成プログラム１１ｃなどがあり、処理に必要な情報としては、音韻テーブルがある。音声認識プログラム１１ａは、携帯電話１の送話器１６に備えられたマイクロフォンから入力された音声の、音高、レベル、音韻などを検出するとともに、入力された一連の音声の各音声間の時間を検出するものである。
【００２６】
フラッシュＲＯＭ１２は、書き替えが可能な不揮発性のメモリであり、演奏情報などを記憶することができる。
【００２７】
ＲＡＭ１３は、ＣＰＵ１０が各種の処理を行う際に、変数や定数を一時記憶するためのワークエリアを有する揮発性のメモリである。通信部１４は、無線により携帯電話の基地局と通信を行うもので、受話器１５は、通信部１４で受信した相手方の送話を音声信号に変換して発音し、送話器（マイクロフォン）１６は、話し手の音声を電気信号に変換して通信部１４へ出力するものである。
【００２８】
通信部１４には、送話器１６により変換された音声のアナログ電気信号を所定のサンプリング周期でデジタル信号に変換するＡ／Ｄ変換器を備え、変換されたデジタル信号は、通話を行う通話モード時には、通信相手に送信され、作曲を行う作曲モードでは、音声の入力手段として機能し、ＣＰＵ１０に送られる。
【００２９】
また、通信部１４は、基地局を介して携帯電話サーバ２と接続され、携帯電話サーバ２から、映像や音楽データをダウンロードしたり、逆に携帯電話１により作曲された曲の演奏情報を、携帯電話サーバ２へアップロードすることができる。
【００３０】
また、携帯電話１において、ベースパートまたはメロディパートを入力し、その曲に和音付けを行いたい場合は、これらの演奏情報を通信部１４を介して携帯電話サーバ２へ送信し、携帯電話サーバ２が和音付けを行って、その和音データを通信部１４を介して携帯電話１へ送信することができる。
【００３１】
デジタルカメラ１７は、レンズを通して入力された映像をＣＣＤなどの素子によりデジタル画像データに変換してフラッシュＲＯＭに記憶するもので、記憶された画像データは、ディスプレイ１８に表示される。
ディスプレイ１８は、液晶により構成される表示器であって、カラーの静止画像や動画像を表示したり、メールにより受信したメッセージを表示したり、メッセージを作成する際に、入力された文字が順次表示するものである。
【００３２】
操作子１９は、携帯電話１の各種機能を設定したりカーソルを移動するスイッチと文字や数字を入力するキーとにより構成される。ディスプレイ１８上に、アイコンを表示し、そのアイコンにカーソルを合わせてクリックすることにより、機能を選択することも可能である。
【００３３】
音源２０は、ＭＩＤＩ規格により定められる発音の開始または停止などを指示する情報を入力し、その情報に対応する楽音を形成するもので、ピアノやバイオリンなどの各種楽器音を記憶し、これらを読出して音高やレベルなどが制御される。
【００３４】
アンプ２１は、音源２０により出力されたデジタル音声信号をアナログ信号に変換し、そのアナログ信号を増幅してスピーカ２２を駆動し、スピーカ２２は、楽音を放音するものである。
【００３５】
図３は、携帯電話サーバ２の電気的な構成を示したブロック図である。携帯電話サーバ２は、ＣＰＵ３０と、ＲＯＭ３１と、ＲＡＭ３２と、通信インターフェース３３と、ハードディスク３４と、キーボード３５と、ディスプレイ３６とにより構成されている。ＣＰＵ３０は、高性能なマイクロプロセッサであり、ＲＯＭ３１に記憶された制御プログラムに従って各種処理を行うものであり、ＲＯＭ３１は、書き替えることができない不揮発性のメモリであって、各種制御プログラムや各種処理に必要な定数などを記憶している。
【００３６】
ＲＡＭ３２は、ＣＰＵ３０が各種の処理を行う際に、変数や定数を一時記憶するためのワークエリアを有する揮発性のメモリである。通信インターフェース３３は、携帯電話通信網３を介して各携帯電話１と通信を行うインターフェースであり、基地局とは光ファイバーなどで接続されている。
【００３７】
ハードディスク３４は、大容量の不揮発性メモリであり、携帯電話１に提供する着信メロディや画像や各種情報などを記憶している。この実施例では、和音付けプログラム３４ａを記憶しているものとする。この和音付けプログラム１１ａは、携帯電話１またはＰＣ４において、ベースやメロディが入力され、そのベースやメロディに和音を付ける処理を行うプログラムである。携帯電話１やＰＣ４において、ユーザが曲の進行に合わせて和音付けを行うこともできるが音楽の知識がないと困難である。そこで、携帯電話１またはＰＣ４でベースまたはメロディのパートを入力するとその演奏情報を携帯サーバ２に送信する。携帯サーバ２は、べースまたはメロディを受信し、さらにユーザが希望する音楽のジャンル（クラシック、ジャズ、ロックなど）などを指定することにより、その曲に和音進行が付けられ、ユーザに送信される
キーボード３５は、コンピュータ用のキーボードであって、英数文字に対応する複数のキーを有し、情報を入力したり、プログラムの実行、停止を指示することができる。ディスプレイ３６は、液晶等の表示器であって、キーボード３５を用いて文字を入力する場合には、その文字が表示されたり、実行中のプログラムの進捗状況などが表示される。
【００３８】
つぎに、携帯電話１のディスプレイ１８に表示される画面について図４を参照して説明する。図４は、メニュー画面から作曲モードまたは再生モードを選択した場合にディスプレイ１８に表示される画面を示す図であって、（ａ）は、作曲モード、（ｂ）は、再生モードをそれぞれ示している。
【００３９】
図４（ａ）に示すように、作曲モードにおいては、画面にテンポ１８ａ、メトロノームのオンオフ１８ｂ、パート番号１８ｃ、スタートボタン１８ｄ、ストップボタン１８ｅが表示される。ユーザは、まず曲のテンポを入力する。テンポの設定は、カーソルをテンポの表示窓に合わせ、数値を入力するか、数値を増減する操作を行って設定する。数値で入力する以外に、所定のスイッチをテンポに対応する時間間隔で操作し、その時間間隔を検出してテンポ値を設定するようにしてもよい。また、例えば音声で、テンポに対応する時間間隔で、「カチ、カチ、カチ・・・」というように入力すると、その時間間隔を検出してテンポを設定するようにしてもよい。
【００４０】
つぎに、メトロノームをオンに設定する。メトロノームのオンオフを表示する表示窓にカーソル合わせ、オンオフを切り替えて選択する。次に、入力するパートの番号を設定する。つぎにスタートボタン１８ｄにカーソルを合わせてクリックすると、メトロノームが設定されたテンポ値に合ったテンポで楽音の発生を開始する。
【００４１】
ユーザは、メトロノームの音に合わせて一連の音声を入力する。携帯電話１は、この入力された音声の音韻、音高、レベル、入力される時間間隔などを音声認識プログラムにより認識する。
【００４２】
一つのパートの入力を終了すると、ストップボタン１８ｅにカーソルを合わせてクリックし、一つのパートの入力を終了する。第一のパートとしては、ドラムなどの打楽器がよく使用され、つぎに、メトロノームをオフにして、スタートするとすでに入力されたパートが再生され、そのパートの演奏に合わせて、パート番号を２に設定し、つぎのパートの演奏を入力することができる。パートの入力が終了した時点で、それまでに入力した演奏を再生して確認し、不具合があれば、再度、同じパート番号を設定することで再入力することができる。
【００４３】
つぎに再生モードについて説明する。図４（ｂ）に示すように、再生モードにおいては、曲名１８ｆ、テンポ１８ａ、スタートボタン１８ｄ、ストップボタン１８ｅなどが表示される。作曲モードにおいて、作曲された曲には、曲名が付され、フラッシュＲＯＭ１２などに記憶される。再生する場合には、所定の操作を行って選曲を行い、選曲された曲の曲名が、曲名１８ｆに表示される。
【００４４】
テンポ１８ａは、再生するテンポ値を示すものであって、作曲を行う場合とは異なるテンポで再生することができる。例えば、作曲を行うときは遅いテンポで入力し、再生する場合には、速く再生することなどができる。
【００４５】
このようにして、曲名とテンポを設定し、スタートボタン１８ｄを操作すると、選択された曲が、設定されたテンポで再生される。
【００４６】
つぎに、図５を参照して、入力される音韻とその音韻に対応する音色およびその音色に割り当てられるＭＩＤＩチャネルについて説明する。図５は、入力された音声の音韻に対して割り当てる音色とＭＩＤＩチャネルとを示す音韻テーブルである。
【００４７】
音韻テーブルの第１列には、音韻をカタカナとローマ字で示し、第２列には、その音韻に割り当てられる音色（楽器名）を示し、第３列には、その音色に割り当てられるＭＩＤＩチャネルを示している。第４列には、ＭＩＤＩチャネル１０に割り当てられた打楽器について規定されているノートナンバを示す。
【００４８】
第１行には、「ズ」と入力された場合には、ピアノの左手の演奏が割り当てられ、ＭＩＤＩチャネルは、１に設定されることが示されている。この音韻の場合には、音高は、検出されず、このタイミングで、和音を演奏するものとする。和音は、ベースまたはメロディが入力された後、そのベースまたはメロディに対して、携帯電話サーバ２により付けられるものである。
【００４９】
第２行には、「チャ」と入力された場合に、ピアノの右手の演奏が割り当てられ、ＭＩＤＩチャネルは、同じく１に設定されることが示されている。この音韻の場合には、単音が割り当てられ、検出された音声の音高によりＭＩＤＩのノートオンのノートナンバが決定され、検出された音声のレベルによりベロシティが決定される。
【００５０】
第３行には、「ブン」と入力された場合に、電気ベースが割り当てられ、ＭＩＤＩチャネルは、２に設定されることが示されている。同様に、第４行に示すように、「ボン」と入力された場合には、アコースティックベースが割り当てられ、ＭＩＤＩチャネルは、２に割り当てられる。音色が、電気ベースまたはアコースティックベースである場合には、検出された音高を２オクターブ低い音高変換し、ノートナンバとし、音声のレベルによりベロシティを決定する。
【００５１】
音韻が「アハ」である場合は、ストリングス、音韻が「パ」である場合には、トランペットが、音韻が「プ」である場合には、サキソフォン、音韻が「フ」である場合には、フルートがそれぞれ割り当てられ、同様に、検出された音高によりノートナンバが、検出されたレベルによりベロシティが決定され、それぞれテーブルに示すＭＩＤＩチャネルが設定される。
【００５２】
音韻が「ピ」の場合は、ピッコロが割り当てられ、検出された音高を１オクターブ高いノートナンバに変換され、検出されたレベルによりベロシティが決定され、ＭＩＤＩチャネルは、７に設定される。
【００５３】
上記の、音高を有する楽器名、  ピアノ、電気ベース、アコースティックベースなどには、ＭＩＤＩ規格により規定されるプログラムチェンジが割り当てられる。ここでは、ＭＩＤＩ規格のうち、ＧＭ（General MIDI）規格により規定される割り当てを行うものとしている。
【００５４】
打楽器については、音高を有さないので、ＧＭ規格では、ＭＩＤＩチャネルを１０とし、各打楽器には、ノートナンバを割り当てるように規定されている。音韻が「ダ」である場合は、スネアドラムが割り当てられ、ＭＩＤＩチャネル１０、ノートナンバは３８に設定される。検出されたレベルによりベロシティが決定されるのは、同様である。リムショット以下の打楽器については、図５に示すように同様に設定される。
【００５５】
つぎに、図６に示すフローチャートを参照して、音声認識処理について説明する。この音声認識処理は、携帯電話１のＲＯＭ１１に記憶された音声認識プログラム１１ａにより実行される処理であり、作曲モードにおいて、スタートボタン１８ｄが操作された場合に起動される。
【００５６】
まず、音声を入力し（Ｓ１）、音韻を検出する（Ｓ２）。検出した音韻は、ＲＡＭ１３の音韻を記憶する領域に記憶し、つぎに、入力された音声の音高を検出する（Ｓ３）。検出した音高は、同様にＲＡＭ１３の音高を記憶する領域に記憶し、さらに入力された音声のレベル（振幅）を検出する（Ｓ４）。検出されたレベルは、同様にＲＡＭ１３のレベルを記憶する領域に記憶する。
【００５７】
つぎに、検出された音韻、音高、レベルなどが変化したか否かによりノートオンを発生するか否かを判断する（Ｓ５）。ノートオンは、新たな楽音の形成の開始を音源に指示する命令である。音韻が変化した場合や、音高が半音以上変化した場合、またレベルが急激に立ち上がった場合などに発生する。
【００５８】
ノートオンを発生しないと判断した場合は（Ｓ５：Ｎｏ）、つぎに、レベルなどが変化したか否かによりノートオフを発生するか否かを判断する（Ｓ６）。ノートオフは、音源に発生している楽音の停止を指示する命令であるので、検出されたレベルが所定の閾値以下になったような場合に発生する。
【００５９】
Ｓ５の判断処理でノートオンを発生すると判断した場合（Ｓ５：Ｙｅｓ）およびＳ６の判断処理でノートオフを発生すると判断した場合（Ｓ６：Ｙｅｓ）は、演奏情報作成処理を行う（Ｓ７）。演奏情報作成処理については、図７を参照して後述する。
【００６０】
Ｓ７において演奏情報作成処理を終了した場合およびＳ６の判断処理においてノートオフを発生しないと判断した場合（Ｓ６：Ｎｏ）は、つぎに、音声の入力を停止を示すストップボタン１８ｅが操作されたか否かを判断し（Ｓ８）、ストップボタンが１８ｅが操作された場合は（Ｓ８：Ｙｅｓ）、この音声認識処理を終了し、ストップボタン１８ｅが操作されていない場合は（Ｓ８：Ｎｏ）、Ｓ１の処理に戻り、この音声認識処理を繰り返す。
【００６１】
なお、この音声認識処理は、繰り返し実行されるものとしたが、サンプリング周期毎に行う、あるいは、サンプリングにより複数の振幅値（例えば３２）を入力した場合に実行するようにしてもよい。
【００６２】
つぎに、図７を参照して、演奏情報を作成する演奏情報作成処理について説明する。図７は、ＲＯＭ１１に記憶される演奏情報作成プログラム１１ｃにより処理される演奏情報作成処理を示すフローチャートである。この演奏情報作成処理は、図６に示す音声認識処理において、ノートオンまたはノートオフを発生すると判断された場合に、実行される処理である。なお、この処理では、説明を簡単にするために、検出された音韻が打楽器ではない音高を有する楽器に対応するものとする。
【００６３】
まず、発生されたのがノートオンであるか否かを判断する（Ｓ１１）。ノートオンが発生された場合は（Ｓ１１：Ｙｅｓ）、音声認識処理により検出された音韻をＲＡＭ１３から読出し、その音韻に対応するプログラムチェンジを音韻テーブル１１ｂを参照して取得する。ＲＡＭ１３には、プログラムチェンジを記憶する領域を有し、直近のプログラムチェンジを記憶し、今回取得したプログラムチェンジが変更されたか否かを判断する（Ｓ１２）。プログラムチェンジが変更された場合は（Ｓ１２：Ｙｅｓ）、新たなプログラムチェンジをプログラムチェンジ記憶領域に記憶するとともに、新たなプログラムチェンジと現在の時刻とをＲＡＭ１３に備えられた演奏情報記憶領域に演奏情報として記憶する（Ｓ１３）。ここで、現在の時刻は、設定されているテンポにより設定される時間間隔により計時されるとともに、演奏を開始した時刻を０として計時されるものである。
【００６４】
つぎに、検出された音高に対応するノートナンバを取得する（Ｓ１４）。音高の値とノートナンバとの対応関係は、ＲＯＭ１３にテーブルとして記憶され、このテーブルを参照してノートナンバが決定される。
【００６５】
つぎに検出された音韻が、ベースやピッコロのように音高を変更する音色に対応する音色であるか否かを判断する（Ｓ１５）。音高を変更する音色である場合は（Ｓ１５：Ｙｅｓ）、検出された音高に対応するノートナンバを音色に応じて変更する（Ｓ１６）。ノートナンバは、半音を１とするので、１オクターブは、１２に相当する。従って、ベースのように２オクターブ低い音高に変更する場合には、検出された音高に対応するノートナンバから２４を引いた値とし、ピッコロのように２オクターブ高い音高に変更する場合には、検出された音高に対応するノートナンバに２４を加算した値とする。
【００６６】
ノートナンバを変更した場合および音色により音高を変更しない場合は（Ｓ１５：Ｎｏ）、ノートオンを示すステータスと、ノートナンバと、レベルに対応して取得したベロシティによりノートオンメッセージを形成し、現在時刻を付して演奏情報としてＲＡＭ１３に記憶する（Ｓ１７）。
【００６７】
Ｓ１１の判断処理で、ノートオンではないと判断した場合（Ｓ１１：Ｎｏ）は、ノートオフであるので、ノートオフのステータスと、直近のノートオンのノートナンバと、レベルの減少の様子からノートオフベロシティを取得し、ノートオフメッセージを形成し、現在時刻を付して演奏情報としてＲＡＭ１３に記憶する（Ｓ１８）。
【００６８】
なお、メッセージのステータスの一部にＭＩＤＩチャネルが、記憶される。また、音韻により打楽器であると検出された場合には、プログラムチェンジが記憶されずに、ノートナンバに置き換えられるとともに、ノートオフは、発生されないという点が異なる。
【００６９】
曲に和音付けを行う場合は、ベースまたは、いずれかの楽器で作成したメロディの演奏情報を、携帯電話サーバ２に送信し、携帯電話サーバ２において和音付けを行うことができる。ベースまたはメロディに基づいて和音付けを行うことについては、特開２００４−３０２３１８号公報や特開平６−１２４０８９号公報に開示されている。
【００７０】
曲に和音付けが行われると、和音を同時に鍵盤で演奏することを指示する音韻である「ズ」（図５参照）を所定のタイミングで入力することにより、和音演奏の演奏情報を入力することができる。なお、アルペジオ（分散和音）パターンを入力する音韻を別途定めて、アルペジオ演奏を行う演奏情報を形成するようにしてもよい。
【００７１】
以上のようにして演奏情報を作成し、この演奏情報を再生しながら歌やコーラスを入力してもよい。また、このようして作成された曲に、リバーブなどのエフェクトをかけ、よりよい音楽に仕上げることができる。
【００７２】
なお、上記実施形態では、打楽器により形成されるリズムパートは、一つの楽器に一つの音韻を割り当てるものとしたが、予め、多数のリズムパターンを記憶し、複数の音韻の順列により、最適なリズムパターンを選択し、リズムパートを形成するようにしてもよい。例えば、８ビート、１６ビート、ロック、演歌などのジャンル毎に、複数の打楽器により構成されるリズムパターンをＲＯＭ１１に記憶し、各リズムパターンには、音声により入力される複数の音韻の順列とを割り当てて記憶する。複数の音韻の順列とは、例えば、８ビートは、「ツ・ツ・タ・ツ・ツ・ツ・タ・ツ」、１６ビートは、「ツクツクタクツク・ツクツクタクツク」、ロックは「ドン・ツク・ツク・タン・ドン・ツク・タン・ツク」、演歌は、「ズンチャカチャッチャ・ズンチャ・ズンチャ」などである。なお、１回の複数の音韻の順列の入力に対して、その入力に適合する複数のリズムパターンを提示し、その複数のリズムパターンの中からいずれかを選択するようにしてもよい。
【００７３】
以上のように、上記実施形態によれば、音韻と楽器名あるいは音韻の順列とリズムパターンとの対応をＲＯＭ１１などに記憶し、一連の音声により入力が行われた場合に、その音韻によって楽器名あるいはリズムパターンを選択することができる。よって、楽器名をその都度入力する必要がなく、容易に演奏情報を入力することができる。
【００７４】
また、音韻と楽器名、あるいは音韻の順列とリズムパターンの関係は、音楽を表現する場合に、よく使われる表現であるので、表現力を伴う入力を行うことができる。
【００７５】
なお、請求項１記載の音声入力ステップおよび請求項５記載の音声入力手段は、図６に記載のフローチャートのＳ１の処理が該当し、請求項１記載の音韻検出ステップおよび請求項５記載の音韻検出手段は、同フローチャートのＳ２の処理が該当し、請求項１記載の時間情報検出ステップおよび請求項５記載の時間情報検出手段は、図７に記載のフローチャートのＳ１７およびＳ１８の処理が該当する。
【００７６】
また、請求項２記載のピッチ検出ステップおよび請求項６記載のピッチ検出手段は、図６に記載のフローチャートのＳ３の処理が該当し、請求項３記載のレベル検出ステップおよび請求項７記載のレベル検出手段は、同フローチャートのＳ４の処理が該当する。
【００７７】
以上、上記実施形態に基づき本発明を説明したが、本発明は、上記実施形態に何ら限定されるものでなく、本発明の趣旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。
【００７８】
例えば、上記実施形態では、携帯電話１において音声を入力するものとしたが、ＰＣ４にマイクロフォンなどの音声入力装置を備えるとともに、音声認識プログラムをインストールして、ＰＣ４において入力された音声の音韻、音高、レベルを検出し、演奏情報を生成するようにしてもよい。
【００７９】
また、上記実施形態では、ベースまたはメロディに基づいて、携帯電話サーバ２が和音付けを行うものとしたが、携帯電話１または、ＰＣ４において行うようにしてもよい。
【００８０】
また、上記実施形態では、音韻に対応する楽器名を予めＲＯＭ１１の音韻テーブルに記憶しておくものとしたが、ユーザが任意に音韻とその音韻に対応する楽器名あるいはプログラムチェンジを設定し、フラッシュＲＯＭ１２に記憶するようにしてもよい。このようにすることで、ユーザが使い慣れている表現で入力を行うことができるので、より表現力を高めることができる。
【００８１】
また、上記実施形態では、音韻と楽器名とを１対１で関係つけるものとしたが、音高を徐々に変化するポルタメントや、周期的に音高を変化するビブラートや、周期的に音量を変化するトレモロなどの奏法については、楽器名とは異なる音韻として楽器名は変化せずに奏法のみが変化するようにしてもよい。例えば、右手によるピアノ演奏で「チャーララララ」と発声した場合は、ラララの部分はグリッサンド（鍵盤の鍵を順次上方向または下方向へなぞる奏法）とし、トランペット（トロンボーン）の演奏で「パラララ」と発声した場合も、ラララの部分はポルタメントとし、サキソフォンの演奏で、「プーラリラリ」と発声した場合は、ラリラリの部分は、ビブラートあるいはトレモロとするなどとしてもよい。
【００８２】
また、上記実施形態では、演奏情報は、ＭＩＤＩデータと時間情報により形成されるものとしたが、この演奏情報に基づいて自動演奏を行い、その演奏を所定のサンプリング周波数でサンプリングしてフラッシュＲＯＭ１２に記憶し、着信メロディとして使用したり、友人などに送信して楽しんでもらうようにしてもよい。
【００８３】
また、上記実施形態では、音色がベースの場合は、その音高を、検出された音高を２オクターブ低くして設定し、音色がピッコロの場合は、その音高を、検出された音高を２オクターブ高くして設定したが、音声が女声であるか男声であるかを判断し、女声は、男声より１オクターブ高いので、音色がベースの場合には、検出された音高を、男声なら２オクターブ低く、女声なら３オクターブ低く設定し、音色がピッコロの場合は、検出された音高を男声なら２オクターブ高く、女声なら１オクターブ高く設定するようにしてもよい。
【図面の簡単な説明】
【００８４】
【図１】本発明によるネットワークシステムの構成図である。
【図２】携帯電話の電気的な構成を示したブロック図である。
【図３】携帯電話サーバの電気的な構成を示したブロック図である。
【図４】携帯電話における操作画面を示す画面図である。
【図５】音韻と楽器名との対応を示す音韻テーブルである。
【図６】音声認識処理を示すフローチャートである。
【図７】演奏情報作成処理を示すフローチャートである。
【符号の説明】
【００８５】
１                  携帯電話
２                  携帯電話サーバ
３                  通信回線
４                  パーソナルコンピュータ
１０                ＣＰＵ
１１                ＲＯＭ
１１ａ              音声認識プログラム
１１ｂ              音韻テーブル
１１ｃ              演奏情報作成プログラム
１６                送話器（音声入力手段）
１８                ディスプレイ
２０                音源
３４                ハードディスク
３４ａ              和音付けプログラム
【図１】
2007011209.tif 000003
【図２】
2007011209.tif 000004
【図３】
2007011209.tif 000005
【図４】
2007011209.tif 000006
【図５】
2007011209.tif 000007
【図６】
2007011209.tif 000008
【図７】
2007011209.tif 000009