(57)【要約】【課題】  楽曲に合わせて利用者が歌った歌唱の自動採点が可能になる移動体通信端末、カラオケシステム及びプログラムを提供する。【解決手段】  移動体通信端末（携帯電話機２０）は、音信号生成手段２１６と画像信号生成手段２１７と外部インターフェース手段２１８と基準データ抽出手段２３０と歌唱データ抽出手段２３１と比較手段とを備える。基準データ抽出手段２３０は、データ記憶手段２１４から読み出した楽曲データに基づいて採点基準の旋律の基準ピッチデータを抽出する。歌唱データ抽出手段２３１は、音声入力手段２１５から入力された音声信号に基づいて歌唱ピッチデータを抽出する。比較手段２３２は、基準ピッチデータと歌唱ピッチデータとを比較する。【選択図】  図５
2006162778.tif 000002
【特許請求の範囲】
【請求項１】
音声入力手段と、通信ネットワークを介した通信を行うための通信手段とを備えた移動体通信端末であって、
楽曲データ及び画像データを記憶するデータ記憶手段と、
該データ記憶手段から読み出した楽曲データに基づいて楽曲の音信号を生成し、該楽曲の音信号と該音声入力手段から入力された歌唱の音声信号とを混合し、出力用の音信号を生成する音信号生成手段と、
該データ記憶手段から読み出した画像データに基づいて出力用の画像信号を生成する画像信号生成手段と、
該音信号生成手段で生成した出力用の音信号及び該画像信号生成手段で生成した出力用の画像信号を、外部出力装置に送信する外部インターフェース手段と、
該データ記憶手段から読み出した楽曲データに基づいて採点基準の旋律の基準ピッチデータを抽出する基準ピッチデータ抽出手段と、
該音声入力手段から入力された音声信号に基づいて歌唱ピッチデータを抽出する歌唱ピッチデータ抽出手段と、
該基準ピッチデータと該歌唱ピッチデータとを比較するピッチ比較手段とを備えたことを特徴とする移動体通信端末。
【請求項２】
請求項１の移動体通信端末において、
上記データ記憶手段から読み出した楽曲データに基づいて上記採点基準の旋律における基準音量データを抽出する基準音量データ抽出手段と、
上記音声入力手段から入力された音声信号に基づいて歌唱音量データを抽出する歌唱音量データ抽出手段と、
該基準音量データと該歌唱音量データとを比較する音量比較手段とを備えたことを特徴とする移動体通信端末。
【請求項３】
請求項１又は２の移動体通信端末において、
上記画像信号生成手段は、上記比較の結果に基づいて算出した採点の情報を含む出力用の画像信号を生成することを特徴とする移動体通信端末。
【請求項４】
請求項１又は２の移動体通信端末において、
上記音信号生成手段は、上記比較の結果に基づいて算出した採点の情報を含む出力用の音信号を生成することを特徴とする移動体通信端末。
【請求項５】
請求項１乃至４のいずれかの移動体通信端末において、
上記楽曲データが複数の歌唱旋律に対応している場合に該複数の歌唱旋律から採点基準の旋律を指定するための採点旋律指定手段を備え、
上記基準ピッチデータ抽出手段は、該採点旋律指定手段で指定した該採点基準の旋律の基準ピッチデータを抽出することを特徴とする移動体通信端末。
【請求項６】
請求項１乃至５のいずれかの移動体通信端末において、
アプリケーションプログラムの実行を管理するアプリケーションプログラム実行管理手段を備え、
上記出力用の音信号及び画像信号の生成処理、該音信号及び該画像信号の送信処理、上記楽曲ピッチデータの抽出処理、上記歌唱ピッチデータの抽出処理並びに上記ピッチデータの比較処理の少なくとも一つの処理を、実行中のアプリケーションプログラムによって発生した指令に基づいて実行することを特徴とする移動体通信端末。
【請求項７】
請求項１乃至６のいずれかの移動体通信端末において、
上記外部インターフェース手段は、上記音信号及び上記画像信号を有線通信によって送信することを特徴とする移動体通信端末。
【請求項８】
請求項１乃至６のいずれかの移動体通信端末において、
上記外部インターフェース手段は、上記音信号及び上記画像信号を無線通信によって送信することを特徴とする移動体通信端末。
【請求項９】
請求項７の移動体通信端末と、画像を表示する表示手段及び音を出力する音出力手段を有する外部出力装置と、該移動体通信端末と該外部出力装置との間の通信に用いる通信ケーブルとを備え、
該外部出力装置は、該通信ケーブルを介して該移動体通信端末から音信号及び画像信号を受信する外部インターフェース手段を有することを特徴とするカラオケシステム。
【請求項１０】
請求項８の移動体通信端末と、画像を表示する表示手段及び音を出力する音出力手段を有する外部出力装置とを備え、
該外部出力装置は、該移動体通信端末との間で無線通信するための外部インターフェース手段を有することを特徴とするカラオケシステム。
【請求項１１】
音声入力手段とデータ記憶手段と通信ネットワークを介した通信を行うための通信手段とを備えた移動体通信端末に設けられたコンピュータで実行されるプログラムであって、
該データ記憶手段から読み出した楽曲データに基づいて楽曲の音信号を生成し、該楽曲の音信号と該音声入力手段から入力された歌唱の音声信号とを混合し、出力用の音信号を生成する機能と、
該データ記憶手段から読み出した画像データに基づいて出力用の画像信号を生成する機能と、
該出力用の音信号及び該出力用の画像信号を外部出力装置に送信する機能と、
該データ記憶手段から読み出した楽曲データに基づいて採点基準の旋律の基準ピッチデータを抽出する機能と、
該音声入力手段から入力された音声信号に基づいて歌唱ピッチデータを抽出する機能と、
該基準ピッチデータと該歌唱ピッチデータとを比較する機能と
からなる複数の機能の少なくとも一つの機能を該コンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話機等の移動体通信端末、該移動体通信端末を用いたカラオケシステム及びそれらに用いるプログラムに関するものである。
【背景技術】
【０００２】
従来、この種のカラオケシステムとして、移動体通信端末としての携帯電話機と、マイクを有し携帯電話機に接続して用いる携帯式カラオケ装置と、このカラオケ装置から送信された音信号を含む電波を受けるラジオとを用いて構成したものが知られている（特許文献１参照）。このカラオケシステムでは、携帯電話機で再生した伴奏の楽曲の音信号を、携帯電話機に接続されているカラオケ装置に送る。そして、カラオケ装置のマイクから入力された利用者の音声信号と、携帯電話機から受信した楽曲の音信号とを混合し、その混合した音信号を電波に変換し、携帯電話機及びカラオケ装置に対する外部出力装置であるラジオに送信する。このラジオは、上記カラオケ装置からの電波を受けてカラオケ伴奏の楽曲と利用者の音声とを出力する。
【特許文献１】特開２００２−３４１８８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来のカラオケシステムでは、利用者の音声を入力するために、携帯電話機とは別に設けたマイク付き別装置であるカラオケ装置を、携帯電話機に接続して用いる必要があるという問題点があった。また、このカラオケシステムでは、上記携帯電話機に接続したカラオケ装置から外部出力装置へ送信する信号が上記音声及び楽曲の音信号だけであり、ラジオに代えて画像表示機能を有する外部出力装置を外部出力装置として用いる場合でも、カラオケの楽曲の歌詞等の含むカラオケ用の画像を表示することができないという問題点もあった。
そこで、本出願人は、移動体通信端末とは別のマイク付き別装置を用いることなく、カラオケ用の楽曲、音声及び画像を移動体通信端末から外部出力装置に出力することができるカラオケシステム及びそのシステムに用いる移動体通信端末を提案した（特願２００４−１１６０２６参照）。
本発明は、上記提案の移動体通信端末及びカラオケシステムの改良に関するものであり、その目的は、移動体通信端末とは別のマイク付き別装置を用いることなく、カラオケ用の楽曲、音声及び画像を移動体通信端末から外部出力装置に出力することができるとともに、楽曲に合わせて利用者が歌った歌唱の自動採点が可能になる移動体通信端末、カラオケシステム及びプログラムを提供することである。
【課題を解決するための手段】
【０００４】
上記目的を達成するために、請求項１の発明は、音声入力手段と、通信ネットワークを介した通信を行うための通信手段とを備えた移動体通信端末であって、楽曲データ及び画像データを記憶するデータ記憶手段と、該データ記憶手段から読み出した楽曲データに基づいて楽曲の音信号を生成し、該楽曲の音信号と該音声入力手段から入力された歌唱の音声信号とを混合し、出力用の音信号を生成する音信号生成手段と、該データ記憶手段から読み出した画像データに基づいて出力用の画像信号を生成する画像信号生成手段と、該音信号生成手段で生成した出力用の音信号及び該画像信号生成手段で生成した出力用の画像信号を、外部出力装置に送信する外部インターフェース手段と、該データ記憶手段から読み出した楽曲データに基づいて採点基準の旋律の基準ピッチデータを抽出する基準ピッチデータ抽出手段と、該音声入力手段から入力された音声信号に基づいて歌唱ピッチデータを抽出する歌唱ピッチデータ抽出手段と、該基準ピッチデータと該歌唱ピッチデータとを比較するピッチ比較手段とを備えたことを特徴とするものである。
また、請求項２の発明は、請求項１の移動体通信端末において、上記データ記憶手段から読み出した楽曲データに基づいて上記採点基準の旋律における基準音量データを抽出する基準音量データ抽出手段と、上記音声入力手段から入力された音声信号に基づいて歌唱音量データを抽出する歌唱音量データ抽出手段と、該基準音量データと該歌唱音量データとを比較する音量比較手段とを備えたことを特徴とするものである。
また、請求項３の発明は、請求項１又は２の移動体通信端末において、上記画像信号生成手段は、上記比較の結果に基づいて算出した採点の情報を含む出力用の画像信号を生成することを特徴とするものである。
また、請求項４の発明は、請求項１又は２の移動体通信端末において、上記音信号生成手段は、上記比較の結果に基づいて算出した採点の情報を含む出力用の音信号を生成することを特徴とするものである。
また、請求項５の発明は、請求項１乃至４のいずれかの移動体通信端末において、上記楽曲データが複数の歌唱旋律に対応している場合に該複数の歌唱旋律から採点基準の旋律を指定するための採点旋律指定手段を備え、上記基準ピッチデータ抽出手段は、該採点旋律指定手段で指定した該採点基準の旋律の基準ピッチデータを抽出することを特徴とするものである。
また、請求項６の発明は、請求項１乃至５のいずれかの移動体通信端末において、アプリケーションプログラムの実行を管理するアプリケーションプログラム実行管理手段を備え、上記出力用の音信号及び画像信号の生成処理、該音信号及び該画像信号の送信処理、上記楽曲ピッチデータの抽出処理、上記歌唱ピッチデータの抽出処理並びに上記歌唱の採点処理の少なくとも一つの処理を、実行中のアプリケーションプログラムによって発生した指令に基づいて実行することを特徴とするものである。
また、請求項７の発明は、請求項１乃至６のいずれかの移動体通信端末において、上記外部インターフェース手段は、上記音信号及び上記画像信号を有線通信によって送信することを特徴とするものである。
また、請求項８の発明は、請求項１乃至６のいずれかの移動体通信端末において、上記外部インターフェース手段は、上記音信号及び上記画像信号を無線通信によって送信することを特徴とするものである。
また、請求項９の発明は、請求項７の移動体通信端末と、画像を表示する表示手段及び音を出力する音出力手段を有する外部出力装置と、該移動体通信端末と該外部出力装置との間の通信に用いる通信ケーブルとを備え、該外部出力装置は、該通信ケーブルを介して該移動体通信端末から音信号及び画像信号を受信する外部インターフェース手段を有することを特徴とするものである。
また、請求項１０の発明は、請求項８の移動体通信端末と、画像を表示する表示手段及び音を出力する音出力手段を有する外部出力装置とを備え、該外部出力装置は、該移動体通信端末との間で無線通信するための外部インターフェース手段を有することを特徴とするものである。
また、請求項１１の発明は、音声入力手段とデータ記憶手段と通信ネットワークを介した通信を行うための通信手段とを備えた移動体通信端末に設けられたコンピュータで実行されるプログラムであって、該データ記憶手段から読み出した楽曲データに基づいて楽曲の音信号を生成し、該楽曲の音信号と該音声入力手段から入力された歌唱の音声信号とを混合し、出力用の音信号を生成する機能と、該データ記憶手段から読み出した画像データに基づいて出力用の画像信号を生成する機能と、該出力用の音信号及び該出力用の画像信号を外部出力装置に送信する機能と、該データ記憶手段から読み出した楽曲データに基づいて採点基準の旋律の基準ピッチデータを抽出する機能と、該音声入力手段から入力された音声信号に基づいて歌唱ピッチデータを抽出する機能と、該基準ピッチデータと該歌唱ピッチデータとを比較する機能とからなる複数の機能の少なくとも一つの機能を該コンピュータに実現させるためのプログラムである。
【０００５】
請求項１の移動体通信端末において、音信号生成手段は、データ記憶手段から読み出した楽曲データに基づいて楽曲の音信号を生成し、この楽曲の音信号と、音声入力手段から入力された利用者の音声の音信号とを混合し、出力用の音信号を生成する。一方、これらの楽曲及び音声に対応する画像を表示するために、画像信号生成手段は、データ記憶手段から読み出した画像データに基づいて出力用の画像信号を生成する。これらの出力用の音信号及び画像信号を、外部インターフェース手段により外部出力装置に送信する。この外部出力装置は、移動体通信端末から受信した出力用の音信号に基づいて楽曲を出力する。また、その楽曲に合わせて利用者が音声を発した場合は、その利用者の音声を楽曲と一緒に出力する。更に、外部出力装置は、移動体通信端末から受信した出力用の画像信号に基づいて、楽曲や音声の出力中に、その楽曲や音声に対応する画像を出力する。
また、本移動体通信端末において、基準ピッチデータ抽出手段は、データ記憶手段から読み出した楽曲データに基づいて採点基準の旋律の基準ピッチデータを抽出し、歌唱ピッチデータ抽出手段は、音声入力手段から入力された利用者の歌唱の音声信号に基づいて歌唱ピッチデータを抽出する。そして、ピッチ比較手段により、基準ピッチデータ抽出手段で抽出した基準ピッチデータと、歌唱ピッチデータ抽出手段で抽出した歌唱ピッチデータとを比較する。このように楽曲データに基づいて抽出した採点基準の旋律の基準ピッチデータと、利用者の歌唱の音声信号に基づいて抽出した歌唱ピッチデータとを比較することにより、利用者の歌唱の採点が可能になる。
なお、上記基準ピッチデータ及び歌唱ピッチデータの抽出並びに両ピッチデータの比較は、楽曲の演奏中の任意のタイミングに行ってもいいし、楽曲の演奏終了後に行ってもよい。
また、上記音信号生成手段は、データ記憶手段から読み出した楽曲データに基づいて生成した楽曲の音信号を、音声入力手段から入力された歌唱の音声信号と混合しないような動作を可能に構成してもよい。この混合無しの動作の場合、音声入力手段から入力された歌唱の音声信号は、移動体通信端末本体に設けられたスピーカ等の音出力手段から出力される。
【０００６】
また、請求項２の移動体通信端末において、楽曲データに基づいて抽出した採点基準の旋律の基準音量データと、利用者の歌唱の音声信号に基づいて抽出した歌唱音量データとを比較することにより、利用者の歌唱のより精度の高い採点が可能になる。
また、請求項３の移動体通信端末では、上記比較の結果に基づいて算出した採点の情報を含む出力用の画像信号を生成し、その画像信号を外部出力装置に送信することにより、利用者の歌唱の採点の情報を外部出力装置から静止画や動画等の画像として出力できる。これにより、外部出力装置から出力した採点の情報を、利用者と一緒にカラオケを楽しんでいる人に知らせることができる。
また、請求項４の移動体通信端末では、上記比較の結果に基づいて算出した採点の情報を含む出力用の音信号を生成し、その音信号を外部出力装置に送信することにより、利用者の歌唱の採点の情報を外部出力装置から音声や効果音等の音として出力できる。これにより、外部出力装置から出力した採点の情報を、利用者と一緒にカラオケを楽しんでいる人に知らせることができる。
また、請求項５の移動体通信端末では、楽曲データが主旋律（ガイドメロディー）や副旋律（ハーモニー）等の複数の歌唱旋律に対応している場合、利用者は採点旋律指定手段で複数の歌唱旋律から採点基準の旋律を指定する。基準ピッチデータ抽出手段は、採点旋律指定手段で利用者が指定した採点基準の旋律の基準ピッチデータを抽出する。このように利用者が指定した旋律の基準ピッチデータを抽出することにより、複数の歌唱旋律から利用者が任意に選択した所望の旋律について歌唱の採点が可能になる。
また、請求項６の移動体通信端末では、実行中のアプリケーションプログラムによって発生した指令に基づいて、上記出力用の音信号及び画像信号の生成処理、該音信号及び該画像信号の送信処理、上記楽曲ピッチデータの抽出処理、上記歌唱ピッチデータの抽出処理並びに上記ピッチデータの比較処理の少なくとも一つの処理を実行する。従って、利用者が選択して実行しようとするアプリケーションプログラムを変えることにより、上記各種処理の内容を変更し、外部出力装置から出力する楽曲、音声及び画像の内容や出力形態、ピッチデータの抽出及び比較の方法等を変えることができる。
なお、移動体通信端末の本体にスピーカ等の音声出力手段を備えている場合、実行中のアプリケーションプログラムによって発生した指令に基づいて、音声出力先に関する処理を実行するようにしてもよい。この場合は、アプリケーションプログラムの内容を変えることにより、音声出力先に関連した各種動作及び制御を変えることができる。
例えば、上記音声出力先を移動体通信端末本体の音声出力手段又は移動体通信端末本体以外（テレビ装置などの外部出力装置、ヘッドフォン、イヤフォン等）に切り換える切り換え指示を行う処理を実行する。
また、上記音声出力先の切り換えが行われたときに、その切り換えられた旨の通知を受け取る処理を実行する。また、現在の音声出力先が移動体通信端末本体の音声出力手段又は移動体通信端末本体以外のいずれであるかを示す情報を取得する処理を実行する。これらの通知を受けたときに上記歌唱ピッチデータの抽出処理及び上記ピッチデータの比較処理を開始したり終了したりすることができる。
また、請求項７の移動体通信端末及び請求項９のカラオケシステムでは、電波や光等の通信媒体を用いる無線通信の場合とは異なり、電気信号から電波や光等へ変換する装置や、電波や光等から電気信号へ変換する装置を設ける必要がない。
また、請求項８の移動体通信端末及び請求項１０のカラオケシステムでは、通信ケーブル等の通信媒体を用いる有線通信の場合と異なり、通信ケーブル等の通信媒体の長さや引き回しを気にする必要がない。
また、請求項１１のプログラムを移動体通信端末に設けたコンピュータで実行することにより、上記出力用の音信号を生成する機能、上記出力用の画像信号を生成する機能、それらの音信号及び画像信号を外部出力装置に送信する機能、上記基準ピッチデータを抽出する機能、上記歌唱ピッチデータを抽出する機能及びそれらのピッチデータを比較する機能からなる複数の機能の少なくとも一つの機能を実現することができる。なお、このコンピュータで用いるプログラムの受け渡しは、デジタル情報としてプログラムを記録したＦＤ，ＣＤ−ＲＯＭ等の記録媒体を用いて行なってもいいし、コンピュータネットワーク等の通信ネットワークを用いて行なってもよい。
【０００７】
なお、上記「移動体通信端末」としては、ＰＤＣ（Personal Digital Cellular）方式、ＧＳＭ（Global System for Mobile Communication）方式、ＴＩＡ（Telecommunications Industry Association）方式等の携帯電話機、ＩＭＴ（International Mobile Telecommunications）−２０００で標準化された携帯電話機、ＴＤ−ＳＣＤＭＡ（Time Division Synchronous Code Division Multiple Access）方式の一つであるＴＤ−ＳＣＤＭＡ（ＭＣ：Multi Carrier）方式の携帯電話機、ＰＨＳ（Personal Handyphone System）、自動車電話機、固定電話機等の通話機能を有する電話機が挙げられる。また、この「移動体通信端末」としては、上記電話機のほか、通話機能を有するＰＤＡ（Personal Digital Assistance）等の通信端末も挙げられる。
また、上記「外部出力装置」は、移動体通信端末からの信号を受けることができる外部インターフェース手段、音出力手段及び画像表示手段を備えた装置であり、例えばアナログ又はデジタルの音信号及び画像信号を受ける汎用の外部インターフェース部を備えたテレビ装置やディスプレイ装置が挙げられる。
【０００８】
また、上記各移動体通信端末において、上記通信手段で通信可能な上記通信ネットワーク上のサーバから上記楽曲データ及び上記画像データの少なくとも一方を取得して上記データ記憶手段に保存するデータ取得手段を備えるのが好ましい。この場合は、通信ネットワーク上のサーバから楽曲及び画像の少なくとも一方を取得してデータ記憶手段に保存することにより、外部出力装置に出力可能な楽曲及び画像の少なくとも一方を追加することができる。
また、上記各移動体通信端末において、上記楽曲、上記音声又はその両方について実行する音処理の内容を指定するための音処理指定手段を備え、上記音信号生成手段は、該音処理指定手段で指定された指定内容に基づいて、音声入力オンオフ処理、音量調整処理、エコー処理、キー調整処理及び音質調整処理の少なくとも一つの音処理を実行するものであるのが好ましい。この場合は、利用者が音処理指定手段を操作することにより、楽曲、音声又はその両方について実行する音処理の内容を指定することができる。音信号生成手段は、音処理指定手段で指定された指定内容に基づいて、利用者が希望する音声入力オンオフ処理、音量調整処理、エコー処理、キー調整処理及び音質調整処理の少なくとも一つの音処理を実行する。この音処理により、外部出力装置から楽曲及び音声をオンオフしたり、楽曲及び音声の音量、エコー、キー並びに音質に変化を持たせたりすることができる。
また、上記各移動体通信端末において、上記音信号生成手段は、上記楽曲の演奏中の所定タイミングにメッセージ音を重ねて出力するように上記楽曲及び上記音声と該メッセージ音とを混合して上記音信号を生成するものであるのが好ましい。この場合は、楽曲の演奏中の所定タイミングに、上記楽曲及び音声とメッセージ音とを混合して出力用の音信号を生成することにより、外部出力装置から楽曲及び音声にメッセージ音を重ねて出力できる。
また、上記各移動体通信端末において、上記画像信号生成手段は、上記楽曲の演奏中の所定タイミングにメッセージを重ねて表示するように上記画像にメッセージを重ねた画像信号を生成するものであるのが好ましい。この場合は、楽曲の演奏中の所定タイミングに、上記画像にメッセージを重ねた画像信号を生成することにより、外部出力装置からメッセージを重ねた画像を出力できる。
【発明の効果】
【０００９】
本発明によれば、楽曲に合わせて発する利用者の音声を、移動体通信端末の音声入力手段を用いて入力し、この音声の音信号と楽曲の音信号とを混合して外部出力装置に送信して出力することができるので、この移動体通信端末とは別にマイク付きの別装置を用いる必要がない。しかも、移動体通信端末から上記音声及び楽曲の音信号とともに画像信号を外部出力装置に送信することができるので、外部出力装置として画像表示機能を有するものを用いれば、その外部出力装置から、楽曲や利用者の音声とともに画像を出力することができる。更に、楽曲データに基づいて抽出した採点基準の旋律の基準ピッチデータと、利用者の歌唱の音声信号に基づいて抽出した歌唱ピッチデータとを比較することにより、利用者の歌唱の採点が可能になるという効果がある。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を移動体通信端末としての携帯電話機を用いたカラオケシステムに適用した実施形態について説明する。
図１は本実施形態に係るカラオケシステムの概略構成を示す説明図である。このカラオケシステムは、通信ネットワークとしての携帯電話通信網を介して通信可能な携帯電話機２０と、外部出力装置としての音出力機能付き画像表示装置である汎用のテレビ装置３０と、通信ケーブル４０とを備えている。この通信ケーブル４０は、汎用の３つのアナログ信号である左右２つのオーディオ信号及びコンポジット・ビデオ信号を、携帯電話機２０からテレビ装置３０へ送るための通信ケーブルである。コンポジット・ビデオ信号は、テレビ画面の輝度信号、色信号及び同期信号のすべてを含む汎用の信号である。利用者は、携帯電話機２０を操作してカラオケ用のアプリケーションプログラムを起動した後、複数のカラオケ伴奏用の楽曲から希望の楽曲を選択して開始操作を行う。この開始操作により、テレビ装置３０の画面３１に、背景画像や歌詞内容からなるカラオケ用の画像が表示されるとともに、テレビ装置３０のスピーカ３２から伴奏の楽曲が流れ始める。この伴奏の楽曲に合わせて利用者が歌い始めると、利用者の音声が伴奏の楽曲と一緒にテレビ装置３０のスピーカ３２から出力される。
【００１１】
上記カラオケシステムで利用者１が使用する携帯電話機２０は、プラットフォームに依存しないオブジェクト指向プログラミングによって開発されたアプリケーションプログラムを実行可能な構成を有している。このアプリケーションプログラムとしては、ＪＡＶＡ（登録商標）、Ｃ、Ｃ＋＋等のプログラム言語で記述されたアプリケーションプログラムなどが挙げられる。また、これらのアプリケーションプログラムの実行環境は、ＪＡＶＡ（登録商標）の仮想マシン（ＶＭ：Virtual Machine）やＢＲＥＷ（登録商標）等のミドルウェアによって構築される。このアプリケーションプログラムは、携帯電話機２０にプレインストールされているものであってもいいし、携帯電話通信網１０を介してダウンロードサーバからダウンロードし携帯電話機２０に保存して登録したものでもよい。
【００１２】
図２は、上記携帯電話機２０と携帯電話通信網１０上のサーバとの通信を説明するための説明図である。携帯電話通信網１０には、プログラム提供用サーバとしてのアプリケーションプログラムダウンロードサーバ（以下、「ダウンロードサーバ」という。）１１が接続されている。また、携帯電話通信網１０には、ダウンロードサーバ１１のほか、Ｗｅｂサーバ１２や、図示しない情報提供サーバ、位置登録サーバ、メールサーバ等も接続されている。なお、これらサーバは単一のサーバで構成してもよい。また、これらのサーバは、互いに異なる構成を有する専用の制御装置として構成してもいいし、汎用のコンピュータシステムを用いて構成してもよい。また、各サーバは、１台のコンピュータで構成してもいいし、複数の機能をそれぞれ受け持つ複数台のコンピュータをネットワークで結んで構成してもよい。
【００１３】
上記ダウンロードサーバ１１は、携帯電話機２０からのダウンロード要求を受け付けると、その要求に係るアプリケーションプログラムを携帯電話機２０に対して送信する。また、Ｗｅｂサーバ１２は、携帯電話機２０からの閲覧要求を受け付けると、その要求に係る閲覧画面であるＷｅｂページ画面を携帯電話機２０に対して送信する。このＷｅｂサーバ１２から、携帯電話機２０で用いるカラオケ用の楽曲データや画像データ等のカラオケコンテンツのデータをダウンロードして取得することもできる。
ダウンロードサーバ１１から提供されるアプリケーションプログラムは、アプリケーションプログラムの開発元２から提供される。具体的には、例えば、アプリケーションプログラム開発元２側のパーソナルコンピュータ等から、専用回線や公衆回線を介してダウンロードサーバ１１にアップロードして提供する。なお、開発したアプリケーションプログラムを記録した光ディスクや磁気ディスク等の記録媒体を、アプリケーションプログラム開発元２からダウンロードサーバ１１を管理・運営する通信事業者に送り、その記録媒体内のアプリケーションプログラムをダウンロードサーバ１１で読み取るようにして、提供してもよい。このようにして提供されたアプリケーションプログラムは、携帯電話機２０から携帯電話通信網１０を介してダウンロード可能な状態でダウンロードサーバ１１に登録される。
【００１４】
上記位置登録サーバは、各携帯電話機２０の位置している現在位置の情報すなわち各携帯電話機２０が位置している位置登録管理エリアの位置情報を登録して管理するサーバである。この位置登録管理エリアは、各携帯電話機２０と無線通信する基地局が管轄する一つのセルからなるエリアであっていいし、隣接する複数のセルを一つのグループとして管理されるエリアであってもよい。一つの位置登録管理エリアの典型的なサイズは数ｋｍ〜数百ｍである。上記位置登録サーバに対する各携帯電話機２０の位置登録は、電源ＯＮ時に、定期的に、及び携帯電話機２０が位置するセルが変わるたびに行われる。
上記情報提供サーバは、各位置登録管理エリアの基地局を介して、所定の通信チャンネルによって地域情報、該当する位置登録管理エリアの位置情報（緯度、経度、住所）、コンテンツ情報等の各種情報を配信する。このように各種情報が送信されている通信チャンネルについて、携帯電話機２０が所定のタイミングで受信動作を実行することにより、その通信チャンネルで送信されている情報を取得し情報記憶手段としての内部メモリーに保存することができる。各通信チャンネルに対する受信動作は、予め初期設定で設定されているタイミングや、利用者が設定したタイミングで実行することができる。この受信動作は定期的に実行してもいいし、不定期に実行してもよい。
上記メールサーバは、各携帯電話機２０から送信されたメールのデータを次のメールサーバに転送したり、各携帯電話機２０宛に送られてきたメールを受信して保存・管理し、各携帯電話機２０からのメール取得要求に応じて受信メールのデータを各携帯電話機に送信したりする。
【００１５】
図３は携帯電話機２０の外観図であり、図４は、その携帯電話機２０のハードウェア構成を示す概略構成図である。
この携帯電話機２０は、携帯電話機の一例である、クラムシェル（折り畳み）タイプの携帯電話機であり、システムバス２００、ＣＰＵ２０１、ＲＡＭ２０２やＲＯＭ２０３等からなるデータ記憶手段、入力装置２０４、出力装置２０５及び携帯電話通信網用通信装置２０６を備えている。更に、携帯電話機２０は、メモリーカードドライブ装置２０７、画像信号処理装置２０８、音信号処理装置２０９及び外部インターフェース手段としての外部インターフェース装置２１０を備えている。
【００１６】
上記ＣＰＵ２０１やＲＡＭ２０２等の構成要素は、システムバス２００を介して、互いに各種データや後述のプログラムの命令等のやり取りを行っている。上記入力装置２０４は、データ入力キー（テンキー、＊キー、＃キー）２１、通話開始キー２２、終話キー２３、スクロールキー２４、多機能キー２５、マイク２６等から構成されている。上記出力装置２０５は、表示手段である液晶ディスプレイ（ＬＣＤ）２７、スピーカ２８等から構成されている。
【００１７】
上記携帯電話通信網用通信装置２０６は、無線通信用の高周波送受信回路、シンセサイザー等を用いて構成され、携帯電話通信網１０を介して他の携帯電話機や上述したサーバ１１等と通信するためのものである。この携帯電話通信網用通信装置２０６は、携帯電話機通信網１０を介して他の携帯電話機とメールのやり取りを行ったり、携帯電話機通信網１０からゲートウェイサーバを介して、インターネット等の外部の通信ネットワークに接続し、インターネット上での電子メールのやり取り等を行ったりするためのものである。更に、この携帯電話通信網用通信装置２０６は、携帯電話通信網１０を介して、ダウンロードサーバ１１が提供するアプリケーションプログラムをダウンロードしたり、Ｗｅｂサーバ１２が提供するカラオケコンテンツをダウンロードしたり、現在位置の位置情報を含む配信情報を受信したりするときの通信手段としても用いられる。
【００１８】
また、上記利用者１が操作可能な上述のテンキー２１、通話開始キー２２、終話キー２３等で構成されているキー操作部を操作することにより、利用者は、携帯電話機２０に対してＵＲＬ等のデータを入力したり、電話着信の際に通話の開始及び終了を行ったり、アプリケーションプログラムの選択、起動及び停止を行ったりすることができる。また、利用者はキー操作部を操作することにより、上記ダウンロードサーバ１１からアプリケーションプログラムをダウンロードして登録したり、登録したアプリケーションプログラムを選択して実行したりすることができる。また、利用者はキー操作部を操作することにより、携帯電話通信網１０の情報提供サーバから受信した情報を表示することもできる。
【００１９】
上記液晶ディスプレイ（ＬＣＤ）２７やスピーカ２８等からなる出力装置等で構成されている出力部は、携帯電話通信網１０を介して受信したＷｅｂページ画面を液晶ディスプレイ（ＬＣＤ）２７に表示したり、携帯電話通信網１０から情報が着信した旨を利用者に報知したりするときに用いられる。具体的には、その情報を着信すると、出力部の液晶ディスプレイ（ＬＣＤ）２７に着信報知画像を表示したり、スピーカ２８から着信音を出力させたりする。また、出力部は、上記ゲーム等のアプリケーションプログラムの実行中に、そのプログラム実行に関連した画像の表示や音の出力に用いたり、情報提供サーバから受信した情報を表示したりするときにも用いられる。
【００２０】
上記メモリーカードドライブ装置２０７は、メモリーカード２９を着脱可能にするための機構を有するとともに、メモリーカード２９の電極端子に接触する端子を介してデータ送受信するインターフェース部を有している。
【００２１】
上記画像信号処理装置２０８は、例えばアナログ回路とデジタル回路とが混在した単一のＬＳＩで構成したり、複数のＬＳＩ等の回路部品を組み合わせて構成したりすることができる。この画像信号処理装置２０８はＣＰＵ２０１で制御され、画像データ（画像ファイル）に基づいて出力装置２０５のディスプレイ２７等の画像表示に用いる画像信号を生成したり、複数の画像を重ねて表示するように複数の画像データから一つの画像信号を生成したりする。
【００２２】
上記音信号処理装置２０９は音源、増幅器、Ａ／Ｄ変換器、Ｄ／Ａ変換器、ミキシング回路等で構成された装置である。この音信号処理装置２０９は、例えばアナログ回路とデジタル回路とが混在した単一のＬＳＩで構成したり複数のＬＳＩ等の回路部品を組み合わせて構成したりすることができる。この音信号処理装置２０９はＣＰＵ２０１で制御され、入力装置２０４のマイク２６から入力された音声信号をデジタルデータに変換したり、デジタルの楽曲データ（楽曲ファイル）に基づいてアナログの音信号を生成したり、二つのアナログの音信号を混合して一つの音信号を生成したりすることができる。
【００２３】
上記外部インターフェース装置２１０は増幅器や出力コネクタ２１０ａ等で構成され、画像信号処理装置２０８で生成した画像信号（コンポジット・ビデオ信号）や、音信号処理装置２０９で生成した音信号（ステレオ用の左右２つのオーディオ信号）を出力する装置である。
【００２４】
図５は、本発明の特徴部を抽出して示した携帯電話機２０の機能ブロック図であり、図６は、その携帯電話機２０におけるソフトウェア構造の説明図である。
この携帯電話機２０は、アプリケーションプログラム実行管理手段（アプリケーションプログラム実行管理部）２１１、通信手段２１２、データ取得手段２１３、データ記憶手段２１４、音声入力手段２１５、音信号生成手段２１６、画像信号生成手段２１７及び外部インターフェース手段２１８を有している。更に、携帯電話機２０は、基準データ抽出手段２３０、歌唱データ抽出手段２３１及び比較手段２３２を有している。これらの手段のうち、通信手段２１２、データ取得手段２１３、データ記憶手段２１４、音声入力手段２１５、音信号生成手段２１６、画像信号生成手段２１７、外部インターフェース手段２１８、基準データ抽出手段２３０、歌唱データ抽出手段２３１及び比較手段２３２は、携帯電話機２０のネイティブ側の電話機プラットフォーム２２０内に設けられている。なお、比較手段２３２は、電話機プラットフォーム２２０内に設けず、アプリケーションプログラム実行管理手段２１１で兼用されるように構成してもよい。
【００２５】
また、携帯電話機２０は、ＣＰＵ等からなるハードウェア上で所定のプログラムを実行することにより、アプリケーションプログラム実行管理手段２１１、データ取得手段２１３、音信号生成手段２１６、画像信号生成手段２１７、外部インターフェース手段２１８、基準データ抽出手段２３０、歌唱データ抽出手段２３１及び比較手段２３２の各機能のすべて又は一部を実現している。
【００２６】
上記アプリケーションプログラム実行管理手段２１１は、上述のシステムバス２００、ＣＰＵ２０１やＲＡＭ２０２等で構成されている。このアプリケーションプログラム実行管理手段２１１は仮想マシンとも呼ばれ、図６のソフトウェア構造上において中央の「プログラム実行環境」に対応している。アプリケーションプログラム実行管理手段２１１は、オブジェクト指向プログラミングで開発されたアプリケーションプログラムに利用されるクラスライブラリ、実行環境管理ライブラリ、アプリケーション管理等のソフトウェアを提供し、アプリケーションプログラムの実行環境を管理する。
ここで、アプリケーションプログラムは、クラスライブラリＡＰＩ（アプリケーションインターフェース）を介して上記プログラム実行環境内にある関数等のクラスライブラリを呼び出して使用できるようになっている。この関数等のクラスライブラリの呼び出しの履歴は、アプリケーションプログラムの仮想的な実行環境（仮想マシンＶＭ）が終了するまで保持される。
また、プログラム実行環境内の実行環境管理ライブラリは、電話機プラットフォームＡＰＩを介して後述の電話機プラットフォーム内の電話機プラットフォームライブラリを呼び出して使用できるようになっている。
【００２７】
上記通信手段２１２は上述の携帯電話通信網用通信装置２０６等で構成され、携帯電話通信網１０を介して他の携帯電話機や上述のサーバ１１等と通信する。
上記データ取得手段２１３は、上述のシステムバス２００、ＣＰＵ２０１やＲＡＭ２０２等で構成されている。このデータ取得手段２１３は、利用者がキー操作部を操作することにより、通信手段２１２で通信可能な携帯電話通信網１０やインターネット上のＷｅｂサーバから上記カラオケ楽曲データやカラオケ画像データをダウンロードして取得し、ＲＡＭ２０２やメモリーカード２９に保存する。
【００２８】
上記データ記憶手段２１４は、ＲＡＭ２０２やＲＯＭ２０３等の内部メモリ、メモリーカード２９等の外部記憶装置等で構成され、利用者がサーバ等から取得したカラオケ楽曲データ、カラオケ画像データ、カラオケ等のアプリケーションプログラムを記憶する。カラオケ楽曲データ及びカラオケ画像データを含むファイルとしては、ＳＭＡＦ（Synthetic music Mobile Application Format）ファイルやＭＭＦ（Mobile Multimedia Format）ファイル等がある。
上記ＳＭＡＦ等のファイルには、上記カラオケ楽曲データ及びカラオケ画像データのほか、歌唱の採点に用いる情報を付加してもよい。例えば、採点基準の旋律のデータ、採点基準の音量のデータ、採点対象区間を設定するための情報（区間識別ＩＤ、開始時刻、終了時刻）、その他の付加情報を含めるようにしてもよい。採点対象区間の開始時刻及び終了時刻は、例えば楽曲の先頭からの経過時間（単位：msec）で設定する。
【００２９】
上記音声入力手段２１５は、入力装置２０４のマイク２６で構成され、利用者の音声を電気信号に変換して入力する。
【００３０】
上記音信号生成手段２１６は、上述の音信号処理装置２０９等で構成されている。この音信号生成手段２１６は、ＲＡＭ２０２やメモリーカード２９等のデータ記憶手段２１４から読み出したカラオケ楽曲データに基づいて伴奏楽曲の音信号を生成する。そして、この伴奏楽曲の音信号と、音声入力手段２１５（マイク２６）から入力された利用者の音声の音信号とを混合し、テレビ装置３０に送る出力用の音信号を生成する。
また、この音信号生成手段２１６は、音処理指定手段で指定された指定内容に基づいて、音声入力オンオフ処理、音量調整処理、エコー処理、キー調整処理及び音質調整処理の少なくとも一つの音処理を実行することができる。上記指定内容を利用者が指定する場合は、上記キー操作部が音処理指定手段として機能し、上記指定内容をアプリケーションプログラムから指定する場合は、上記アプリケーションプログラム実行管理手段２１１が音処理指定手段として機能する。
【００３１】
上記画像信号生成手段２１７は、上述の画像信号処理装置２０８等で構成されている。この画像信号生成手段２１７は、ＲＡＭ２０２やメモリーカード２９等のデータ記憶手段２１３から読み出したカラオケ画像データに基づいて、テレビ装置３０に送る出力用の画像信号を生成する。例えば、画像信号生成手段２１７は、上記音信号生成手段２１６で生成される伴奏楽曲の音信号に同期させて、その伴奏楽曲に対応する歌詞の文字からなる画像信号を生成する。
【００３２】
上記外部インターフェース手段２１８は、外部インターフェース装置２１０等で構成されている。この外部インターフェース手段２１８は、音信号生成手段２１６で生成した出力用の音信号及び画像信号生成手段２１７で生成した出力用の画像信号を、通信ケーブル４０を介して外部のテレビ装置３０に送信する。
図７は、専用の通信ケーブル４０の説明図である。この通信ケーブル４０は３本の信号線及び１本のアース線を有し、携帯電話機２０の出力コネクタ２１０ａに接続する端部側には、所定数のピン端子を有するコネクタ４１が取り付けられている。また、通信ケーブル４０のテレビ装置３０に接続する端部側には汎用のピンプラグ、すなわちステレオオーディオ信号（Ｌ，Ｒ）用の２本のピンプラグ４２（赤色）及びピンプラグ４３（白色）と、コンポジット・ビデオ信号用の１本のピンプラグ４４（黄色）が取り付けられている。
【００３３】
上記基準データ抽出手段２３０は、上述のシステムバス２００、ＣＰＵ２０１やＲＡＭ２０２等で構成されている。この基準データ抽出手段２３０は少なくとも基準ピッチデータ抽出手段として機能する。ピッチデータとともに音量データも抽出して採点に用いる場合、基準データ抽出手段２３０は基準ピッチデータ抽出手段及び基準音量データ抽出手段の両手段として機能する。基準データ抽出手段２３０は、基準ピッチデータ抽出手段として機能する場合、データ記憶手段２１４から読み出した楽曲データに基づいて採点基準の旋律の基準ピッチデータを抽出する。また、基準データ抽出手段２３０は、基準音量データ抽出手段として機能する場合、データ記憶手段２１４から読み出した楽曲データに基づいて採点基準の旋律における基準音量データを抽出する。
【００３４】
上記楽曲データに基づく基準ピッチデータの抽出は次のように行うことができる。例えば前述のプログラム実行環境からの実行指示を契機に指定された楽曲データを含むＳＭＡＦファイル及びそのファイルにある採点基準の旋律のチャネル番号を特定する。そして、そのチャネル番号で特定されたチャネルから採点基準の旋律の基準ピッチデータを抽出する。この基準ピッチデータは、積算時間とともに１曲分抽出されてバッファリングされ、プログラム実行環境へ返される。上記基準ピッチデータは、１音ごとに設定された平均律の音階に対応したビットマップ値（表１参照）と、その音階に対するピッチベンド値（範囲：-2400cent〜+2400cent）との組み合わせからなる。ここで、セント（cent）は１オクターブを１２００等分した音程の単位、すなわち半音を１００等分した音程の単位である。また、上記積算時間は、１音ごとの鳴音の始点について設定された楽曲の先頭からの経過時間（単位：msec）である。なお、上記楽曲データを含むＳＭＡＦファイルから、上記基準ピッチデータとともに上記採点基準の旋律の基準音量データを抽出するようにしてもよい。
【表１】
2006162778.tif 000003
【００３５】
上記歌唱データ抽出手段２３１は、上述のシステムバス２００、ＣＰＵ２０１やＲＡＭ２０２等で構成されている。この歌唱データ抽出手段２３１は少なくとも歌唱ピッチデータ抽出手段として機能する。ピッチデータとともに音量データも抽出して採点に用いる場合、歌唱データ抽出手段２３１は歌唱ピッチデータ抽出手段及び歌唱音量データ抽出手段の両手段として機能する。歌唱データ抽出手段２３１は、歌唱ピッチデータ抽出手段として機能する場合、データ記憶手段２１４から読み出した楽曲データに基づいて採点基準の旋律における基準音量データを抽出する。また、歌唱データ抽出手段２３１は、歌唱音量データ抽出手段として機能する場合、音声入力手段２１５から入力された音声信号に基づいて歌唱音量データを抽出する。
【００３６】
上記音声信号に基づく歌唱ピッチデータの抽出（ピッチ検出）は次のように行うことができる。例えば前述のプログラム実行環境からの実行指示を契機にピッチ検出を開始し、一定のサンプリング間隔で採点対象の歌唱ピッチデータとしての音程（周波数）のデータを音声信号から抽出してバッファリングする。この音程（周波数）のデータは、例えば所定時間連続して取得した音声信号の波形データをフーリエ変換して抽出することができる。そして、プログラム実行環境からの実行指示を契機にピッチ検出を終了する。上記歌唱ピッチデータ（音程データ）は、１／１６Ｈｚを１単位として１００Ｈｚ〜１ｋＨｚ程度の周波数範囲で抽出するのが望ましい。また、その抽出の周波数誤差は２０cent以下（１０３Ｈｚのとき１Ｈｚ程度の誤差）であることが望ましい。
上記歌唱ピッチデータの抽出（ピッチ検出）の開始時及び終了時には、カラオケアプリケーションを実行しているプログラム実行環境にイベントの通知が行われる。
また、上記音声信号から、上記歌唱ピッチデータとともに歌唱の声量である音量データを抽出（検出）するようにしてもよい。この音量データは、０（最小）から３１（最大）までの範囲に均等に割り振られた３２段階の相対的な値で抽出されてバッファリングされる。
また、上記歌唱ピッチデータ等の抽出（検出）に失敗した場合は、エラーの種別ごとに予め設定された無効値（表２参照）がバッファリングされる。
【表２】
2006162778.tif 000004
【００３７】
以上のように抽出されてバッファリングされた歌唱ピッチデータ等は、歌唱データの抽出（検出）中や歌唱データの抽出（検出）の後のいずれのタイミングでも、カラオケアプリケーションを実行しているプログラム実行環境から取得することができる。
【００３８】
上記比較手段２３２は、上述のシステムバス２００、ＣＰＵ２０１やＲＡＭ２０２等で構成されている。この比較手段２３２は、少なくともピッチ比較手段として機能し、ピッチデータの比較とともに音量データの比較も行う場合、ピッチ比較手段及び音量比較手段の両手段として機能する。比較手段２３２は、ピッチ比較手段として機能する場合、上記基準ピッチデータと上記歌唱ピッチデータとを比較する。また、比較手段２３２は、音量比較手段として機能する場合、上記基準音量データと上記歌唱音量データとを比較する。これらの比較の結果に基づいて歌唱の採点の算出等が行われる。
【００３９】
また、本実施形態の携帯電話機２０は図示しない制御手段としての主制御部を備えている。この主制御部は、アプリケーションプログラム実行管理手段２１１や他の各部との間で制御命令や各種データのやりとりを行い、これらと協働して制御を行う。また、主制御部は、図６のソフトウェア構造上において最下部の「電話機プラットフォーム」にあり、上記電話通信等を制御するための制御用プログラムやユーザインターフェースを実行したり、電話機プラットフォームライブラリを提供したりする。表３は、前述のオブジェクト指向プログラミングによって開発されたカラオケのアプリケーションに関連した電話機プラットフォームライブラリとしてのクラス・インターフェース（ＡＰＩ）を例示したものである。また、表４〜表１２は、表３中の各クラス・インターフェース（ＡＰＩ）のメソッド又はフィールドを例示したものである。
【表３】
2006162778.tif 000005
【００４０】
例えば、「KaraokeData」は、カラオケ情報付きのＳＭＡＦファイルの再生及び採点に必要なクラス・インターフェース（ＡＰＩ）であり、表４に示すような採点の基準となる旋律情報を取得するメソッド等のカラオケ用メソッドを、SMAFファイルを扱うクラス（・・・SmafData）に追加する。
【表４】
2006162778.tif 000006
【００４１】
また、「KaraokePlayer」は、同様にカラオケ情報付きのＳＭＡＦファイルの再生及び採点に必要なクラス・インターフェース（ＡＰＩ）であり、表５に示すような任意のチャネルの音量やＨＶ（Humanoid Voice）パートの音量を取得するメソッド等のカラオケ用メソッドを、SMAFファイルの再生するクラス（・・・SmafPlayer）に追加する。なお、表５中の「ＨＶパート」は、旋律データを利用してあたかも人間が発声したように処理する音声出力のパートである。
【表５】
2006162778.tif 000007
【００４２】
また、「ReferenceEvent」は、同様にカラオケ情報付きのＳＭＡＦファイルの再生及び採点に必要なクラス・インターフェース（ＡＰＩ）であり、表６に示すような積算時間等の採点基準となる旋律情報（Reference）を構成する各種イベント情報を保持するフィールド等が用意されている。
【表６】
2006162778.tif 000008
【００４３】
また、「ReferenceScore」は、カラオケ情報付きのＳＭＡＦファイル内にある採点基準となる旋律情報（Reference）へのアクセス手段を提供するクラス・インターフェース（ＡＰＩ）であり、表７に示すような採点基準となる旋律情報（Reference）を保持するフィールド等が用意されている。
【表７】
2006162778.tif 000009
【００４４】
また、「KaraokePlayerListener」は、KaraokePlayerが発生するSMAFユーザユーザーイベントを待ち受けるリスナを実装するためのクラス・インターフェース（ＡＰＩ）であり、表８に示すようなカラオケプレーヤーの状態が変わったときに呼ばれるメソッド等のカラオケ用メソッドを、SMAFファイルの再生するクラス（・・・SmafPlayer）に追加する。
【表８】
2006162778.tif 000010
【００４５】
また、「MicControl」は、音声入力を扱うクラス・インターフェース（ＡＰＩ）であり、表９及び表１０のように音声入力の有効／無効等を示すフィールドが用意されている。
【表９】
2006162778.tif 000011
【表１０】
2006162778.tif 000012
【００４６】
また、「PitchScanData」は音声入力から入力された音声信号をスキャンして得た周波数と音声の情報を保持するクラスであり、表１１に示すような音声信号から検出した周波数や音量の値を格納する配列データ等を保持するフィールドが用意されている。
【表１１】
2006162778.tif 000013
【００４７】
また、「SpeakerStateListener」は、音声出力先が変更された際に、音声出力先が変更された旨の通知を受け取るため機能を提供するクラスであり、表１２に示すような音声出力先が変更されたときに呼び出されるメソッド等が用意されている。このメソッドを呼び出すことにより、アプリケーションは音声の出力先が携帯電話機本体又は携帯電話機本体以外(テレビ装置、ヘッドフォン、イヤフォンなど)に変更された通知を受けることができる。
携帯電話機本体のマイクとスピーカは近接しているため、携帯電話機本体のスピーカから楽曲を出力している状態でピッチ検出を行うと、マイクが対象の音声(歌声など)とともにスピーカから発している音声を取り込んでしまうため、ピッチ解析に支障を起こす可能性がある。
そこで、上記「SpeakerStateListener」を使用することにより、音声の出力先が携帯電話機本体に変更されたタイミングで採点を終了したり、画面への文字、画像などの表示や警告音を鳴らすことにより、ユーザに携帯電話機本体以外（テレビ装置、ヘッドフォン、イヤフォンなど）に音声出力先を切り替えるよう促したり、次に携帯電話機本体以外に切り替えられるまでの区間のピッチ検出データを採点対象外にしたりするなど、アプリケーションの作り手が任意の対処を行うことができる。
【表１２】
2006162778.tif 000014
【００４８】
また、「DeviceControl」は、機器端末に固有なデバイスを制御する機能を提供するクラスであり、表１３に示すような音声出力先の情報を取得するメソッド等が用意されている。このメソッドを呼び出すことにより、アプリケーションは、既存のインターフェース (getDeviceState())から音声の出力先が携帯電話機本体及び携帯電話機本体以外のいずれに設定されているかを能動的に確認することができる。
【表１３】
2006162778.tif 000015
【００４９】
また、上記電話機プラットフォームは、上記プログラム実行環境内の実行環境管理ライブラリに対してイベントを送ることによりアプリケーションプログラムにおける各種処理を実行したり、アプリケーション管理ＡＰＩを介して上記プログラム実行環境内のアプリケーション管理のソフトウェアを呼び出して使用したりできるようになっている。
【００５０】
また、本実施形態のようにクラムシェル（折り畳み）タイプの携帯電話機２０の場合、上記電話機プラットフォームは、カラオケのアプリケーションの実行中に携帯電話機２０を折り畳んで閉じてもカラオケのアプリケーションの実行を継続するように制御してもよい。但し、上記カラオケのアプリケーションの実行を継続するのみで、いわゆる常駐タイプのアプリケーションとは振る舞いが異なるように制御するのが好ましい。すなわち、カラオケのアプリケーションの実行中に携帯電話機２０を折り畳んで閉じたとき、起動開始設定、一時停止移行設定、タイマーイベントなどの常駐型のアプリケーションで有効となる設定や省電力モードを無視するように制御するのが好ましい。
【００５１】
携帯電話機２０を所定の手順に従って動作させる電話機プラットフォームを構築するための制御用プログラムは、ＲＡＭ２０２やＲＯＭ２０３に記憶されている。また、基本ＯＳ（オペレーティングシステム）のプログラムや、上記プログラム実行環境を構築するためのプログラム及びアプリケーションプログラムも、ＲＡＭ２０２やＲＯＭ２０３に記憶されている。そして、これらのプログラムは、必要に応じてＣＰＵ２０１やＲＡＭ２０２中の作業エリアに呼び出されて実行される。
【００５２】
上記構成の携帯電話機２０において、ダウンロードサーバ１１からアプリケーションプログラムをダウンロードするときは、利用者１は、キー操作部のキーを操作して、ダウンロードサーバ１１にアクセスする。これにより、ダウンロード可能なアプリケーションプログラムを選択するためのダウンロード選択画面がディスプレイ２７上に表示される。そして、そのダウンロード選択画面において、利用者が希望するアプリケーションプログラムをスクロールキー２４を用いて選択し、多機能キー２５を押下すると、主制御部が携帯電話通信網用通信装置２０６を制御して、そのアプリケーションプログラムをダウンロードサーバ１１からダウンロードする。
具体的に説明すると、本実施形態の携帯電話機２０で起動可能なＪＡＶＡ（登録商標）のアプリケーションプログラムは、プロパティ情報であるＪＡＤファイル（テキストデータ）とプログラム本体であるＪＡＲファイル（バイナリデータ）とからなる。このプログラム本体は「ＭＩＤｌｅｔ」と呼び、プロパティ情報は「ＭＩＤｌｅｔ属性」と呼ぶ場合もある。ＪＡＤファイルには、アプリケーション名、アプリケーションのバージョン、アプリケーションのベンダー名、ＪＡＲファイルが保存されているＵＲＬデータなどの基本データのほか、当該アプリケーションプログラムが認証済みのものか、当該アプリケーションプログラムがネットワークに接続した状態で使用されるものか、当該アプリケーションプログラムが常駐型のものであるかなどの設定データが含まれている。また、このＪＡＤファイルには、当該アプリケーションプログラムに関する関連情報を公開している公式ＷｅｂページのＵＲＬ（配信元アドレスデータ）も含まれている。そして、上記ダウンロード選択画面において利用者が希望するアプリケーションプログラムが選択されると、アプリケーションプログラムのうちＪＡＤファイルだけをダウンロードする。その後、主制御部２１０は、そのＪＡＤファイルの中から、ＪＡＲファイルが保存されているＵＲＬデータを読み出し、そのＵＲＬにアクセスし、ＪＡＲファイルをダウンロードする。このようにしてダウンロードされたＪＡＤファイル及びＪＡＲファイルからなるアプリケーションプログラムは、主制御部２１０により、ＲＡＭ１０２に記憶される。
【００５３】
なお、本実施形態の携帯電話機で起動可能なカラオケアプリケーションのＪＡＤファイルには、オプションのＭＩＤｌｅｔ属性として、カラオケの制御方法を指定するMIDlet-Karaoke、MIDlet-Resident、MIDlet-Auxが設定されている。これらのＭＩＤｌｅｔ属性のうち、MIDlet-Karaokeにはカラオケアプリケーションの起動方法を指定するための設定値が設定される。このMIDlet-Karaokeの設定値に基づいてカラオケアプリケーションが起動される。例えば、MIDlet-Karaokeの設定値が「Ｙ」の場合は、カラオケ機能が電話機プラットフォーム２２０側で主に制御される端末制御型のカラオケアプリケーションとして起動される。また、MIDlet-Karaokeの設定値が「Ｎ」の場合は、カラオケアプリケーションが通常のＪＡＶＡ（登録商標）のアプリケーションとして起動される。また、カラオケ機能が主にＪＡＶＡ（登録商標）の実行環境（仮想マシン）側で制御される端末制御型のカラオケアプリケーションとして起動される。
【００５４】
上記ダウンロードしたアプリケーションプログラムを実行する場合、利用者１は、キー操作部のキーを操作して、実行するアプリケーションプログラムを選択するためのアプリケーション選択画面をディスプレイ２７上に表示させる。そして、そのアプリケーション選択画面において、利用者が希望するアプリケーションプログラムをスクロールキー２４を用いて選択し、多機能キー２５を押下すると、上記アプリケーションプログラム実行管理手段（アプリケーションプログラム管理部）２１１は、ＪＡＲファイルを読み出してアプリケーションプログラムを起動する。このとき、必要に応じて、ＪＡＤファイルの設定データを参照し、その設定データに従った処理動作を行う環境を設定する。また、アプリケーションプログラム実行中に特定の処理動作を行う際、その処理動作に関するＪＡＤファイルの設定データを参照し、そのアプリケーションプログラムに適した処理動作を行うようにする。アプリケーションプログラムとしては、キー操作部の各種キーを操作してカラオケ、ゲーム等を楽しむアプリケーションプログラムのほか、ディスプレイ２７上に３次元動画からなる待ち受け画面を表示させたりする常駐型のアプリケーションプログラムなど、あらゆるアプリケーションプログラムが含まれる。
【００５５】
図８は、上記構成のカラオケシステムを用いて利用者がカラオケを行うときの手順の一例を示すフローチャートである。
まず、利用者は、カラオケ楽曲データ及びカラオケ画像データからなるカラオケデータファイル（例えばＳＭＡＦファイル）を、Ｗｅｂサーバ１２からのダウンロード等によって取得し、携帯電話機２０の内部メモリやメモリーカード２９に保存する（ステップ１）。
次に、利用者は、携帯電話機２０とテレビ装置３０とを専用の通信ケーブル４０で接続し（ステップ２）、携帯電話機２０のディスプレイ２７にアプリケーションプログラムのリストを表示する。そして、この液晶ディスプレイ２７に表示したリストからカラオケ用のアプリケーションプログラム（カラオケプレーヤー）を選択して起動させる（ステップ３）。このアプリケーションプログラムの起動の際に、携帯電話機２０のスピーカからの出力をオフにする処理と、携帯電話機本体を閉じてもアプリケーションプログラムが停止しないようにする処理と、カラオケ用のアプリケーションプログラムの特異動作をメッセージで通知する処理とが実行される。
次に、利用者は、上記アプリケーションプログラムの実行中においてディスプレイ２７に表示される複数のカラオケ曲名のリストから、出力したいカラオケ曲名をクリックして選択する（ステップ４）。この選曲操作により、また、携帯電話機２０のディスプレイ２７の画面及びテレビ装置３０の画面３１の両方に、選曲したカラオケ曲に対応したカラオケ画像が表示されるとともに、選曲したカラオケ曲のカラオケ楽曲データ（ＳＭＡＦファイル）が音信号生成手段２１６（音信号処理装置２０９）の作業メモリに読み出され、カラオケ開始可能な状態になる。
次に、利用者は、キー操作部の所定のキーを押下することにより、カラオケを開始する（ステップ５）。このカラオケ開始操作により、次のように携帯電話機２０は所定の音信号及び画像信号をテレビ装置３０に送信し始める。すなわち、携帯電話機２０はカラオケ楽曲データ（ＳＭＡＦファイル）に基づいて伴奏楽曲の音信号を生成してテレビ装置３０に送信し、カラオケ画像データに基づいて、伴奏楽曲に同期した歌詞を含むカラオケ画像を生成してテレビ装置３０に送信し始める。これにより、選曲したカラオケ伴奏の楽曲がテレビ装置３０のスピーカ３２から流れ、図９に示すような歌詞を含むカラオケ画像が携帯電話機２０のディスプレイ２７の画面及びテレビ装置３０の画面３１の両方に表示される。このカラオケ画像を見ながらカラオケ伴奏の楽曲に合わせて利用者が歌い始めると、その利用者の音声が伴奏楽曲の音信号と混合されて出力用の音信号が生成される。これにより、テレビ装置３０のスピーカ３２から、伴奏の楽曲とともに利用者の歌声が流れはじめる。
【００５６】
図１０は、上記カラオケアプリケーションを起動して利用者がカラオケを行っているときに実行可能な採点機能の処理手順の一例を示すフローチャートである。なお、歌唱の採点に用いる基準ピッチデータ及び基準音量データ等は、カラオケアプリケーションの起動時にカラオケ情報付きのＳＭＡＦ等のファイルから抽出されてメモリの所定領域に保存される。
まず、上記利用者がカラオケを行っているときに、カラオケアプリケーションを実行しているときに採点機能を開始すると、所定のサンプリング間隔による利用者の歌唱のピッチ及び音量を検出し始める。各サンプリングのタイミングそれぞれにおいて、利用者の音声信号の波形が所定の時間だけ測定され、その測定データがメモリの所定領域に保存される（ステップ１）。
次に、上記音声信号の波形の測定データに基づき、フーリエ変換等のデータ処理によって利用者の歌唱ピッチデータ及び歌唱音量データが抽出される（ステップ２）。この歌唱データ（ピッチ、音量）のデータは、所定の採点期間内のサンプリング回数だけ繰り返され、それぞれメモリの所定領域に保存される。
次に、所定の採点期間が経過したら、上記基準データ（ピッチ、音量）と上記歌唱データ（ピッチ、音量）とがそれぞれ比較され、予め決められている算出アルゴリズムを使って点数が算出される（ステップ３、４）。
次に、上記算出された点数の情報がテレビ装置３０に送信されて出力される（ステップ５）。
【００５７】
以上、本実施形態によれば、楽曲に合わせて発する利用者の音声を、携帯電話機２０のマイクを用いて入力することができるので、マイクを備えた別装置を用いる必要がない。これにより、音声入力装置が重複することなく回路構成ができるので、回路資源を節約でき、電力消費の節約が図れる。しかも、外部のテレビ装置３０から、カラオケの伴奏楽曲や利用者の音声とともにカラオケ用の画像を出力することができる。更に、楽曲データに基づいて抽出した採点基準の旋律の基準ピッチデータと利用者の歌唱の音声信号に基づいて抽出した歌唱ピッチデータとを比較することにより、利用者の歌唱の採点が可能になる。
また、本実施形態によれば、上記ピッチデータだけでなく、基準音量データと利用者の歌唱音量データとを比較することにより、利用者の歌唱のより精度の高い採点が可能になる。なお、上記ピッチや音量だけでなく、基準リズムと歌唱のリズムとを比較し、両者の一致の程度から歌唱の採点を行うようにしてもよい。
また、本実施形態によれば、上記比較の結果に基づいて算出した採点の情報を含む画像データを外部のテレビ装置３０に送信して出力することができ、テレビ装置３０から出力した採点の情報を、利用者と一緒にカラオケを楽しんでいる人に知らせて楽しむことができる。この採点情報は、音声信号としてテレビ装置３０に送信して出力してもよい。
また、本実施形態によれば、テレビ装置３０に出力可能なカラオケの伴奏楽曲及びカラオケ画像の少なくとも一方を、カラオケデータを一括管理しているサーバからダウンロードして携帯電話機２０に追加できるので、カラオケ曲の選択の自由度が高まり、新曲への対応も容易になる。
また、本実施形態によれば、携帯電話機２０とテレビ装置３０との間の通信に通信ケーブル４０を用いた有線通信を採用することにより、電波や光等の通信媒体を用いる無線通信の場合とは異なり、電気信号から電波や光等へ変換する装置や、電波や光等から電気信号へ変換する装置を設ける必要がなく、当該変換に必要な回路資源を節約し、システム構成の簡略化を図ることができる。また、テレビ装置等の外部の装置に対してカラオケの音声信号や画像信号を出力する際に、それらの音声信号や画像信号の周波数帯を、上記電波や光等の通信媒体を用いる伝送を目的とする信号の周波数帯へ変換する必要もないので、当該変換に必要な回路資源を節約することができる。
また、本実施形態によれば、携帯電話機２０から出力している信号がテレビ装置の外部入力信号として一般的に使用されている汎用のステレオオーディオ信号及びコンポジット・ビデオ信号であるので、携帯電話機２０と一般のテレビ装置とを組み合わせてカラオケを手軽に楽しむことができる。また、携帯電話機２０から送信したカラオケ伴奏の楽曲や音声の音信号及びカラオケ画像の画像信号をテレビ装置３０に送って出力できるので、携帯電話機のディスプレイやスピーカに出力する場合とは異なり、カラオケ伴奏の楽曲や音声を大音量で出力したり、カラオケ画像を大画面に表示したりすることができる。
【００５８】
なお、楽曲データが主旋律（ガイドメロディー）や副旋律（ハーモニー）等の複数の歌唱旋律に対応している場合、それらの歌唱旋律の中から採点対象の旋律を選択できるようにしてもよい。例えば利用者は採点旋律指定手段としてのキー操作部を操作して複数の歌唱旋律から採点基準の旋律を指定する。前述の携帯電話機の基準データ抽出手段２３０は、キー操作部で利用者が指定した採点基準の旋律の基準データ（ピッチ、音量）を抽出する。このように利用者が指定した旋律の基準データ（ピッチ、音量）を抽出することにより、複数の歌唱旋律から利用者が任意に選択した所望の旋律について歌唱の採点が可能になる。
【００５９】
また、上記実施形態のカラオケシステムにおいて、音声入力オンオフ処理、音声外部出力オンオフ処理、音量調整処理、エコー処理、キー調整処理及び音質調整処理等の音信号関係の付加機能を持たせてもよい。この付加機能の処理は携帯電話機２０の音信号生成手段２１６で実行することができる。
例えば、利用者がキー操作部を操作して入力した指定内容やアプリケーションプログラムによって発生した指令（指定内容）に基づいて、マイク（受話器用マイク）２６からの音声入力をオン／オフしたり、マイク（受話器用マイク）２６から入力した音声の外部装置への出力をオン／オフしたり、利用者の音声の音量を調整したり、カラオケ伴奏の楽曲の音量を調整したりしてもよい。
また、利用者がキー操作部を操作して入力した指定内容やアプリケーションプログラムによって発生した指令（指定内容）に基づいて、利用者の音声及びカラオケ伴奏の楽曲にエコー効果をかける処理をオン／オフしたり、そのエコー効果の程度（エコーの遅延時間）を調整したりしてもよい。なお、このエコーの遅延時間としては６０ｍｓｅｃ〜４００ｍｓｅｃの範囲が好ましい。
また、利用者がキー操作部を操作して入力した指定内容やアプリケーションプログラムによって発生した指令（指定内容）に基づいて、カラオケ伴奏の楽曲のキーを変更したりしてもよい。
また、利用者がキー操作部を操作して入力した指定内容やアプリケーションプログラムによって発生した指令（指定内容）に基づいて、利用者の音声やカラオケ伴奏の楽曲の音質を調整してもよい。例えば、男性の利用者の音声を女性や子供のような高音域の音声にするように音質を調整したり、逆に女性や子供の音声を男性のような低音域の音声に調整したりすることにより、カラオケを演出してもよい。
【００６０】
また、上記実施形態において、上記音信号関係の付加機能のほか次のような付加機能を持たせてもよい。
例えば図１２（ａ）に示すように、利用者が歌っている途中の所定のタイミングに、利用者を声援する言葉「ガンバレ！」等のメッセージをテレビ装置３０の画面３１や携帯電話機２０のディスプレイ２７に表示するようにしてもよい。また、利用者が歌っている途中の所定のタイミングに、利用者を声援する言葉「ガンバレ！」等のメッセージ音声を、テレビ装置３０のスピーカ３２から出力するようにしてもよい。
また、図１２（ｂ）に示すように、利用者が歌う複数のカラオケの曲を前もって予約するように登録し、そのカラオケの予約曲の一覧をテレビ装置３０の画面３１や携帯電話機２０のディスプレイ２７に表示するようにしてもよい。このカラオケの曲の予約は、利用者が携帯電話機２０のキー操作部を操作して入力することができる。
また、図１２（ｃ）に示すように、カラオケの選曲中の背景画像として、利用者がキー操作部を操作して指定した画像やアプリケーションプログラムによって指定された画像を、テレビ装置３０の画面３１や携帯電話機２０のディスプレイ２７に表示するようにしてもよい。
【００６１】
なお、上記実施形態では、携帯電話機２０とテレビ装置３０との間の通信として通信ケーブル４０による有線通信を採用した場合について説明したが、Bluetooth（登録商標）等の近距離無線通信や赤外線通信などの無線通信を採用してもよい。この場合は、テレビ装置等の外部出力装置側に、携帯電話機２０からの電波や赤外線を受けて携帯電話機２０との間で無線通信するための外部インターフェース手段を設ける。
また、上記実施形態では、携帯電話機２０からテレビ装置３０へアナログの音声信号及び画像信号を送信しているが、デジタルの音声信号及び画像信号を送信するようにしてもよい。
また、上記実施形態では、外部出力装置としてテレビ装置３０を用いた場合について説明したが、テレビ装置以外の音及び画像を出力できる外部出力装置を用いてもよい。
上記実施形態では、ＪＡＶＡ（登録商標）等のプログラム言語を用いたプラットフォームに依存しないオブジェクト指向のプログラミングで開発されたアプリケーションプログラムを実行できる携帯電話機について説明したが、本発明は、携帯電話機で実行するアプリケーションプログラムの種類に限定されることなく適用でき、同様な効果が得られるものである。
また、本発明は、アプリケーションプログラムを実行可能なものであれば、ＰＨＳ、自動車電話機等の電話機のほか、携帯型のＰＤＡの場合についても適用でき、同様な効果が得られるものである。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態に係るカラオケシステムの概略構成を示す説明図。
【図２】同カラオケシステムの携帯電話機とサーバとの通信を示す説明図。
【図３】同携帯電話機の外観図。
【図４】同携帯電話機のハードウェア構成を示す概略構成図。
【図５】同携帯電話機の特徴部を抽出して示した機能ブロック図。
【図６】同携帯電話機におけるソフトウェア構造の説明図。
【図７】同カラオケシステムで用いる通信ケーブルの説明図。
【図８】カラオケシステムを用いて利用者がカラオケを行うときの手順の一例を示すフローチャート。
【図９】カラオケ画像の一例を示す説明図。
【図１０】採点機能の処理手順の一例を示すフローチャート。
【図１１】採点結果を含むカラオケ画像の説明図。
【図１２】（ａ）〜（ｃ）は他のカラオケ画像の説明図。
【符号の説明】
【００６３】
１０    携帯電話通信網
１１    ダウンロードサーバ
１２    Ｗｅｂサーバ
２０    携帯電話機
３０    テレビ装置
４０    通信ケーブル
２１１  アプリケーションプログラム実行管理手段
２１２  通信手段
２１３  データ取得手段
２１４  データ記憶手段
２１５  音声入力手段
２１６  音信号生成手段
２１７  画像信号生成手段
２１８  外部インターフェース手段
２２０  電話機プラットフォーム
２２１  アプリケーションプログラム実行管理手段
２３０  基準データ抽出手段
２３１  歌唱データ抽出手段
２３２  比較手段
【図１】
2006162778.tif 000016
【図２】
2006162778.tif 000017
【図３】
2006162778.tif 000018
【図４】
2006162778.tif 000019
【図５】
2006162778.tif 000020
【図６】
2006162778.tif 000021
【図７】
2006162778.tif 000022
【図８】
2006162778.tif 000023
【図９】
2006162778.tif 000024
【図１０】
2006162778.tif 000025
【図１１】
2006162778.tif 000026
【図１２】
2006162778.tif 000027