(57)【要約】【課題】装置を振ることによって発生している楽音やＬＥＤの点灯状態を制御する。【解決手段】番号キーアサイナー２２は、番号キーの操作を検出し、ＭＩＤＩ制御モジュール２４に通知する。ＭＩＤＩ制御モジュール２４は、そのキーに対応する音高又は楽器音色の楽音を発生するためのＭＩＤＩメッセージを音源１１に出力する。３次元加速度検出部２１は３軸加速度センサー１４からの入力信号に基づいて３次元の任意の方向の加速度を検出し、ＭＩＤＩ制御モジュール２４に通知する。ＭＩＤＩ制御モジュール２４は、加速度に応じて、楽音の音量、ピッチ、カットオフ周波数などを制御するＭＩＤＩメッセージを生成して音源１１に送出し、発生されている楽音を制御する。また、ＬＥＤ１６は、番号キーに割り付けられた発光色で点灯又は点滅し、その発光態様も加速度に応じて変更される。【選択図】図２
2008116625.tif 000002
【特許請求の範囲】
【請求項１】
複数の操作キーと、
前記操作キーが押されている状態を検出する検出手段と、
任意の方向の加速度を検出する加速度検出手段と、
音源部と、
前記検出手段により前記操作キーが押されたことが検出されたときに、その操作キーに割り付けられている音高又は楽器音色を有する楽音を発生させる音源制御データを生成して前記音源部に出力する楽音発生制御手段と、
前記加速度検出手段により検出された加速度に応じて、前記音源部により発生されている楽音を加工する音源制御データを生成して前記音源部に出力する楽音制御手段と
を有することを特徴とする携帯端末装置。
【請求項２】
前記楽音を加工する音源制御データが、楽音のピッチ、音量又はフィルターカットオフ周波数を変化させる音源制御データであることを特徴とする請求項１記載の携帯端末装置。
【請求項３】
前記加速度検出手段は、３次元の任意の方向の加速度を検出するものであり、
前記楽音制御手段が、検出されたＸ軸方向の加速度、Ｙ軸方向の加速度及びＺ軸方向の加速度の各加速度に応じて、楽音のピッチ、音量又はフィルターカットオフ周波数を変化させる音源制御データを生成することを特徴とする請求項１記載の携帯端末装置。
【請求項４】
前記楽音制御手段が、検出された加速度の正負に応じて、楽音のピッチ、音量又はフィルターカットオフ周波数を変化させる方向が逆方向となる音源制御データを生成することを特徴とする請求項２又は３に記載の携帯端末装置。
【請求項５】
前記楽音制御手段が、楽音のピッチ、音量又はフィルターカットオフ周波数を変化させる量が検出された加速度の大きさに対応する音源制御データを生成することを特徴とする請求項２又は３記載の携帯端末装置。
【請求項６】
複数の色で発光することができる発光表示部と、
前記操作キーが押されている間、その操作キーに割り付けられている発光色で前記発光表示部を点灯又は点滅させる発光制御手段と、
前記加速度検出手段により検出された加速度に応じて、前記発光表示部の発光色又は点滅周波数を変化させる発光状態制御手段と
を有することを特徴とする請求項１ないし５のいずれかに記載の携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話やＰＨＳなどの携帯端末装置に関する。
【背景技術】
【０００２】
演奏機能を有する携帯電話装置が提案されている（特許文献１）。この携帯電話装置によれば、数字キーや「＃」キー、「＊」キーが押されている間、そのキーに割り付けられた音の高さデータを含む音源用データを音源に送り、その間だけ指定の音を出力することができる。これにより、携帯電話装置を楽器としても使用することができるようになる。
また、振動センサを有する携帯端末装置が提案されている（特許文献２）。この携帯端末装置によれば、携帯端末装置の振動を検出する振動センサーを設け、該振動センサーの出力が一定値を越えたときに、楽音を発生させることができ、携帯端末装置にリズム楽器としての機能を持たせることができる。
さらに、着信メロディ演奏時に、着信メロディ楽曲の音符の長さに応じて、カラーＬＣＤ（Liquid Crystal Display）やＥＬ（electro luminescence）、ＰＤＰ（Plasma Display Panel）などからなる発呼者情報表示装置の点灯の長さや発光色を制御するようにした通信端末装置が提案されている（特許文献３）。これにより、着信の際の表示が華やかになるとともに、使用者の遊び心を満足させることが可能となる。
【特許文献１】特開２００１−３５６７７０号公報
【特許文献２】特開２００３−１２５４５５号公報
【特許文献３】特開２００１−３２０４４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載されているように、携帯端末装置に楽器としての機能を持たせることは知られている。しかしながら、演奏された楽音を、効果的にあるいはエンターテインメント性を持たせつつコントロールすることは行われていなかった。
また、特許文献２に記載されたものは、振動を検知することにより直接楽音を発生するものであり、携帯端末装置の操作キーを使用して楽器として演奏する際に、その演奏をコントロールできるものではなかった。
そこで、本発明者らは、筐体の所定方向の加速度及び所定方向の傾き角度を検出する傾斜検出手段を持ち、その検出結果に基づいて、入力操作に対応する楽音データの態様を変更する手段を有する携帯端末装置を提案している（特願２００５−２１８７００号）。
この提案されているものにおいて、傾斜センサーを用いて、傾斜角度の方向に一定以上の加速度が加わるとビブラートを付加するか否かを選択するという方法が示されているが、ここで付加されるビブラートは一定であり、ビブラートの内容をユーザーが自分の意志で制御できるものではなかった。
また、所定方向の加速度及び所定方向の傾き角度を検出して動作するものであるため、携帯端末装置を用いて楽器演奏をする場合にユーザーの動作が限定されてしまうという問題もあった。
【０００４】
そこで本発明は、操作キーを押すことで楽器演奏（パフォーマンス）することができる携帯端末装置において、演奏中に装置を振ることなどにより、ユーザーが演奏表現を細かくコントロールすることができる携帯端末装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の携帯端末装置は、複数の操作キーと、前記操作キーが押されている状態を検出する検出手段と、任意の方向の加速度を検出する加速度検出手段と、音源部と、前記検出手段により前記操作キーが押されたことが検出されたときに、その操作キーに割り付けられている音高又は楽器音色を有する楽音を発生させる音源制御データを生成して前記音源部に出力する楽音発生制御手段と、前記加速度検出手段により検出された加速度に応じて、前記音源部により発生されている楽音を加工する音源制御データを生成して前記音源部に出力する楽音制御手段とを有するものである。
また、前記楽音を加工する音源制御データが、楽音のピッチ、音量又はフィルターカットオフ周波数を変化させる音源制御データとされているものである。
さらに、前記加速度検出手段は、３次元の任意の方向の加速度を検出するものであり、前記楽音制御手段が、検出されたＸ軸方向の加速度、Ｙ軸方向の加速度及びＺ軸方向の加速度の各加速度に応じて、楽音のピッチ、音量又はフィルターカットオフ周波数を変化させる音源制御データを生成するものである。
さらにまた、前記楽音制御手段が、検出された加速度の正負に応じて、楽音のピッチ、音量又はフィルターカットオフ周波数を変化させる方向が逆方向となる音源制御データを生成するものである。
さらにまた、前記楽音制御手段が、楽音のピッチ、音量又はフィルターカットオフ周波数を変化させる量が検出された加速度の大きさに対応する音源制御データを生成するものである。
さらにまた、複数の色で発光することができる発光表示部と、前記操作キーが押されている間、その操作キーに割り付けられている発光色で前記発光表示部を点灯又は点滅させる発光制御手段と、前記加速度検出手段により検出された加速度に応じて、前記発光表示部の発光色又は点滅周波数を変化させる発光状態制御手段とを有するものである。
【発明の効果】
【０００６】
このような本発明の携帯端末装置によれば、操作キーを押して発音を開始した後に、携帯端末装置を振ることで楽音に対してビブラートの付加などの加工をすることができ、ユーザーの意志により多彩な音楽表現が可能となる。このとき、振る方位や角度などは限定されないので、より演奏者の音楽表現力を増すことができる。
また、加速度の正負で制御の方向を逆方向とし、加速度の大きさで制御の深さをコントロールすることで、ビブラートなどにおいて携帯端末装置の振り方で細かい表現をすることができる。
さらに、携帯端末装置を振ることで点灯中のＬＥＤをコントロールすることにより、演奏者の音楽表現にさらにパフォーマンス的な要因を加えることができ、よりエンターテインメント性を発揮ことができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本発明の携帯端末装置の一実施の形態のシステム構成図である。本発明の携帯端末装置は携帯電話機に限られることはないが、ここでは、携帯電話機である場合を例にとって説明する。
この図において、１はこの装置全体の制御を行う制御部（ＣＰＵ）、２は通信制御プログラム、楽音を発生させるためのプログラム及びＬＥＤなどの発光表示部を制御するプログラムなどの各種制御プログラムや各種定数データなどが格納されているＲＯＭ、３はワークエリアとして使用されるとともに後述する設定情報などの各種のデータを記憶するＲＡＭ、４は液晶表示装置（ＬＣＤ）などからなる表示部、５は番号キーや通話キーなどの各種操作キーを有する入力部、６は変復調部などからなる無線通信部、７は無線通信部６に接続されるアンテナ、８は音声信号の符号化及び復号を行う音声処理部、９は音声処理部８に接続される受話スピーカー、１０は同じく送話マイクである。
また、１１は複数の発音チャンネルを有する音源、１２は音源１１により生成された楽音データをアナログの楽音信号に変換するＤ／Ａコンバータ、１３は該楽音信号を再生するスピーカーである。
【０００８】
１４はこの携帯電話機が振られたときなどに生じる加速度を検出する加速度センサーである。この加速度センサー１４は、３次元の任意の方向の加速度を計測することができる３軸加速度センサーであり、Ｘ軸方向の加速度を検出するＸ軸加速度検出部、Ｙ軸方向の加速度を検出するＹ軸加速度検出部及びＺ軸方向の加速度を検出するＺ軸加速度検出部の３個の加速度検出部を有している。なお、加速度センサー１４は、傾きを検出する傾斜センサーや振動を検出する振動センサー及び方位を検出する地磁気センサーなどでも代用することができ、これらの場合には、前回の計測値との差分などから加速度を算出する。
１５は発光表示部（この実施の形態では、ＬＥＤ）１６の発光を制御する発光制御部（ＬＥＤコントローラ）、１６は携帯電話機の筐体に設けられ、着信があったときなどに発光する発光表示部（ＬＥＤ）である。前記発光表示部１６は複数の発光色で発光することができるものとされており、この実施の形態では複数の発光色で発光することができるＬＥＤとされているが、有機ＥＬなどであってもよい。
また、１７は前記各構成要素間でデータを転送するためのバス（データバス及びアドレスバス）である。
【０００９】
前記音源１１は、ＭＩＤＩプロトコルにより発音制御ができるモジュールであり、ＦＭ方式、ＰＣＭ方式など音源方式は特に指定されないが、スペックとしてはＧＭシステムレベル１を満たしている必要がある。
前記ＬＥＤ１６は、例えば、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３色のＬＥＤを１パッケージにしたものであり、前記ＬＥＤコントローラ１５により該３色のＬＥＤの輝度を個々に制御することにより、複数の発光色で発光することができるものである。例えば、ＲＧＢをそれぞれ単独で点灯させたときは赤、緑、青の発光色となり、Ｒ＋Ｇで黄、Ｒ＋Ｂで紫（マゼンタ）、Ｇ＋Ｂで青緑（シアン）、Ｒ＋Ｇ＋Ｂで白の合計７色の発光色を得ることができる。また、ＲＧＢ各色の輝度に複数の段階を設けることでさらに多くの発光色を得ることができる。さらに、ＲＧＢ各色のＬＥＤの輝度を時間的に変化させることにより、点灯中に発光色や輝度を変化させることもできる。さらにまた、ＬＥＤ１６を複数個設けるようにしてもよいし、ＲＧＢ各色の個別のＬＥＤを複数個設けても良い。
【００１０】
このような構成を有する本発明の携帯端末装置において、ユーザーが前記入力部５の操作キーを押圧することにより、その操作キーに割り付けられた音高又は楽器音色の楽音が前記音源１１で発生されて前記スピーカー１３から再生されるとともに、前記ＬＥＤ１６がその操作キーに割り付けられた発光色で点灯又は点滅する。そして、そのときに、ユーザーが携帯端末装置を振ると、前記加速度センサー１４により検出される加速度に応じて、発生されている楽音の音量やピッチなどが制御されるとともに、ＬＥＤ１６の発光状態が制御されるようになされている。
【００１１】
図２は、本発明の携帯端末装置において上述の動作を実行するための機能構成を示す図である。この図において、音源１１、Ｄ／Ａコンバータ１２、スピーカー１３、加速度センサー１４、ＬＥＤコントローラ１５及びＬＥＤ１６は、前記図１に示したものと同一のものである。
３次元加速度検出部２１は、前記加速度センサー１４で検出されたＸ軸、Ｙ軸及びＺ軸の各軸方向の加速度情報（αx、αy、αz）を所定時間ごとに読み込んで携帯端末装置に加えられた加速度の方向を決定し、その方向の加速度を求めて、前記ＭＩＤＩ制御モジュール２４に出力する。なお、ＸＹＺ各軸方向の加速度情報（αx、αy、αz）を前記ＭＩＤＩ制御モジュール２４に出力するようにしてもよい。
番号キーアサイナー２２は、前記入力部５に設けられている操作キーのうちの１２個の操作キー（この実施の形態では、「０」〜「９」、「＃」及び「＊」の番号キー）が押されたか否かをスキャンし、番号キーが押されたタイミング（オンとなったタイミング）と離されたタイミング（オフとなったタイミング）をリアルタイムにＭＩＤＩ制御モジュール２４に伝える。
【００１２】
設定情報ファイル２３は、（Ａ）前記１２個の番号キーと発生させる楽音の音高又は楽器音色及び前記ＬＥＤ１６の発光色との対応関係を示す割り付け情報、及び、（Ｂ）前記加速度センサー１４により検出された加速度と発生されている楽音に対する制御（加工）の内容及びＬＥＤ１６の発光状態に対する制御の内容との対応関係を示す割り付け情報の２種類の割り付け情報を記憶したファイルである。
ユーザーは、あらかじめ、（Ａ）どの番号キーにどの音高又は楽器音色を割り付けるか、及びＬＥＤ１６のどの発光色を割り付けるか、並びに、（Ｂ）検出された加速度に発生されている楽音のどの要素の制御を割り付けるのか、及びＬＥＤの発光態様のどの要素の制御を割り付けるのかを決定しておく。これらの割り付け情報は設定情報ファイル２３として前記ＲＡＭ３などに保存しておき、起動時にこのファイルを読み出すことで割り付けに関する設定が完了する。
【００１３】
ＭＩＤＩ制御モジュール２４は、前記番号キーアサイナー２２からの番号キーのオン／オフを示す情報が入力されたときに、前記設定情報ファイル２３の上記（Ａ）の割り付け情報に基づいて、その操作キーに対応する楽音を発生するためのＭＩＤＩメッセージ（ノートオン／ノートオフ）とＬＥＤ１６の点灯を制御するためのＭＩＤＩメッセージ（システムエクスクルーシブ又はコントロールチェンジ）を作成して、音源１１とＬＥＤコントローラ１５に出力する。
また、前記３次元加速度検出部２１からの加速度情報及び前記設定情報ファイル２３の上記（Ｂ）の割り付け情報に基づいて、加速度／ＭＩＤＩ変換テーブル２５を参照して、音源１１により発生されている楽音を制御するためのＭＩＤＩメッセージ（コントロールチェンジ又はピッチベンド）とＬＥＤ１６の点灯状態を制御するＭＩＤＩメッセージ（システムエクスクルーシブ又はコントロールチェンジ）を作成して、音源１１及びＬＥＤコントローラ１５に出力する。
【００１４】
音源１１は、ＭＩＤＩ制御モジュール２４からのノートオンメッセージを受けて該当する音色の楽音を生成するとともに、楽音を制御するＭＩＤＩメッセージ（コントロールチェンジ又はピッチベンド）を受けて生成している楽音の音量、ピッチ、フィルターカットオフ周波数などを制御する。Ｄ／Ａコンバータ１２は音源１１から出力されたデジタルの楽音データをアナログの楽音信号に変換し、スピーカー１３により再生する。
ＬＥＤコントローラ１５は、ＬＥＤ１６に含まれるＲＧＢ３色のＬＥＤそれぞれの輝度を指定する制御データが書き込まれるレジスタを有している。ＬＥＤコントローラ１５は、前記ＭＩＤＩ制御モジュール２４からのＭＩＤＩメッセージ（システムエクスクルーシブ又はコントロールチェンジ）を受信すると、その中に含まれている制御データを前記レジスタに書き込み、該レジスタに書き込まれた制御データに基づいて、指定されたＲＧＢのＬＥＤを指定された輝度で駆動する。これにより、ＲＧＢの各ＬＥＤが指定された輝度で発光し、ＬＥＤ１６は所望の発光色で発光する。各ＬＥＤを指定された輝度で発光させる制御データを含むＭＩＤＩメッセージと、各ＬＥＤを消灯させる（発光輝度を０とする）制御データを含むＭＩＤＩメッセージを、交互に所望の時間間隔でＬＥＤコントローラ１５に送出することにより、ＬＥＤ１６を所望の周波数で点滅させることができる。
ここで、前記３次元加速度検出部２１、番号キーアサイナー２２及びＭＩＤＩ制御モジュール２４は、前記制御部１により実行される制御プログラムにより実現される。
【００１５】
図３は、前記設定情報ファイル２３に記憶されている割り付け情報のうちの、（Ａ）各番号キーに対する発生させる楽音の音高又は楽器音色及びＬＥＤ１６の発光色の割り付け情報の例を示す図である。本発明においては、前記１２個の番号キーを押したときにそのキーに割り付けられている楽音を発生させることができるが、このとき、各番号キーに楽音の音高を割り付ける形態と、ドラム（リズム）音色の楽器音色を割り付ける形態の２通りの動作形態がある。
図３の（ａ）は、発生される楽音がメロディ音色で、前述した１２個の番号キーに１オクターブ分の音程とＬＥＤ１６の７色の発光色と点灯／点滅を割り付けている例を示している。なお、この場合には、発生される楽音の音色はユーザーが指定することができる。
また、図３の（ｂ）は、前述した１２個の番号キーにドラム音色の楽器音色とＬＥＤ１６の７色の発光色と点灯／点滅を割り付けている例を示している。
なお、図示した例では、番号キーが押されていない状態（「無し」）では、無音で無灯としているが、敢えて色を割り付けることもできる。また、点滅又は点灯するものとしたが、番号キーが押されている間に、時間の経過とともに発光色又は輝度を変化させるようにしてもよい。
【００１６】
次に、前記３次元加速度検出部２１からの加速度情報に応じて実行される楽音の制御及びＬＥＤの点灯状態の制御について説明する。
図４は、検出された加速度に応じて制御される要素を示す図であり、（ａ）は発生されている楽音についての制御要素を示し、（ｂ）はＬＥＤの点灯状態についての制御要素を示している。
楽音についての制御要素としては、図４の（ａ）に示すように、発生される楽音の音量、発生される楽音のピッチ（音高）、及び、発生される楽音を通過させるローパスフィルターのカットオフ周波数がある。
前述のように、前記ＭＩＤＩ制御モジュール２４は、前記３次元加速度検出部２１からの加速度情報に応じて、加速度／ＭＩＤＩ変換テーブル２５を参照して発生されている楽音を制御するためのＭＩＤＩメッセージを生成し、前記音源１１に出力する。図示するように、音量を制御するときには、コントロールチェンジメッセージ（コントロールナンバ１１のエクスプレッション）が生成され、ピッチを制御する場合には、加速度情報に応じたピッチベンドメッセージが生成され、フィルターカットオフ周波数を制御するときには、コントロールチェンジメッセージ（コントロールナンバ７４のカットオフ）が生成されて、音源１１に送出される。
【００１７】
また、加速度に応じてＬＥＤの表示状態を変化させる場合の制御要素としては、図４の（ｂ）に示すように、ＬＥＤ１６の点滅周波数と発光色の変化がある。
加速度に応じてＬＥＤ１６の点滅周波数又は発光色を変化させるときには、前記ＭＩＤＩ制御モジュール２４は、前記加速度／ＭＩＤＩ変換テーブル２５を参照して、前記３次元加速度検出部２１からの加速度情報に応じたシステムエクスクルーシブメッセージを作成し、前記ＬＥＤコントローラ１５に送出する。これにより、ＬＥＤの点滅周波数を制御したり、ＲＧＢのＬＥＤのいずれかの色要素を強くしたり、弱くしたりすることにより発光色を第１の色から第２の色に変化させることができる。
【００１８】
ここで、前記３次元加速度検出部２１で検出された３次元の任意の方向の加速度の大きさに応じて、発生されている楽音の制御及び点灯されているＬＥＤの制御を行うときに、検出された加速度の方向（検出された加速度の方向における加速度値の正負）に応じて制御の方向が逆方向となるようにすることが望ましい。すなわち、３次元における任意の方向の加速度が検出されたときに、その方向（正）の加速度に応じて楽音又はＬＥＤの制御要素（音量、ピッチなど）を増加する方向に制御し、逆方向（負）の加速度に応じてその制御要素を減少させる方向に制御する。
また、加速度の大きさにより制御の深度が深くなるように制御するのが好適である。すなわち、検出された加速度の大きさ（絶対値）に応じて、制御される要素（音量、ピッチなど）の変化幅が大きくなるように制御する。
【００１９】
図５は、発生されている楽音のピッチを加速度に応じて制御することにより、携帯端末装置を振る動作に応じて楽音にビブラートを付加する場合の例を示している。
図５の（ａ）に示すように携帯端末装置を左右に振ったときに、発生されている楽音のピッチを変化させビブラートをかける。図５の（ｂ）はその様子を示す図であり、縦軸が音高（ピッチ）、横軸は時間を示している。この図に示す例では、携帯端末装置を右に振ったときにピッチが高くなり、左に振ったときに低くなるようにし、携帯端末装置を振る動作の１往復がビブラートの１周期に対応するように制御している。また、音高の変化幅（ビブラートの深さ）は、検出された加速度の大きさ（絶対値）に比例するようにしている。これにより、ビブラートの細かい表現を携帯端末装置の振り方で制御することができる。
【００２０】
加速度情報と音源に対する制御要素（音量、ピッチ又はフィルターカットオフ周波数）及びＬＥＤに対する制御要素（点滅周波数又は色変化）の対応関係を設定情報と、加速度の正負に応じてどちらの方向に制御するかを設定する情報が、前記（Ｂ）の割り付け情報として前記設定情報ファイル２３に記憶される。このとき、１つの制御要素ではなく、複数の制御要素を変化させるようにしても良い。
これにより、前記ＭＩＤＩ制御モジュール２４によって、３次元の任意の方向の加速度に応じて、設定情報ファイル２３により設定された割り付け情報に基づいて、発生されている楽音に対する制御を行うＭＩＤＩメッセージ及びＬＥＤの点灯状態を制御するためのＭＩＤＩメッセージが生成され、楽音をＬＥＤの点灯状態の制御が行われることとなる。
【００２１】
上記においては、前記加速度センサー１４で任意の方向の加速度を検出し、その方向及び大きさ（絶対値）に応じて、割り付けられた制御要素を制御するようにしていたが、Ｘ軸、Ｙ軸及びＺ軸の各軸の方向の加速度に対して、それぞれ独立に制御要素を割り付けるようにしてもよい。
図６は、Ｘ軸、Ｙ軸及びＺ軸方向の各軸方向の加速度に対して、前述した制御要素をそれぞれ独立に割り付ける場合の前記設定情報ファイル２３における（Ｂ）の割り付け情報の例を示す図である。
この例では、Ｘ軸方向の加速度情報に対して楽音のピッチの制御とＬＥＤの発光色の変化を割り付け、Ｙ軸方向の加速度情報に対して楽音の音量の制御とＬＥＤの点滅周波数の制御を割り付け、Ｚ軸方向の加速度情報に対して楽音のピッチと音量の両方の制御とＬＥＤの発光色の変化を割り付けている。そして、各軸の加速度情報が正の値であるときには、楽音に対するそれぞれの制御要素の値及びＬＥＤの点滅周波数が上昇する（＋）ように制御し、負の値であるときには下降する（−）ように制御している。また、ＬＥＤの発光色については、加速度情報が正の場合と負の場合とで、異なる発光色となるように制御している。図の例では、Ｘ軸方向の正の加速度に応じて発光色が赤（Ｒ）色となり、負の加速度に応じて白（Ｗ）色となるように制御し、Ｚ軸方向の正の加速度に応じて青（Ｂ）色となり、負の加速度に応じて緑（Ｇ）色となるように制御している。
【００２２】
次に、前記ＭＩＤＩ制御モジュール２４が加速度情報に応じて対応する制御を行うためのＭＩＤＩメッセージを生成するときに参照する加速度／ＭＩＤＩ変換テーブル２５について説明する。
図７の（ａ）は前記加速度／ＭＩＤＩ変換テーブル２５の一例の要部を示す図であり、（ｂ）は加速度に応じたピッチの制御特性の一例を示す図である。
なお、簡略化のため、図７の（ａ）では、前記加速度／ＭＩＤＩ変換テーブル２５のうちのピッチを変化させるための部分の一部のみを示しているが、音量、フィルターカットオフ周波数、ＬＥＤ用の制御要素についても、同様に構成されている。
図７の（ａ）に示すテーブルでは、ピッチを上げる場合、下げる場合の各場合ごとに、加速度値対応に、０msec、２０msec、４０msec、６０msec・・・の各時点におけるピッチの変化量をセント値で規定している。例えば、ピッチを上げる場合に、加速度値が２０のときには、最初（０msec）は０、２０msec後に＋４００、４０msec後に＋８００、６０msec後に＋１２００（セント）・・・となるように規定されている。
図７の（ｂ）は、図７の（ａ）のピッチの制御特性の一部を示した図であり、Ａは加速度値が＋１０のとき、Ｂは加速度値が＋２０のとき、Ｃは加速度値が＋３０のときの制御特性を示している。また、Ｄは加速度値が−１０，Ｅは加速度値が−２０，Ｆは加速度値が−３０のときのピッチの制御特性をを示している。
このように、この例では、検出された加速度値の符号に応じて制御の方向が逆になり、加速度値の絶対値に応じて、変化率が大きくなるようにされている。なお、制御の目標値を加速度の絶対値に応じた値とするようにしてもよい。
【００２３】
前記ＭＩＤＩ制御モジュール２４は、この加速度／ＭＩＤＩ変換テーブル２５を参照して、検出された加速度に対応する制御特性に従ってピッチを変化させるためのピッチベンドメッセージを所定時間間隔で生成し、前記音源１１に送出する。
例えば、前記図６に示した割り付け情報のもとで、Ｘ軸方向の加速度の符号が正で、値が２０であったとする。この場合、前記ＭＩＤＩ制御モジュール２４は、図７の加速度／ＭＩＤＩ制御テーブルを参照して、２０msec後にピッチを４００セント上昇させるピッチベンドメッセージを生成して前記音源１１に送出し、４０msec後にピッチを８００セント上昇させるピッチベンドメッセージを生成して前記音源１１に送出し、・・・という制御を行う。
音量、フィルタのカットオフ周波数、ＬＥＤの発光制御についても、同様に、加速度の値に対応する制御特性が加速度／ＭＩＤＩ変換テーブル２５に設定されており、前記ＭＩＤＩ制御モジュール２４は、設定されている制御特性に対応した制御を行うためのＭＩＤＩメッセージを生成して、前記音源１１又はＬＥＤコントローラ１５に送出する。
【００２４】
次に、このように構成された携帯端末装置の動作について、図８のフローチャートを参照して説明する。
１．ユーザーが演奏開始指示することにより、システムのセットアップを開始する（Ｓ１）。
この処理において、ユーザーにより発生させる楽音の音色が選択される。そして、前記制御部１（ＭＩＤＩ制御モジュール２４）は、各番号キーにＬＥＤ１６のどの発光色を割り付けるか、及び、どの音高あるいは楽器音色を割り付けるかを規定する前記設定情報ファイル２３の内容を読み込む。ユーザーにより選択された音色がメロディ音色であるときには、前記図３の（ａ）のように番号キーに対して音高を割り付け、ドラム音色である場合には、楽器音色が割り付けられる。前記加速度情報と制御要素との割り付けも設定される。
そして、選択された音色がメロディ音色であるときには、音源１１に対して、演奏するためのチャンネルを指定し（通常は、チャンネル１）、ユーザーが演奏したい楽器の音色のプログラムチェンジメッセージをあらかじめ送信する。また、選択された音色がドラム音色であるときには、チャンネル１０を指定する。
【００２５】
２．次に、ユーザーは、番号キーを押したり離したりすることで、ＬＥＤ１６のコントロール及び演奏を開始する。
番号キーアサイナー２２は、どの番号キーが押されたか離されたかを常にスキャンする（Ｓ２）。
３．押されてオンとなった番号キーがあれば（Ｓ３）、発音の開始を指示するノートオンメッセージを発行する（Ｓ４）。このときのノート番号は前記設定情報ファイル２３による設定に従った値を格納する。これにより前記音源１１で対応する楽音が生成され、Ｄ／Ａコンバータ１２を介してスピーカー１３から再生される。
また、同時に、そのキーに指定された発光色でのＬＥＤ１６の点灯を指示するＭＩＤＩメッセージ（例えば、システムエクスクルーシブメッセージ）を発行する（Ｓ４）。前述のように、このメッセージは、前記設定情報ファイル２３による設定に従った発光色でＬＥＤ１６が点灯又は点滅するように指示するデータを含んでいる。
【００２６】
４．ユーザーが発音中に携帯端末装置を振るなどの動作を行なうと、前記加速度センサー１４の出力が変化し、前記３次元加速度検出部２１から加速度情報が出力される（Ｓ５）。
前記ＭＩＤＩ制御モジュール２４は、検出された加速度に応じて、前記加速度／ＭＩＤＩ変換テーブル２５を参照して、設定されたＭＩＤＩイベントを発行する（Ｓ６）。
５．そして、離されてオフとなった番号キーがあれば（Ｓ５）、ＬＥＤオフを指示するＭＩＤＩメッセージを発行するとともに、発音の終了を指示するノートオフメッセージを発行する（Ｓ８）。
６．２〜４は、演奏が終了するまで続けられる（Ｓ９）。
【００２７】
このようにして、番号キーを押している間、あらかじめ設定されている音高又は音色の楽音が発生されるとともに、あらかじめ設定されている発光色でＬＥＤ１６が点灯又は点滅制御される。そして、ユーザーが携帯端末装置を振ることで、発生されている楽音の制御及びＬＥＤの点灯状態を制御することができる。
なお、上述した実施の形態では３軸の加速度センサーを用いるものとしたが、これに限られることはなく、１軸又は２軸の加速度センサーを用いるようにしてもよい。
【図面の簡単な説明】
【００２８】
【図１】本発明の携帯端末装置の一実施の形態の全体構成を示すブロック図である。
【図２】本発明の携帯端末装置の機能構成図である。
【図３】番号キーに対する音高、音色及びＬＥＤの発光色の割り付け情報の例を示す図である。
【図４】加速度情報により制御される要素とそれに対応するＭＩＤＩイベント（ＭＩＤＩメッセージ）を示す図であり、（ａ）は楽音の制御に関する制御要素、（ｂ）はＬＥＤ１６の発光に関する制御要素を示している。
【図５】加速度に応じて楽音のピッチを制御する場合の一例を示す図である。
【図６】Ｘ軸、Ｙ軸及びＺ軸方向の加速度情報に対して、制御要素をそれぞれ独立に割り付ける場合の割り付け例を示す図である。
【図７】加速度／ＭＩＤＩ変換テーブルについて説明するための図であり、（ａ）は加速度／ＭＩＤＩ変換テーブルの一例の要部、（ｂ）は加速度に応じたピッチの制御特性の一例を示す図である。
【図８】本発明の携帯端末装置における処理の流れを示すフローチャートである。
【符号の説明】
【００２９】
１：制御部、２：ＲＯＭ、３：ＲＡＭ、４：表示部、５：入力部、６：無線通信部、７：アンテナ、８：音声処理部、９：スピーカー、１０：マイク、１１：音源、１２：Ｄ／Ａコンバータ、１３：スピーカー、１４：加速度センサー、１５：ＬＥＤコントローラ、１６：ＬＥＤ、２１：３次元加速度検出部、２２：番号キーアサイナー、２３：設定情報ファイル、２４：ＭＩＤＩ制御モジュール、２５：加速度／ＭＩＤＩ変換テーブル
【図１】
2008116625.tif 000003
【図２】
2008116625.tif 000004
【図３】
2008116625.tif 000005
【図４】
2008116625.tif 000006
【図５】
2008116625.tif 000007
【図６】
2008116625.tif 000008
【図７】
2008116625.tif 000009
【図８】
2008116625.tif 000010