(57)【要約】【課題】利便性の高い再生・録音機能を実現する携帯端末機を提供する。【解決手段】携帯端末機の番号キーが操作された場合に各キーに割り付けられた音のＭＩＤＩデータを生成するＭＩＤＩコントローラ１１５と、楽音信号を生成するトーンジェネレータ１２２と、マイクロフォン１１１で取り込んだ音声信号をオーディオデータに変換するＡＤＣ１１２と、ＡＤＣ１１２からのオーディオデータとトーンジェネレータ１２２からのＭＩＤＩデータをミックスして出力するミキサ１２３と、ＭＩＤＩデータとオーディオデータを、操作キーの操作とマイクロフォン１１１による取り込みにおける各データのタイミングを示すタイミング情報と共に記録するファイルコンバータ１１７とを備えている。【選択図】図２
2009145382.tif 000002
【特許請求の範囲】
【請求項１】
発音するための音が各々に割り付けられている操作キーを含み、ユーザからの操作を受け付ける操作手段と、
前記操作キーが操作された場合に前記割り付けられた音を表す第１の音データを生成する音データ生成手段と、
前記第１の音データに基づいて楽音信号を生成する音源手段と、
音声を入力し音声信号を出力するマイクロフォンと、
前記マイクロフォンからの音声信号を取り込み、第２の音データに変換する変換手段と、
前記変換手段からの前記第２の音データと前記音源手段からの楽音信号をミックスして出力する出力手段と、
前記第１の音データと前記第２の音データを、各データのタイミングを示すタイミング情報と共に記録する記録手段と
を備えることを特徴とする携帯端末機。
【請求項２】
前記記録手段に記録されている前記第１の音データをタイミング情報に基づいて前記音源手段を介して前記出力手段に送ることで再生するとともに、前記記録手段に記録されている前記第２の音データを前記出力手段に送ることで再生する再生手段、
をさらに備えることを特徴とする請求項１に記載の携帯端末機。
【請求項３】
前記操作手段によるユーザの操作に応じて、前記再生手段の動作を停止させる制御を行なう制御手段、
をさらに備えることを特徴とする請求項２に記載の携帯端末機。
【請求項４】
前記操作手段によるユーザの操作に応じて、前記再生手段の動作を停止させるとともに、前記記録手段による前記第１の音データの記録の動作を停止させる制御を行なう制御手段、
をさらに備えることを特徴とする請求項２に記載の携帯端末機。
【請求項５】
前記操作手段によるユーザの操作に応じて、前記再生手段の動作を停止させ、前記記録手段による前記第２の音データの記録を停止させる制御を行なう制御手段、
をさらに備えることを特徴とする請求項２に記載の携帯端末機。
【請求項６】
前記操作手段によるユーザの録音開始指示の操作があると、前記操作キーの操作に応じた前記音データ生成手段による第１の音データの生成と、前記音源手段による楽音信号の生成と、前記出力手段による前記楽音信号の出力と、前記記録手段による前記第１の音データと前記タイミング情報との記録と、を実施するように制御を行なうとともに、前記操作手段によるユーザの第２の録音開始指示の操作があると、前記変換手段による前記マイクロフォンからの音声信号の第２の音データへの変換と、前記出力手段による前記第２の音データの出力と、前記再生手段による前記記録手段に記録されている前記第１の音データの再生と、前記記録手段による前記第２の音データと前記タイミング情報との記録と、を実施するように制御を行なう制御手段、
をさらに備えることを特徴とする請求項２に記載の携帯端末機。
【請求項７】
前記操作手段によるユーザの録音開始指示の操作があると、前期変換手段による前記マイクロフォンからの音声信号の第２の音データへの変換と、前記出力手段による前記第２の音データの出力と、前記記録手段による前記第２の音データと前記タイミング情報との記録と、を実施するように制御を行なうとともに、前記操作手段によるユーザの第２の録音開始の操作があると、前記操作キーの操作に応じた前記音データ生成手段による第１の音データの生成と、前記音源手段による楽音信号の生成と、前記出力手段による前記楽音信号の出力と、前記再生手段による前記記録手段に記録されている前記第２の音データの再生と、前記記録手段による前記第１の音データと前記タイミング情報との記録と、を実施するように制御を行なう制御手段、
をさらに備えることを特徴とする請求項２に記載の携帯端末機。
【請求項８】
前記記録手段は、前記第１の音データと前記第２の音データとを前記タイミング情報と共に一つのファイルとして記録する
ことを特徴とする請求項１から７までのいずれか一項に記載の携帯端末機。
【請求項９】
前記制御手段は、前記記録手段による第１の音データの記録を複数回重ねて行うことを可能とする制御を行うことを特徴とする請求項５に記載の携帯端末機。
【請求項１０】
発音するための音が各々に割り付けられている操作キーが操作された場合に割り付けられた音を表す第１の音データを生成する過程と、
前記第１の音データに基づいて楽音信号を生成する過程と、
音声を入力して音声信号を出力するマイクロフォンから音声信号を取り込み、第２の音データに変換する過程と、
前記変換された第２の音データと前記生成された楽音信号とをミックスして出力する過程と、
前記第１の音データと前記第２の音データを、各データのタイミングを示すタイミング情報と共に記録する過程と、
の制御の処理を携帯端末機のコンピュータによって実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を録音・再生したり、ＭＩＤＩ（ミディ）データなどの音データを録音・再生したりすることが可能な携帯端末機及び携帯端末機上で実行可能なプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話機等の携帯端末機は、電話機としての機能の他に音声を録音する機能やＭＩＤＩ（Musical Instrument Digital Interface）データなどの音源用の音データを再生する機能を持つものが開発されている。例えば、特許文献１には、番号キーが押されている間、キーに割り付けられた音の高さデータを含む音データを音源に送り、その間だけ指定の音を出力する携帯電話装置が記載されている。すなわち、特許文献１に記載されている技術は、楽器として演奏することのできる携帯電話装置を提供するものである。
【０００３】
また、特許文献２には、携帯端末機上で、マイクロフォンによって音声信号を録音し、エフェクト効果を付加してマルチメディアファイルを生成するための技術が記載されている。
【０００４】
【特許文献１】特開２００１−３５６７７０号公報
【特許文献２】特開２００７−１０８３８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、音源用音データを再生あるいは記録するのみの機能を提供する携帯端末機では、音データに対して音声などの生音による効果音を簡単に付加することが出来ないという課題がある。また、作曲のために音データを記録する場合、メロディと同時に歌詞が浮かんだときでも、すぐに記録する手段がないという課題があった。
【０００６】
一方、携帯端末機を利用して歌唱を録音する場合、自由な場所や時間に録音ができるという長所がある一方、伴奏などがないため、音程やリズムがとりにくいという短所がある。すなわち、マイクロフォンからの信号を録音する機能のみを提供する携帯端末機を用いて歌唱を録音する場合、基準となる音程がわかりにくかったり、音程に加えてリズムもわかりにくかったりするという課題がある。また、会話音声を録音することを考えた場合、バックグラウンド−ミュージック（以下、ＢＧＭ）などがないため、録音内容が単調なものとなってしまうということが考えられる。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、音声及び音源用音データの再生機能と録音機能とを組み合わせることで、利便性の高い再生・録音機能を実現することができる携帯端末機及びプログラムを提供することを目的とする。より具体的には、たとえば、作曲する場合に音源用音データを録音するだけでなく歌詞の記録もできるようにしたり、歌唱を録音する場合に伴奏音を再生できるようにしたり、会話（しゃべり）音声の場合にたとえばユーザ自身が演奏したＢＧＭを入れたり、音声の前後に短いメロディや打楽器音などを付加できるようにしたりすることができる携帯端末機及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）上記課題を解決するため、本発明の一態様は、発音するための音が各々に割り付けられている操作キーを含み、ユーザからの操作を受け付ける操作手段と、前記操作キーが操作された場合に前記割り付けられた音を表す第１の音データを生成する音データ生成手段と、前記第１の音データに基づいて楽音信号を生成する音源手段と、音声を入力し音声信号を出力するマイクロフォンと、前記マイクロフォンからの音声信号を取り込み、第２の音データに変換する変換手段と、前記変換手段からの前記第２の音データと前記音源手段からの楽音信号をミックスして出力する出力手段と、前記第１の音データと前記第２の音データを、各データのタイミングを示すタイミング情報と共に記録する記録手段とを備えることを特徴とする携帯端末機である。
【０００９】
（２）また、本発明の一態様は、上記の携帯端末機において、前記記録手段に記録されている前記第１の音データをタイミング情報に基づいて前記音源手段を介して前記出力手段に送ることで再生するとともに、前記記録手段に記録されている前記第２の音データを前記出力手段に送ることで再生する再生手段、をさらに備えることを特徴とする。
【００１０】
（３）また、本発明の一態様は、上記の携帯端末機において、前記操作手段によるユーザの操作に応じて、前記再生手段の動作を停止させる制御を行なう制御手段をさらに備えることを特徴とする。
【００１１】
（４）また、本発明の一態様は、上記の携帯端末機において、前記操作手段によるユーザの操作に応じて、前記再生手段の動作を停止させるとともに、前記記録手段による前記第１の音データの記録の動作を停止させる制御を行なう制御手段をさらに備えることを特徴とする。
【００１２】
（５）また、本発明の一態様は、上記の携帯端末機において、前記操作手段によるユーザの操作に応じて、前記再生手段の動作を停止させ、前記記録手段による前記第２の音データの記録を停止させる制御を行なう制御手段をさらに備えることを特徴とする。
【００１３】
（６）また、本発明の一態様は、上記の携帯端末機において、前記操作手段によるユーザの録音開始指示の操作があると、前記操作キーの操作に応じた前記音データ生成手段による第１の音データの生成と、前記音源手段による楽音信号の生成と、前記出力手段による前記楽音信号の出力と、前記記録手段による前記第１の音データと前記タイミング情報との記録と、を実施するように制御を行なうとともに、前記操作手段によるユーザの第２の録音開始指示の操作があると、前記変換手段による前記マイクロフォンからの音声信号の第２の音データへの変換と、前記出力手段による前記第２の音データの出力と、前記再生手段による前記記録手段に記録されている前記第１の音データの再生と、前記記録手段による前記第２の音データと前記タイミング情報との記録と、を実施するように制御を行なう制御手段をさらに備えることを特徴とする。
【００１４】
（７）また、本発明の一態様は、上記の携帯端末機において、前記操作手段によるユーザの録音開始指示の操作があると、前期変換手段による前記マイクロフォンからの音声信号の第２の音データへの変換と、前記出力手段による前記第２の音データの出力と、前記記録手段による前記第２の音データと前記タイミング情報との記録と、を実施するように制御を行なうとともに、前記操作手段によるユーザの第２の録音開始の操作があると、前記操作キーの操作に応じた前記音データ生成手段による第１の音データの生成と、前記音源手段による楽音信号の生成と、前記出力手段による前記楽音信号の出力と、前記再生手段による前記記録手段に記録されている前記第２の音データの再生と、前記記録手段による前記第１の音データと前記タイミング情報との記録と、を実施するように制御を行なう制御手段をさらに備えることを特徴とする。
【００１５】
（８）また、本発明の一態様は、上記の携帯端末機において、前記記録手段は、前記第１の音データと前記第２の音データとを前記タイミング情報と共に一つのファイルとして記録することを特徴とする。
（９）また、本発明の一態様は、上記の携帯端末機において、前記制御手段は、前記記録手段による第１の音データの記録を複数回重ねて行うことを可能とする制御を行うことを特徴とする。
【００１６】
（１０）また、本発明の一態様は、発音するための音が各々に割り付けられている操作キーが操作された場合に割り付けられた音を表す第１の音データを生成する過程と、前記第１の音データに基づいて楽音信号を生成する過程と、音声を入力して音声信号を出力するマイクロフォンから音声信号を取り込み、第２の音データに変換する過程と、前記変換された第２の音データと前記生成された楽音信号とをミックスして出力する過程と、前記第１の音データと前記第２の音データを、各データのタイミングを示すタイミング情報と共に記録する過程と、の制御の処理を携帯端末機のコンピュータによって実行させるプログラムである。
【発明の効果】
【００１７】
本発明によれば、第１の音データと第２の音データを、操作キーの操作とマイクロフォンによる取り込みにおける各データのタイミングを示すタイミング情報と共に記録するので、たとえば、作曲する場合、演奏データを録音するだけでなく、演奏データと同期して歌唱や歌詞の記録もできる。よって本発明の携帯端末機だけで歌唱付きの楽曲データを生成することができる。また、会話音声を録音する場合でも、ユーザ自身の演奏したＢＧＭを入れたり、音声の前後に短いメロディや打楽器音などを付加したりすることができ、エンターテイメント性を増やすことができる。
【００１８】
また、記録されている第１の音データをタイミング情報に基づいて再生するとともに、記録されている第２の音データを再生することで、たとえば、歌唱を録音する場合、それに合わせ基準音（伴奏音）を発することができるので歌いやすくなり、また予め伴奏を記録しておけば、リズムもわかりやすくすることができる。
【００１９】
また、第１の音データの再生・記録と、第２の音データの再生・記録とを複数の形態で選択可能に制御する制御手段を設けることで、自由度を向上し、さらに利便性を高めることができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態に係る携帯端末機１の構成を示す構成図である。この携帯端末機１は、代表的には携帯電話である。より具体的には、たとえば音声通信機能が備わっていて電話のためのマイクロフォンとスピーカを備えた携帯電話が本実施形態による携帯端末機である。図１において、各部を接続するものであって、データバス／アドレスバス／各種制御信号線からなるバス１１には、携帯端末機１内の各部を制御するＣＰＵ（Central Processing Unit、中央処理装置）１６が接続されている。
【００２１】
ＲＯＭ１２は、ＣＰＵ１６が実行するプログラム等を保持するＲＯＭ（Read Only Memory、読み出し専用メモリ）である。ＲＡＭ１３は、ＣＰＵ１６が使用するメモリ領域を提供するＲＡＭ（Random Access Memory、ランダムアクセスメモリ）である。
【００２２】
データインタフェース１４は、シリアル通信又はパラレル通信によってフラッシュメモリカードなどからなる着脱自在の記憶装置２と接続するためのインタフェースである。この記憶装置２には、たとえば楽曲を演奏するための楽曲演奏データである音データや音響信号波形を表すオーディオデータからなるマルチメディアファイルが格納される。ＣＰＵ１６はデータインタフェース１４を介して記憶装置２内のマルチメディアファイルを読み取る。ここで、マルチメディアファイルとは、オーディオデータにＭＩＤＩデータ等を合わせたファイルを指す。
【００２３】
ＤＳＰ（Digital Signal Processor、ディジタル信号プロセッサ）１５は、オーディオデータをエンコード／デコードする処理（所謂ＣＯＤＥＣ（コーデック））に用いられる。これにはアナログ信号を入出力するためのＡＤＣ（Analog-to-Digital Converter、ＡＤ変換器）１８とＤＡＣ（Digital-to-Analog Converter、ＤＡ変換器）１９が接続されている。ＤＳＰ１５は、入力されたオーディオデータに対してリアルタイムでデコード処理を行ったり、リニアなサンプリングデータからＭＰ３（MPEG-1 Audio Layer-3）形式やＡＡＣ（Advanced Audio Coding）形式といった特定の圧縮オーディオフォーマットにエンコードする処理を行ったりする。
【００２４】
ＡＤＣ１８は、マイクロフォン（図示なし）で収音したアナログ音声信号をディジタル音声データへ変換する。なお、ここで使用するマイクロフォンは、携帯端末機１の備える通話用のマイクロフォンを用いてもよいし、これに代えて専用のマイクロフォンを設けてもよい。ＤＡＣ１９は、ＤＳＰ１５でデコードされたオーディオデータ又は音源１７で生成された音データをアナログ音声信号に変換する。
【００２５】
音源１７は、ＭＩＤＩプロトコルによって発音制御ができるモジュールであり、音源方式としてＦＭ（Frequency Modulation、周波数変調）方式／ＰＣＭ（Pulse Code Modulation、パルスコード変調）方式など指定しないが、本実施の形態ではスペックとしてはＧＭ（General MIDI）システムレベル１を満たしている。また、音源１７の実装方法は、ＣＰＵ１６によるソフトウェア方式でも、専用のハードウェアを設ける方法でもよい。
【００２６】
なお、データインタフェース１４には、携帯端末機１に搭載されている数字・文字・一部の記号キー・エンターキー・カーソルキー・ファンクションキーなどからなる操作キーや液晶ディスプレイなどからなる表示装置が接続されている。また、ＤＡＣ１９にはスピーカや外部イヤフォンの接続端子などが接続されている。これらの装置は携帯端末機１の通信機能などを実現するために設けられたものであり、図１では図示を省略している。
【００２７】
なお、本実施形態の携帯端末機１は、電話機能を備えているほか、電子メールによりファイルを送受信する機能やインターネットを介してファイルをアップロード・ダウンロードする機能を備えている。
【００２８】
次に、図２を参照して、本実施の形態の機能的構成例について説明する。図２は、図１に示す携帯端末機１の機能的構成例を示す機能ブロック図であり、図１に示す各部（一部図示していないものを含む）を用いてプログラムによる制御によって実現される各機能をブロックに分けて示すとともに、各ブロック間の情報の流れを示している。
【００２９】
マイクロフォン１１１は、音声を入力しアナログの音声信号を出力する。ＡＤＣ１１２は、マイクロフォン１１１から受け取ったアナログ信号（音声信号）をディジタル信号（第２の音データ）に変換するモジュールである。オーディオエンコーダ１１３は、リニアなデジタルデータすなわち非圧縮のオーディオデータ（第２の音データ）から、ＭＰ３やＡＡＣといった特定の圧縮オーディオフォーマットのデータすなわち圧縮オーディオデータ（第２の音データ）へ変換処理を行うモジュールである。この変換結果はＲＡＭ１３に記録される。
なお、ＡＤＣ１１２が、音声信号を取り込みオーディオデータに変換する変換手段に相当する。あるいは、ＡＤＣ１１２とオーディオエンコーダ１１３とを組み合わせたものが、この変換手段に相当する。
【００３０】
ボタンインタフェース１１４は、携帯端末機１上にあるボタン（番号キー、記号キー、カーソルキー、エンターキー、ファンクションキーなどの操作キー）が押されたかどうかをスキャンし、各ボタンが押されたタイミングと離されたタイミングをリアルタイムに検出するモジュールである。各操作キーには、あらかじめ発音するための音（音程や音色）が各々に割り付けられている。この操作キーを押すことによる演奏には次の２つのパターンがある。１つは予め１つの音色を設定し、各ボタン（キー）には異なる音高が割り当てられているパターンである。もう１つはたとえばドラムのように、各ボタンに異なる音色及び音高が割り当てられているパターンである。
【００３１】
ＭＩＤＩコントローラ１１５（音データ生成手段）は、ボタンインタフェース１１４からの情報をＭＩＤＩに変換するモジュールである。すなわち、ＭＩＤＩコントローラ１１５は、操作キーが操作された場合に各操作キーに割り付けられた音の音データすなわちＭＩＤＩデータ（第１の音データ）を生成する。より具体的には、ＭＩＤＩコントローラ１１５は、たとえばユーザが携帯端末機１を用いてリアルタイムに発音するために、予めボタンに割り付けられた音程（又は音色、楽器）のノートオン／オフ情報を示すＭＩＤＩイベント・データを生成する。ＭＩＤＩレコーダ１１６は、ＭＩＤＩイベントを時間情報とともにＳＭＦ（Standard MIDI File）などのファイルデータへ変換してＲＡＭ１３に記録するためのモジュールである。
【００３２】
ファイルコンバータ１１７は、圧縮オーディオデータとＳＭＦのなどのＭＩＤＩデータから、圧縮オーディオデータとＭＩＤＩデータの両方を対応づける図３に示すマルチメディアファイルフォーマットのような１つのデータファイルを生成するモジュールである。生成したデータファイルは、ファイル記憶装置１１８に保存される。ファイル記憶装置１１８において、ＭＩＤＩデータとオーディオデータは、操作キーの操作とマイクロフォン１１１による取り込みにおける各データのタイミングを示すタイミング情報と共に記録される。
なお、ファイル記憶装置１１８が記録手段に相当する。あるいは、ファイルコンバータ１１７とファイル記憶装置１１８とを組み合わせたものが記録手段に相当する。
【００３３】
なお、ファイルコンバータ１１７は、マルチメディアファイルフォーマットによる１つのデータファイルに圧縮オーディオデータを格納する際に、あらかじめ圧縮オーディオデータを複数のファイルに分割して、分割後の複数のファイルをデータファイルに格納するようにしている。ファイルの分割は、無音部分を削除するために行うもので、所定のレベル以下の振幅の波形が所定時間以上継続した場合に無音声部分であると判定して、その部分でファイルを分割し、無音部分を削除した分割ファイルを作成することで行う。これによって全体のデータ量を減少させることができる。削除した無音部分に対応する時間を記録してその部分の再生を停止させることで無音部分の間隔を保って有音部分の再生を行うことができる。ただし、ファイルコンバータ１１７は、無音部分を削除せずに分割ファイルを作成するようにしてもよい。
【００３４】
なお、ファイルコンバータ１１７を省略して、圧縮オーディオデータとＭＩＤＩデータは個別に保存されても良い。この場合、後述のプレーヤ１１９には、２つのファイルを同期再生する仕組みが必要になる。
【００３５】
プレーヤ１１９は、ファイル記憶装置１１８から選択されたデータファイルを読み込み、ユーザからの再生指示に応じてその指示と同時に、圧縮オーディオデータをオーディオデコーダ１２０へ送るとともに、ＭＩＤＩデータをＭＩＤＩシーケンサ１２１へ渡す。オーディオデコーダ１２０は、ＭＰ３やＡＡＣといった特定の圧縮オーディオフォーマットのデータから、リニアなデジタルデータすなわち非圧縮のオーディオデータへ変換処理を行うモジュールである。
【００３６】
ＭＩＤＩシーケンサ１２１は、ＳＭＦ等の時間情報の入ったＭＩＤＩデータを受け取り、シーケンスの時間を管理し、再生が始まるとシーケンスに従いＭＩＤＩイベントを生成して送信するモジュールである。トーンジェネレータ１２２（音源手段）は、ＭＩＤＩイベントをリアルタイムに解釈し、イベント内容に従って発音する、すなわち音データに基づいて楽音信号（オーディオデータ）を生成するモジュールである。
なお、プレーヤ１１９とオーディオデコーダ１２０とＭＩＤＩシーケンサ１２１を組み合わせたものが再生手段である。
【００３７】
ミキサ１２３は、オーディオデコーダ１２０からのディジタル信号と、トーンジェネレータ１２２からのディジタル信号をミックスして出力する。ＤＡＣ１２４は、ディジタル信号をアナログ信号に変換するモジュールである。変換されたアナログ信号は、アンプにより増幅されてスピーカ１２５で実際の音となる。
なお、ミキサ１２３が出力手段に相当する。あるいは、ミキサ１２３とＤＡＣ１２４とを組み合わせたものが出力手段に相当する。
【００３８】
なお、図２の機能ブロックと、図１のハードウェアとの対応関係は、次のとおりである。ＡＤＣ１１２の機能は主にＡＤＣ１８によって実現される。ＤＡＣ１２４は、ＤＡＣ１９に対応している。オーディオエンコーダ１１３、オーディオデコーダ１２０及びミキサ１２３は、ＤＳＰ１５に対応している。ファイル記憶装置１１８は、ＲＡＭ１３又は記憶装置２に対応している。ＭＩＤＩシーケンサ１２１及びトーンジェネレータ１２２は、音源１７に対応している。マイクロフォン１１１とスピーカ１２５を除くこれら以外のブロックは、ＣＰＵ１６による処理によるものである。
【００３９】
次に、図３を参照して、図２のファイルコンバータ１１７で生成されるマルチメディアファイルのフォーマット構造例について説明する。マルチメディアファイル中のデータは、チャンク（塊）単位で管理される。
【００４０】
Contents Info Chunk（コンテンツ・インフォ・チャンク）には、ファイルの管理用のデータが格納される。コンテンツの種別やコンテンツ複製許可などの情報が含まれる。Optional Data Chunk（オプショナル・データ・チャンク）には、楽曲データ固有の情報が含まれる。
【００４１】
MIDI Track Chunk（ＭＩＤＩトラック・チャンク）は、音源１７によって再生されるシーケンスデータ等が格納される。MIDI Track Chunk内のSetup Data Chunk（セットアップ・データ・チャンク）は、MIDI Track Chunk全体における設定パラメータや音色パラメータ、エフェクトデータなどを格納する。MIDI Track Chunk内のSequence Data Chunk（シーケンス・データ・チャンク）には、音源１７によって再生されるシーケンスデータが格納される。
【００４２】
シーケンスデータとは、時間情報を持つＭＩＤＩイベントの集合体であり、各イベントの相対位置を表すDuration（デュレイション）とイベントによって構成され、そのイベントの内容はMIDI Channel Message（ＭＩＤＩチャンネルメッセージ）によって示される。ＭＩＤＩイベントには、発音イベント（ノートオン／オフ）や音色変更イベント（プログラムチェンジ）、音量変更やパンポット変更のためのイベント（コントロールチェンジ）、ピッチ変更イベント（ピッチチェンジ）などがある。
【００４３】
Audio Track Chunk（オーディオ・トラック・チャンク）は、サンプリングされたオーディオデータと実際の発音を行うためのシーケンスデータを格納する。Audio Track Chunk内のSetup Data Chunk（セットアップ・データ・チャンク）は、Audio Data Chunk全体における設定パラメータを格納する。Audio Track Chunk内のSequence Data Chunk（シーケンス・データ・チャンク）には、オーディオデータを発音するためのシーケンスデータが格納される。ここで、シーケンスデータには、時間に同期して発音、消音するためにオーディオデータと結び付けられたEvent （イベント）と、タイミングを指定するためのDuration（デュレイション）からなる。また、音量変更やパンポット変更のためのイベント等もシーケンスデータに含まれる。
【００４４】
Audio Track Chunk内のAudio Data Chunk（オーディオ・データ・チャンク）には、実際のオーディオデータが格納されている。Audio Data Chunkのヘッダーには、オーディオデータの種類やサンプリング周波数、ビットなどの情報がある。本トラックが存在するときには、本トラックが再生開始と再生終了時間のマスターとなる。
【００４５】
なお、一つのAudio Data Chunkが一つのオーディオデータに対応しており、Audio Track Chunk内に複数のAudio Data Chunk（すなわち、複数のオーディオデータ）を格納することが可能である。Audio Track Chunk内では、各Audio Data Chunkに対してＩＤ（識別符号）を割り当てることで管理され、このＩＤによってSequence Data Chunkの発音イベントと関連付けられる。
【００４６】
図４にMIDI Track Chunk内のSequence Data ChunkとAudio Track Chunk内のSequence Data Chunkに格納されるデータを模式的に示した。図４に示す例では、ＭＩＤＩデータ内にノートＮＴ１とノートＮＴ２が含まれていて、MIDI Track Chunk内のSequence Data Chunkに格納されるシーケンスデータに、ノートＮＴ１のノートオンを表すノートオン・イベント（Event #1）とそのノートオン・イベントまでの時間を表すDuration #1と、ノートＮＴ２のノートオンを表すノートオン・イベント（Event #2）とノートオン・イベント（Event #1）からそのノートオン・イベントまでの時間を表すDuration #2と、ノートＮＴ１のノートオフを表すノートオフ・イベント（Event #3）とそのノートＮＴ２のノートオン・イベントからノートＮＴ１のノートオフ・イベントまでの時間を表すDuration #3とが含まれている。
【００４７】
一方、オーディオデータは、無音部分で分割されたオーディオデータＷＶ１とオーディオデータＷＶ２を含んでいて、Audio Track Chunk内のSequence Data Chunkに格納されるシーケンスデータは、オーディオデータＷＶ１の発音イベントまでの時間を表すDuration #1と発音対象となるオーディオデータＷＶ１を格納するAudio Data Chunk #1を示す発音イベント（Event #1）と、オーディオデータＷＶ１の発音イベントからオーディオデータＷＶ２の発音イベントまでの時間を表すDuration #2と発音対象となるオーディオデータＷＶ２を格納するAudio Data Chunk #2を示す発音イベント（Event #2）とを含んでいる。
【００４８】
ＭＩＤＩデータ及びオーディオデータ内の各イベントの発生時刻は、各イベントに対応づけられた時間情報によって管理されるので、ＭＩＤＩデータとオーディオデータの記録開始時刻を一致させることで、各データに基づく音響信号の発生を同期させることができる。なお、両シーケンスデータ内のDurationが、タイミング情報に相当する。
【００４９】
次に、図５以降を参照して、図１及び図２に示す携帯端末機１の５通りの動作フロー１〜５について説明する。なお、携帯端末機１は、動作フロー１〜５のすべてを提供するようにしてもよいし、それらの中から１つまたは複数の動作フローを選択的に提供するようにしてもよい。
【００５０】
［動作フロー１］
動作フロー１は、音声等のオーディオデータの録音とＭＩＤＩ等の音データの録音とを同時に行う動作形態である。この場合の処理フローについて図５及び図６を参照して説明する。なお、図５は、図２の機能ブロック図から、動作フロー１において機能を停止して使用しないブロックと省略された情報の流れとを破線に変えて示したものである。この場合、プレーヤ１１９、オーディオデコーダ１２０及びＭＩＤＩシーケンサ１２１を停止することで、ファイル記憶装置１１８からの圧縮オーディオデータ及びＭＩＤＩデータの読み出しや、読み出したデータによる音響信号の再生が行われないようになっている。
【００５１】
図６は、動作フロー１のフローチャートである。なお、図６において記号Ａはそれぞれ並列処理を示す記号である。例えば、ステップＳ１０４の処理とステップＳ１０６の処理は、ステップＳ１０２の処理又はステップＳ１１２の処理が終了するまで開始できない。また、ステップＳ１１１の処理は、ステップＳ１０７の処理とステップＳ１０９の処理の終了を待たなければならない。
【００５２】
動作フロー１では、まず、ユーザによる録音開始指示によって、録音が開始される（ステップＳ１０１）。録音開始指示は、予め携帯端末機１の表示画面上に表示されたカーソルをカーソルキーなどの操作キーを操作して動作フロー１を選択した後、決定キーなどの所定の操作キーを操作することで行われる。録音開始指示が行われると、各部の初期化などの設定処理が行われて録音機能が開始される（ステップＳ１０２）。
【００５３】
ここで、ユーザからマイクロフォン１１２へ入力された音声などのアナログ信号はＡＤＣ１１２によりディジタル信号に変換される（ステップＳ１０３及びステップＳ１０４）。
【００５４】
一方同時にユーザから番号キーなどの操作キーの操作によってボタンインタフェース１１４を介して入力されたイベントはＭＩＤＩコントローラ１１５によってＭＩＤＩデータに変換される（ステップＳ１０５及びステップＳ１０６）。
【００５５】
ステップＳ１０６で変換されたＭＩＤＩデータは、トーンジェネレータ１２２によって楽曲音を持つディジタルオーディオ信号に変換され（ステップＳ１０８）、ステップＳ１０４で変換されたディジタル信号とミックスされ、ＤＡＣ１２４によってアナログ信号となってスピーカ１２５から出力される（ステップＳ１１０）。
【００５６】
一方、ステップＳ１０６で変換されたＭＩＤＩデータは、ＭＩＤＩレコーダ１１６によってＳＭＦ形式などのデータファイルに変換されて記録される（ステップＳ１０９）。またステップＳ１０４で変換されたディジタル信号はオーディオエンコーダ１１３によって特定の圧縮データフォーマット形式に変換される（ステップＳ１０７）。この２つを元にしてファイルコンバータ１１７は図３に示すようなマルチメディアフォーマット形式でファイルを生成しファイル記憶装置１１８へ保存する（ステップＳ１１１）。
【００５７】
以上の処理がユーザによって録音停止指示がなされるまで繰り返し実行される（ステップＳ１１２で「ＮＯ」で繰り返し、「ＹＥＳ」で処理終了）。
なお、ＣＰＵ１６（制御手段）が、この動作フロー１として説明した処理の制御を行なう。つまり、ＣＰＵ１６が、再生手段の動作を停止させる制御を行なう。
【００５８】
［動作フロー２］
動作フロー２は、録音とＭＩＤＩ等による楽曲演奏と、マイクロフォン１１１で入力した音声の発音は同時に行うが、記録するのは音声録音のみとする動作形態である。この場合の処理フローについて図７及び図８を参照して説明する。図７の機能ブロック図では、ＭＩＤＩレコーダ１１６と、プレーヤ１１９、オーディオデコーダ１２０及びＭＩＤＩシーケンサ１２１が停止されている。これによって、ＭＩＤＩデータの記録と、ファイル記憶装置１１８からの圧縮オーディオデータ及びＭＩＤＩデータの読み出しや、読み出したデータによる音響信号の再生が行われないようになっている。
【００５９】
動作フロー２では、まず、ユーザによる録音開始指示によって、録音が開始される（ステップＳ２０１）。録音開始指示は、予め携帯端末機１の表示画面上に表示されたカーソルをカーソルキーなどの操作キーを操作して動作フロー２を選択した後、決定キーなどの所定の操作キーを操作することで行われる。録音開始指示が行われると、各部の初期化などの設定処理が行われて録音機能が開始される（ステップＳ２０２）。
【００６０】
ここで、ユーザからマイクロフォン１１２へ入力された音声などのアナログ信号はＡＤＣ１１２によりディジタル信号に変換される（ステップＳ２０３及びステップＳ２０４）。
【００６１】
一方同時にユーザから番号キーなどの操作キーの操作によってボタンインタフェース１１４を介して入力されたイベントはＭＩＤＩコンバータ１１５によってＭＩＤＩデータに変換される（ステップＳ２０５及びステップＳ２０６）。
【００６２】
ステップＳ２０６で変換されたＭＩＤＩデータは、トーンジェネレータ１２２によって楽曲音を持つディジタルオーディオ信号に変換され（ステップＳ２０８）、ステップＳ２０４で変換されたディジタル信号とミックスされ、ＤＡＣ１２４によってアナログ信号となってスピーカ１２５から出力される（ステップＳ２１０）。
【００６３】
またステップＳ２０４で変換されたディジタル信号はオーディオエンコーダ１１３によって特定の圧縮データフォーマット形式に変換される（ステップＳ２０７）。ステップＳ２０７で変換されたデータを元にしてファイルコンバータ１１７は図３に示すようなマルチメディアフォーマット形式でファイルを生成しファイル記憶装置１１８へ保存する（ステップＳ２０９）。
【００６４】
以上の処理がユーザによって録音停止指示がなされるまで繰り返し実行される（ステップＳ２１１で「ＮＯ」で繰り返し、「ＹＥＳ」で処理終了）。
なお、ＣＰＵ１６（制御手段）が、この動作フロー２として説明した処理の制御を行なう。つまり、ＣＰＵ１６が、再生手段の動作を停止させるとともに、記録手段による第１の音データの記録の動作を停止させるように制御を行なう。
【００６５】
［動作フロー３］
動作フロー３は、録音とＭＩＤＩ等による楽曲演奏と、マイクロフォン１１１で入力した音声の発音は同時に行うが、記録するのは楽曲演奏のデータのみとする動作形態である。この場合の処理フローについて図９及び図１０を参照して説明する。図９の機能ブロック図では、オーディオエンコーダ１１３と、プレーヤ１１９、オーディオデコーダ１２０及びＭＩＤＩシーケンサ１２１が停止されている。これによって、オーディオデータの記録と、ファイル記憶装置１１８からの圧縮オーディオデータ及びＭＩＤＩデータの読み出しや、読み出したデータによる音響信号の再生が行われないようになっている。
【００６６】
動作フロー３では、まず、ユーザによる録音開始指示によって、録音が開始される（ステップＳ３０１）。録音開始指示は、予め携帯端末機１の表示画面上に表示されたカーソルをカーソルキーなどの操作キーを操作して動作フロー３を選択した後、決定キーなどの所定の操作キーを操作することで行われる。録音開始指示が行われると、各部の初期化などの設定処理が行われて録音機能が開始される（ステップＳ３０２）。
【００６７】
ここで、ユーザからマイクロフォン１１２へ入力された音声などのアナログ信号はＡＤＣ１１２によりディジタル信号に変換される（ステップＳ３０３及びステップＳ３０４）。
【００６８】
一方同時にユーザから番号キーなどの操作キーの操作によってボタンインタフェース１１４を介して入力されたイベントはＭＩＤＩコントローラ１１５によってＭＩＤＩデータに変換される（ステップＳ３０５及びステップＳ３０６）。
【００６９】
ステップＳ３０６で変換されたＭＩＤＩデータは、トーンジェネレータ１２２によって楽曲音を持つディジタルオーディオ信号に変換され（ステップＳ３０７）、ステップＳ３０４で変換されたディジタル信号とミックスされ、ＤＡＣ１２４によってアナログ信号となってスピーカ１２５から出力される（ステップＳ３０９）。
【００７０】
また、ステップＳ３０６で変換されたＭＩＤＩデータは、ＭＩＤＩレコーダ１１６によってＳＭＦ形式などのデータファイルに変換されて記録される（ステップＳ３０８）。ステップＳ３０８で変換されたデータを元にしてファイルコンバータ１１７は図３に示すようなマルチメディアフォーマット形式でファイルを生成しファイル記憶装置１１８へ保存する（ステップＳ３１０）。
【００７１】
以上の処理がユーザによって録音停止指示がなされるまで繰り返し実行される（ステップＳ３１１で「ＮＯ」で繰り返し、「ＹＥＳ」で処理終了）。
【００７２】
なお、動作フロー３に引き続いて動作フロー３Aの動作形態を実行することにより、例えばＭＩＤＩデータの音色を変更して複数回重ね取り録音を行う際にも使用することができる。例えば、動作フロー３による１回目の録音で「ドラム」を録音し、続いて動作フロー３Ａによる２回目の録音では上記「ドラム」音を再生させながら「ベース」を録音する。この場合の処理フローについて図９及び図１１を参照して説明する。図９の機能ブロック図では、ＡＤＣ１１２と、オーディオエンコーダ１１３と、オーディオデコーダ１２０が停止されている。つまり、マイクロフォン１１１からの音声の処理およびスピーカからの出力は行なわれない。
【００７３】
動作フロー３Ａ（図１１）では、まず、ユーザによる録音開始指示によって、録音が開始される（ステップＳ３５１）。録音開始指示は、予め携帯端末機１の表示画面上に表示されたカーソルをカーソルキーなどの操作キーを操作して動作フロー３を選択した後、決定キーなどの所定の操作キーを操作することで行われる。録音開始指示が行われると、各部の初期化などの設定処理が行われて録音機能が開始される（ステップＳ３５２）。
【００７４】
次にプレーヤ１１９は、前回までの録音で記録したファイルを取り出し、ＭＩＤＩデータの部分をＭＩＤＩシーケンサ１２１に渡す（ステップＳ３５３）。
【００７５】
一方で、ユーザから番号キーなどの操作キーの操作によってボタンインタフェース１１４を介して入力されたイベントはＭＩＤＩコントローラ１１５によってＭＩＤＩデータに変換される（ステップＳ３５４及びステップＳ３５５）。
【００７６】
ＭＩＤＩシーケンサ１２１は、ステップＳ３５３で渡されたＭＩＤＩデータに基づき、時間管理をしながらＭＩＤＩイベントをトーンジェネレータ１２２に渡すことにより、楽曲音としてのオーディオ信号に変換する。また、ステップＳ３５５で変換されたＭＩＤＩデータは、トーンジェネレータ１２２によって楽曲音を持つディジタルオーディオ信号に変換され（以上、ステップＳ３５６）、ＤＡＣ１２４によってアナログ信号となってスピーカ１２５から出力される（ステップＳ３５７）。
【００７７】
また、ステップＳ３５５で変換されたＭＩＤＩデータは、ＭＩＤＩレコーダ１１６によってＳＭＦ形式などのデータファイルに変換されて記録される（ステップＳ３５８）。ステップＳ３５８で変換されたデータを元にしてファイルコンバータ１１７はマルチメディアフォーマット形式でファイルを生成しファイル記憶装置１１８へ保存する（ステップＳ３５９）。
【００７８】
以上の処理がユーザによって録音停止指示がなされるまで繰り返し実行される（ステップＳ３６０で「ＮＯ」で繰り返し、「ＹＥＳ」で処理終了）。
なお、２回目だけでなく、３回目以降も同様に動作フロー３Ａの形態により重ね取りを行なうことができる。
【００７９】
例えば、１回目の録音では音色を「ドラム」に設定して録音を行い、次に「ベース」で録音し、３回目に「メロディ」で録音するというように、複数回重ね取り録音を行った場合、ＭＩＤＩレコーダ１１６及びファイルコンバータ１１７によって図１２に示すような複数のチャンネルのデータを格納したＭＩＤＩファイルが記録される。ＭＩＤＩファイルには、たとえば図１２に示すように０〜１５チャンネルの１６チャンネル分のデータを格納することができる。
なお、ＣＰＵ１６（制御手段）が、この動作フロー３として説明した処理の制御を行なう。つまり、ＣＰＵ１６が、再生手段の動作を停止させ、記録手段による第２の音データの記録を停止させるとともに、記憶手段による第１の音データの記録を複数回重ねて行うように制御する。
【００８０】
［動作フロー４］
動作フロー４は、楽曲演奏データを一旦記録し、記録した楽曲データを再生しながら音声録音する動作形態である。この場合の処理フローについて図１３及び図１４を参照して説明する。図１３の機能ブロック図では、オーディオデコーダ１２０が停止されている。これによって、ファイル記憶装置１１８からの圧縮オーディオデータの読み出しや、読み出したデータによる音響信号の再生が行われないようになっている。
【００８１】
動作フロー４では、まず、ユーザによる録音開始指示によって、楽曲録音が開始される（ステップＳ４０１）。録音開始指示は、予め携帯端末機１の表示画面上に表示されたカーソルをカーソルキーなどの操作キーを操作して動作フロー４を選択した後、決定キーなどの所定の操作キーを操作することで行われる（録音開始指示の操作）。録音開始指示が行われると、各部の初期化などの設定処理が行われて録音機能が開始される（ステップＳ４０２）。
【００８２】
ここでユーザから番号キーなどの操作キーの操作によってボタンインタフェース１１４を介して入力されたイベントはＭＩＤＩコントローラ１１５によってＭＩＤＩデータに変換される（ステップＳ４０３及びステップＳ４０４）。
【００８３】
ステップＳ４０４で変換されたＭＩＤＩデータは、トーンジェネレータ１２２によって楽曲音を持つディジタルオーディオ信号に変換され（ステップＳ４０５）、ＤＡＣ１２４によってアナログ信号となってスピーカ１２５から出力される（ステップＳ４０６）。
【００８４】
ステップＳ４０６と同時に、ステップＳ４０４で変換されたＭＩＤＩデータは、ＭＩＤＩレコーダ１１６によってＳＭＦ形式などのデータファイルに変換されて記録される（ステップＳ４０７）。これを元にしてファイルコンバータ１１７は図３に示すようなマルチメディアフォーマット形式、又はＳＭＦ形式でファイルを生成しファイル記憶装置１１８へ保存する（ステップＳ４０８）。
【００８５】
以上の処理がユーザによって録音停止指示がなされるまで繰り返し実行される（ステップＳ４０９で「ＮＯ」で繰り返し、「ＹＥＳ」で処理終了）。
【００８６】
次に、操作キーなどを用いて行われるユーザの指示の操作（第２の録音開始指示の操作）によって、楽曲演奏データを演奏しながらの音声録音が開始される（ステップＳ４１０）。録音開始指示が行われると、各部の初期化などの設定処理が行われて録音機能が開始される（ステップＳ４１１）。
【００８７】
次にプレーヤ１１９は、ステップ４０８で記録したファイルを取り出し、ＭＩＤＩデータの部分をＭＩＤＩシーケンサ１２１に渡す（ステップＳ４１４）。
【００８８】
ＭＩＤＩシーケンサ１２１は、時間管理をしながらＭＩＤＩイベントをトーンジェネレータ１２２に渡すことにより、楽曲音としてのオーディオ信号に変換される（ステップＳ４１５）。
【００８９】
一方、ユーザからマイクロフォン１１１へ入力された音声などのアナログ信号はＡＤＣ１１２によってディジタル信号に変換される（ステップＳ４１２及びステップＳ４１３）。このディジタル信号は、ステップＳ４１５で変換されたディジタル信号とミックスされた後、ＤＡＣ１２４によってアナログ信号となってスピーカ１２５から出力される（ステップＳ４１８）。同時にこのディジタル信号はオーディオエンコーダ１１３によって特定の圧縮データフォーマット形式に変換される（ステップＳ４１６）。
【００９０】
ファイルコンバータ１１７は図３に示すようなマルチメディアフォーマット形式にてステップＳ４１６で変換したオーディオデータを記録する（ステップＳ４１７）。その際、ステップ４０８で記録したＭＩＤＩデータファイルと合わせてマルチメディアフォーマット形式のファイルとして記録しても良いし、音声部分だけを圧縮データフォーマット形式のままでファイルを生成しても良い。これらをファイル記憶装置１１８へ保存する。
【００９１】
以上の音声録音処理がユーザによって録音停止指示がなされるまで繰り返し実行される（ステップＳ４１９で「ＮＯ」で繰り返し、「ＹＥＳ」で処理終了）。
【００９２】
なお、ステップＳ４１４及びＳ４１５の処理で再生するＭＩＤＩデータは、ステップＳ４０７及びＳ４０８で記録したＭＩＤＩデータに限らず、例えば図１５に示すように、携帯端末機１内の通信インタフェース１２６によって外部の配信サーバ３から通信回線を介してダウンロードした楽曲ファイルに基づくものとすることもできる。図１５は、図１３に通信インタフェース１２６と外部の配信サーバ３を加えたもので、配信サーバ３からダウンロードしたＳＭＦファイル形式などの楽曲データは、たとえばファイル記憶装置１１８に記録される。
なお、ＣＰＵ１６（制御手段）が、この動作フロー４として説明した処理の制御を行なう。つまり、ＣＰＵ１６は、再生手段による第２の音データの再生を停止させる制御を行なう。
【００９３】
［動作フロー５］
動作フロー５は、音声を一旦録音し、録音した音声データを再生しながら、楽曲演奏データを記録する動作形態である。この場合の処理フローについて図１６及び図１７を参照して説明する。図１６の機能ブロック図では、ＭＩＤＩシーケンサ１２１が停止されている。これによって、ファイル記憶装置１１８からのＭＩＤＩデータの読み出しや、読み出したデータによる音響信号の再生が行われないようになっている。
【００９４】
動作フロー５では、まず、ユーザによる録音開始指示によって、音声録音が開始される（ステップＳ５０１）。録音開始指示は、予め携帯端末機１の表示画面上に表示されたカーソルをカーソルキーなどの操作キーを操作して動作フロー５を選択した後、決定キーなどの所定の操作キーを操作することで行われる（録音開始指示の操作）。録音開始指示が行われると、各部の初期化などの設定処理が行われて録音機能が開始される（ステップＳ５０２）。
【００９５】
ここでユーザからマイクロフォン１１１へ入力された音声などのオーディオデータはＡＤＣ１１２によってディジタル信号に変換される（ステップ５０３及びステップＳ５０４）。
【００９６】
ステップＳ５０４で変換されたディジタル信号は、ＤＡＣ１２４によってアナログ信号となってスピーカ１２５から出音されるが（ステップＳ５０５）、同時に、オーディオエンコーダ１１３により特定の圧縮データフォーマット形式に変換される（ステップＳ５０６）。そして、ファイルコンバータ１１７は図３に示すようなマルチメディアフォーマット形式又は圧縮データフォーマット形式のままでファイルを生成しファイル記憶装置１１８へ保存する（ステップＳ５０７）。
【００９７】
以上の処理がユーザによって録音停止指示がなされるまで繰り返し実行される（ステップＳ５０８で「ＮＯ」で繰り返し、「ＹＥＳ」で処理終了）。
【００９８】
次に、操作キーなどを用いて行われるユーザの指示の操作（第２の録音開始指示の操作）によって、録音した音声データを再生しながらの楽曲録音が開始される（ステップＳ５０９）。録音開始指示が行われると、各部の初期化などの設定処理が行われて録音機能が開始される（ステップＳ５１０）。
【００９９】
プレーヤ１１９は、ステップＳ５０７で記録したファイルを取り出し、圧縮オーディオデータの部分をオーディオデコーダ１２０に渡す（ステップＳ５１３）。オーディオデコーダ１２０は、受け取った圧縮オーディオフォーマットのデータを、リニアなデジタルデータすなわち非圧縮のオーディオデータへ変換する（ステップＳ５１４）。同時に、ユーザからから番号キーなどの操作キーの操作によってボタンインタフェース１１４を介して入力されたイベントはＭＩＤＩコントローラ１１５によってＭＩＤＩデータに変換される（ステップＳ５１１及びステップＳ５１２）。
【０１００】
ステップＳ５１２で変換されたＭＩＤＩデータは、トーンジェネレータ１２２によって楽曲音を持つディジタルオーディオ信号に変換され（ステップＳ５１７）、ステップＳ５１４で変換されたディジタル信号とミックスされ、ＤＡＣ１２４によってアナログ信号となってスピーカ１２５から出力される（ステップＳ５１８）。
【０１０１】
また、ステップＳ５１２で変換されたＭＩＤＩデータは、ＭＩＤＩレコーダ１１６によってＳＭＦ形式などのデータファイルに変換されて記録される（ステップＳ５１５）。ステップＳ５１５で変換されたデータを元にしてファイルコンバータ１１７は図３に示すようなマルチメディアフォーマット形式でファイルを生成しファイル記憶装置１１８へ保存する（ステップＳ５１６）。この際、ステップＳ５０７で生成した圧縮データフォーマットと合わせてマルチメディアフォーマット形式のファイルとして記録しても良いし、ＭＩＤＩデータの部分だけからＳＭＦ形式でファイルを生成しても良い。
【０１０２】
以上の音データ録音処理がユーザによって録音停止指示がなされるまで繰り返し実行される（ステップＳ５１９で「ＮＯ」で繰り返し、「ＹＥＳ」で処理終了）。
なお、ＣＰＵ１６（制御手段）が、この動作フロー５として説明した処理の制御を行なう。つまり、ＣＰＵ１６は、再生手段による第１の音データの再生を停止させる制御を行なう。
【０１０３】
上記のように、本実施の形態によれば、ＭＩＤＩデータなどの音データと音声データなどのオーディオデータを、番号キーなどの操作キーの操作とマイクロフォンによる取り込みにおける各データのタイミングを示すタイミング情報と共に記録するので、たとえば、作曲する場合、演奏データを録音するだけでなく、歌詞の記録もできる。よって携帯端末機１だけで歌唱付きの楽曲データを生成することができる。また、会話音声を録音する場合でも、ユーザ自身の演奏したＢＧＭを入れたり、音声の前後に短いメロディや打楽器音などを付加したりすることができ、エンターテイメント性を増やすことができる。
【０１０４】
また、記録されている音データをタイミング情報に基づいて再生するとともに、記録されているオーディオデータを再生することで、たとえば、歌唱を録音する場合、それに合わせ基準音（伴奏音）を発することができるので歌いやすくなり、また予め伴奏を記録しておけば、リズムもわかりやすくすることができる。
【０１０５】
また、音データの再生・記録と、オーディオデータの再生・記録とを複数の形態で選択可能とすることで、自由度を向上し、さらに利便性を高めることができる。
【０１０６】
なお、本発明の実施の形態は上記のものに限定されず、たとえば外部の配信サーバから歌唱データなどをダウンロードしてファイル記憶装置１１８に保存してそれを再生できるようにする構成を組み合わせることや、配信サーバではなくパーソナルコンピュータなどと通信してファイル記憶装置１１８内へデータを転送できるようにしたり、各ブロックを統合あるいは分散したりする変更を適宜行うことが可能である。また、本実施形態の携帯端末機は、内部のＣＰＵで実行するプログラムを用いて実現することができる。ＣＰＵは、メモリからコンピュータプログラムを読み込んで実行することにより、携帯端末機の動作を制御する。なお、そのコンピュータプログラムはコンピュータ読み取り可能な記録媒体あるいは通信回線を介して頒布することが可能である。
【図面の簡単な説明】
【０１０７】
【図１】本発明の実施形態による携帯端末機１を示す構成図である。
【図２】同実施形態による携帯端末機１の機能的構成を示す機能ブロック図である。
【図３】同実施形態による携帯端末機１で用いるマルチメディアファイルのフォーマット構造の一例を示す図である。
【図４】同実施形態によるＭＩＤＩデータ及びオーディオデータのデータ構造を模式的に説明する図である。
【図５】同実施形態による携帯端末機１の動作フロー１に対応する機能ブロック図である。
【図６】同実施形態による携帯端末機１の動作フロー１のフローチャートである。
【図７】同実施形態による携帯端末機１の動作フロー２に対応する機能ブロック図である。
【図８】同実施形態による携帯端末機１の動作フロー２のフローチャートである。
【図９】同実施形態による携帯端末機１の動作フロー３に対応する機能ブロック図である。
【図１０】同実施形態による携帯端末機１の動作フロー３のフローチャートである。
【図１１】同実施形態による携帯端末機１の動作フロー３Ａのフローチャートである。
【図１２】同実施形態による携帯端末機１の動作フロー３および３Ａによる繰り返し録音を説明するためのＭＩＤＩデータの構造を示す図である。
【図１３】同実施形態による携帯端末機１の動作フロー４に対応する機能ブロック図である。
【図１４】同実施形態による携帯端末機１の動作フロー４のフローチャートである。
【図１５】同実施形態による携帯端末機１の動作フロー４の変形例に対応する機能ブロック図である。
【図１６】同実施形態による携帯端末機１の動作フロー５に対応する機能ブロック図である。
【図１７】同実施形態による携帯端末機１の動作フロー５のフローチャートである。
【符号の説明】
【０１０８】
１…携帯端末機１、２…記憶装置、１３…ＲＡＭ、１５…ＤＳＰ、１６…ＣＰＵ、１７…音源、１８…ＡＤＣ、１９…ＤＡＣ、１１１…マイクロフォン、１１２…ＡＤＣ（変換手段）、１１３…オーディオエンコーダ（変換手段）、１１５…ＭＩＤＩコントローラ（音データ生成手段）、１１７…ファイルコンバータ（記録手段）、１１８…ファイル記憶装置（記録手段）、１１９…プレーヤ（再生手段）、１２０…オーディオデコーダ（再生手段）、１２１…ＭＩＤＩシーケンサ（再生手段）、１２２…トーンジェネレータ（音源手段）、１２３…ミキサ（出力手段）、１２４…ＤＡＣ（出力手段）
【図１】
2009145382.tif 000003
【図２】
2009145382.tif 000004
【図３】
2009145382.tif 000005
【図４】
2009145382.tif 000006
【図５】
2009145382.tif 000007
【図６】
2009145382.tif 000008
【図７】
2009145382.tif 000009
【図８】
2009145382.tif 000010
【図９】
2009145382.tif 000011
【図１０】
2009145382.tif 000012
【図１１】
2009145382.tif 000013
【図１２】
2009145382.tif 000014
【図１３】
2009145382.tif 000015
【図１４】
2009145382.tif 000016
【図１５】
2009145382.tif 000017
【図１６】
2009145382.tif 000018
【図１７】
2009145382.tif 000019