(57)【要約】 【課題】  挿入音を良好に出力できる楽曲再生装置を提供する。【解決手段】  楽曲再生装置４００の演算手段４７０は、例えば音声対応モードで所定の楽曲を再生する旨の要求を認識すると、この所定の楽曲の再生を開始するとともに、マイク２００で集音された例えば「イェイ」の音声を含む車内音を取得する。演算手段４７０は、再生中の楽曲の楽曲ＢＰＭを基準にした「イェイ」の音声の音声ＢＰＭを認識し、この音声ＢＰＭに対応する音声の音声リズムパターンを認識する。演算手段４７０は、音声リズムパターンに対応するリズムパターン情報に関連付けられた挿入音データに基づいて、音声リズムパターンに対応する挿入音、すなわち楽曲ＢＰＭに同調する挿入音を楽曲に合わせて発音手段４５０から出力させる。【選択図】 図１
2006106411.tif 000002
【特許請求の範囲】
【請求項１】
所定の音を音出力手段から出力させる音出力制御装置であって、
外部状態に関する外部状態情報を取得する外部状態情報取得手段と、
楽曲に関する楽曲データを出力する楽曲出力手段から出力される前記楽曲データの音の特性を認識する楽曲特性認識手段と、
所定の前記外部状態に関する前記外部状態情報を取得したことを認識すると、前記音の特性に同調する出力形態の音を前記音出力手段から出力させる制御をする音出力制御手段と、
を具備したことを特徴とした音出力制御装置。
【請求項２】
請求項１に記載の音出力制御装置であって、
前記音出力制御手段は、前記楽曲の音の高さ、強さ、および、音色のうちの少なくともいずれか１つに同調する出力形態の音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項３】
請求項１または請求項２に記載の音出力制御装置であって、
前記音出力制御手段は、前記楽曲のコードに同調する出力形態の音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の音出力制御装置であって、
前記所定の外部状態のリズムを認識する外部状態リズム認識手段を具備し、
前記音出力制御手段は、前記所定の外部状態のリズムに同調する出力形態の音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の音出力制御装置であって、
前記音出力制御手段は、前記所定の外部状態の内容に対応する出力形態の音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の音出力制御装置であって、
前記音出力制御手段は、前記楽曲のリズムに同調する出力形態の音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項７】
請求項６に記載の音出力制御装置であって、
前記音出力制御手段は、前記楽曲のＢＰＭ（Beats Per Minute）に合わせた出力形態の音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項８】
請求項６または請求項７に記載の音出力制御装置であって、
前記音出力制御手段は、前記楽曲の曲調に同調する出力形態の音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項９】
請求項１ないし請求項５のいずれかに記載の音出力制御装置であって、
前記音出力制御手段は、前記楽曲のリズムに合わせたタイミングで前記音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項１０】
請求項９に記載の音出力制御装置であって、
前記音出力制御手段は、前記楽曲の小節に合わせたタイミングで前記音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項１１】
請求項１ないし請求項１０のいずれかに記載の音出力制御装置であって、
前記音出力制御手段は、前記所定の外部状態に関する外部状態情報が取得されてからの経過時間が所定の時間である出力処理期限時間になる前に前記音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項１２】
請求項１ないし請求項８のいずれかに記載の音出力制御装置であって、
前記音出力制御手段は、前記所定の外部状態に関する外部状態情報が取得されてからの経過時間が所定の時間である出力処理開始時間になったことを認識すると前記音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項１３】
請求項１ないし請求項１２のいずれかに記載の音出力制御装置であって、
前記音出力制御手段は、前記出力形態で出力される音に関する音データを取得し、この音データに基づいて前記出力形態の音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項１４】
請求項１３に記載の音出力制御装置であって、
前記音データは、ＭＩＤＩ（Musical Instrument Digital Interface）の規格に準拠し、
前記前記音出力制御手段は、前記音データにおける出力形態に関する情報の設定値を変更して前記出力形態の音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項１５】
請求項１３または請求項１４に記載の音出力制御装置であって、
前記音データを前記所定の外部状態に関する所定外部状態情報に関連付けて記憶する音データ記憶手段を具備し、
前記音出力制御手段は、前記音データ記憶手段から前記取得した前記外部状態情報の前記所定の外部状態に関する前記所定外部状態情報を検索し、この検索した前記所定外部状態情報に関連付けられた前記音データを取得する
ことを特徴とした音出力制御装置。
【請求項１６】
請求項１ないし請求項１５のいずれかに記載の音出力制御装置であって、
前記外部状態情報取得手段は、外部音に関する外部音情報を前記外部状態情報として取得し、
前記音出力制御手段は、所定の前記外部音に関する前記外部音情報を取得したことを認識すると、前記音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項１７】
請求項１６に記載の音出力制御装置であって、
前記音出力制御手段は、前記外部音情報の外部音における基準音量以下の前記外部音の時間長が所定の時間である外部音認識基準時間以下であることを認識すると、前記音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項１８】
請求項１６または請求項１７に記載の音出力制御装置であって、
前記外部音は、音声である
ことを特徴とした音出力制御装置。
【請求項１９】
請求項１ないし請求項１８のいずれかに記載の音出力制御装置であって、
前記外部状態情報取得手段は、身体の動作に関する身体動作情報を前記外部状態情報として取得し、
前記音出力制御手段は、所定の前記身体の動作に関する前記身体動作情報を取得したことを認識すると、前記音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項２０】
請求項１９に記載の音出力制御装置であって、
前記音出力制御手段は、前記身体動作情報の身体の動作における前記身体の移動量が所定の移動量である身体動作認識基準量以上であることを認識すると、前記音を出力させる制御をする
ことを特徴とした音出力制御装置。
【請求項２１】
請求項１ないし請求項２０のいずれかに記載の音出力制御装置と、
前記楽曲データを再生して前記楽曲出力手段から出力させる処理をする楽曲再生処理手段と、
を具備したことを特徴とした楽曲再生装置。
【請求項２２】
請求項１ないし請求項２０のいずれかに記載の音出力制御装置と、
前記楽曲データを取得して前記音出力制御装置の前記音出力制御手段で出力が制御される前記音を前記楽曲データの音に重畳させた重畳楽曲データを生成する重畳楽曲データ生成手段と、
前記重畳楽曲データを再生して前記楽曲出力手段から出力させる処理をする楽曲再生処理手段と、
を具備したことを特徴とした楽曲再生装置。
【請求項２３】
所定の音を音出力手段から出力させる音出力制御方法であって、
外部状態に関する外部状態情報を取得し、
楽曲に関する楽曲データを出力する楽曲出力手段から出力される前記楽曲データの音の特性を認識し、
所定の前記外部状態に関する前記外部状態情報を取得したことを認識すると、前記音の特性に同調する出力形態の音を前記音出力手段から出力させる制御をする
ことを特徴とする音出力制御方法。
【請求項２４】
演算手段を請求項１ないし請求項２０のいずれかに記載の音出力制御装置として機能させる
ことを特徴とした音出力制御プログラム。
【請求項２５】
請求項２３に記載の音出力制御方法を演算手段に実行させる
ことを特徴とした音出力制御プログラム。
【請求項２６】
請求項２４または請求項２５に記載の音出力制御プログラムが演算手段にて読取可能に記録された
ことを特徴とした音出力制御プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の音を出力させる制御をする音出力制御装置、楽曲再生装置、音出力制御方法、そのプログラム、および、そのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、音声を認識して音声データを出力するロボットや玩具、テレビゲームプログラムなどの各種構成が広く利用されている（例えば、特許文献１参照）。例えば、特許文献１に記載のものは、ロボットに適用した構成で、頭部ユニットの所定位置に配設されたマイクロフォンでユーザの発話を含む周囲の音声を集音する。そして、得られた音声信号に基づいて、モデル記憶部の状態情報における韻律を感情モデルの値に基づいて制御した合成音を生成し、スピーカから出力させる構成が採られている。
【０００３】
【特許文献１】特開２００２−３０４１８７号公報（第３頁右欄−第１０頁左欄）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述した特許文献１に記載のような発音に応じて音声出力する従来の構成では、例えば楽曲に応じて聴取者が合いの手を入れた場合、合いの手の発話に応じて音声出力される。しかしながら、楽曲のリズムに応じたタイミングの合いの手に対して、合いの手に対して音声出力される合成音は楽曲のリズムから既にずれたタイミングとなり、聴取者の楽曲の鑑賞が阻害されるおそれがある問題が一例として挙げられる。
【０００５】
本発明の目的は、このような点に鑑みて、所定の音を良好に出力可能な音出力制御装置、楽曲再生装置、音出力制御方法、そのプログラム、および、そのプログラムを記録した記録媒体を提供することである。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、所定の音を音出力手段から出力させる音出力制御装置であって、外部状態に関する外部状態情報を取得する外部状態情報取得手段と、楽曲に関する楽曲データを出力する楽曲出力手段から出力される前記楽曲データの音の特性を認識する楽曲特性認識手段と、所定の前記外部状態に関する前記外部状態情報を取得したことを認識すると、前記音の特性に同調する出力形態の音を前記音出力手段から出力させる制御をする音出力制御手段と、を具備したことを特徴とした音出力制御装置である。
【０００７】
請求項２１に記載の発明は、請求項１ないし請求項２０のいずれかに記載の音出力制御装置と、前記楽曲データを再生して前記楽曲出力手段から出力させる処理をする楽曲再生処理手段と、を具備したことを特徴とした楽曲再生装置である。
【０００８】
請求項２２に記載の発明は、請求項１ないし請求項２０のいずれかに記載の音出力制御装置と、前記楽曲データを取得して前記音出力制御装置の前記音出力制御手段で出力が制御される前記音を前記楽曲データの音に重畳させた重畳楽曲データを生成する重畳楽曲データ生成手段と、前記重畳楽曲データを再生して前記楽曲出力手段から出力させる処理をする楽曲再生処理手段と、を具備したことを特徴とした楽曲再生装置である。
【０００９】
請求項２３に記載の発明は、所定の音を音出力手段から出力させる音出力制御方法であって、外部状態に関する外部状態情報を取得し、楽曲に関する楽曲データを出力する楽曲出力手段から出力される前記楽曲データの音の特性を認識し、所定の前記外部状態に関する前記外部状態情報を取得したことを認識すると、前記音の特性に同調する出力形態の音を前記音出力手段から出力させる制御をすることを特徴とする音出力制御方法である。
【００１０】
請求項２４に記載の発明は、演算手段を請求項１ないし請求項２０のいずれかに記載の音出力制御装置として機能させることを特徴とした音出力制御プログラムである。
【００１１】
請求項２５に記載の発明は、請求項２３に記載の音出力制御方法を演算手段に実行させることを特徴とした音出力制御プログラムである。
【００１２】
請求項２６に記載の発明は、請求項２４または請求項２５に記載の音出力制御プログラムが演算手段にて読取可能に記録されたことを特徴とした音出力制御プログラムを記録した記録媒体である。
【発明を実施するための最良の形態】
【００１３】
以下、本発明に係る一実施の形態を図面に基づいて説明する。本実施の形態では、本発明の音出力制御装置を備えた楽曲再生装置として移動体である例えば車両に搭載される装置構成について例示して説明する。なお、本発明における楽曲再生装置としては、移動体に搭載される構成の他、例えば家屋などの建造物に設置される構成や携帯型の構成にも適用できる。また、本実施の形態では、外部状態である外部音の状態として、車両の運転手や同乗者（以下、利用者と称す）が発音する音声の状態を例示して説明する。また、外部状態である身体の動作の状態として、利用者の身体の動作の状態を例示して説明する。なお、外部音としては、利用者が発音する音声に限らず、利用者の手拍子や鼻歌あるいは口笛の音、車外から車内に伝播する音、さらにはタンバリンやカスタネットあるいはマラカスなどの楽器を奏でる音など、各種の音を対象とすることができる。また、身体の動作としては、車内や車外の動物や車外の人物の身体の動作を対象とすることができる。さらに、外部状態としては、車内や車外の物体の車両に対応する動きなどを対象とすることができる。図１は、本発明に係る一実施の形態における楽曲再生システムの概略構成を示すブロック図である。図２は、楽曲リストデータの概略構成を示す模式図である。図３は、挿入音リストデータの概略構成を示す模式図である。図４は、楽曲再生装置を構成する演算手段の概略構成を示す模式図である。図５は、音声対応モードにおける挿入音の出力状態の一例を示す模式図で、（Ａ）は楽曲の歌詞で、（Ｂ）は音声で、（Ｃ）は挿入音である。図６は、動作対応モードにおける挿入音の出力状態の一例を示す模式図で、（Ａ）は楽曲の歌詞で、（Ｂ）は動作で、（Ｃ）は挿入音である。
【００１４】
〔楽曲再生システムの構成〕
図１において、１００は楽曲再生システムで、この楽曲再生システム１００は、移動体としての例えば車内で利用者が発音する音声に対応する音を再生中の楽曲に合わせて出力するものである。また、楽曲再生システム１００は、利用者の動作に対応する音を再生中の楽曲に合わせて出力するものである。なお、以下において、音声や動作に対応して出力される音を挿入音と称して説明する。ここで、移動体としては、自動車や電車などの車両に限らず、例えば飛行機や船舶など移動するいずれの移動体にも適用できる。そして、楽曲再生システム１００は、マイクロフォン２００（以下、マイク２００と称す）と、撮像手段３００と、楽曲再生装置４００と、などを備えている。
【００１５】
マイク２００は、車両の室内空間における例えば天井の略中央部分に配設され、利用者の音声や車外から車内に伝播する音などの車内で認識できる音（以下、車内音と称す）を取得すなわち集音する。そして、マイク２００は、集音した車内音に対応する外部状態情報としての外部音情報である車内音情報を楽曲再生装置４００へ出力する。
【００１６】
撮像手段３００は、車両の室内空間における例えば天井の前方部分に配設され、利用者を撮像する。そして、この撮像した内容に対応する外部状態情報としての身体動作情報である撮像データを楽曲再生装置４００へ出力する。なお、撮像手段３００の代わりに、例えば以下のようなセンサを設ける構成としてもよい。すなわち、室内空間の所定領域において利用者から放射される熱量を認識し、この熱量に対応する外部状態情報を出力するセンサを設ける構成としてもよい。また、所定の光線を所定領域に照射して、この光線の反射状態に対応する外部状態情報を出力するセンサを設ける構成としてもよい。さらに、車両に配設される構成に限らず、身体の一部に配設され振動ジャイロや加速度計などの検出値や測定値を外部状態情報として出力するセンサを設ける構成としてもよい。
【００１７】
楽曲再生装置４００は、ＭＩＤＩ（Musical Instrument Digital Interface）形式やＷＡＶＥ形式あるいはＭＰＥＧ（Moving Picture Coding Experts Group）形式など汎用デジタルフォーマットで記憶された楽曲や、ＣＤ（Compact Disc）やＭＤ（Mini Disc）などに記録された楽曲などを再生する。また、楽曲再生装置４００は、利用者の音声や動作に対応する挿入音を再生中の楽曲に合わせて出力する。この楽曲再生装置４００は、例えば車両に搭載された図示しないバッテリから供給される電力により動作する。そして、楽曲再生装置４００は、楽曲データ記憶手段４１０と、音データ記憶手段としての挿入音データ記憶手段４２０と、メモリ４３０と、入力手段４４０と、音出力手段および楽曲出力手段としての発音手段４５０と、表示手段４６０と、演算手段４７０と、などを備えている。
【００１８】
楽曲データ記憶手段４１０は、図２に示すような楽曲リストデータ５００を適宜読み出し可能に記憶する。この楽曲データ記憶手段４１０としては、ＨＤ（Hard Disk）などの磁気ディスク、ＣＤやＭＤあるいはＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク、メモリカードなどの記録媒体に読み出し可能に記憶するドライブやドライバなどを備えた構成などが例示できる。
【００１９】
楽曲リストデータ５００は、再生される楽曲のリストに関するデータである。そして、楽曲リストデータ５００は、少なくとも１つの楽曲個別データ５１０が１つのデータ構造として関連付けられて構成されている。
【００２０】
楽曲個別データ５１０は、１つの楽曲に関する情報である。そして、楽曲個別データ５１０は、楽曲データ５１１と、楽曲関連情報５１２と、などが１つのデータ構造として構成されたテーブル構造である。なお、楽曲個別データ５１０は、楽曲データ５１１のみで構成される場合もある。
【００２１】
楽曲データ５１１は、楽曲の再生の際に用いられるデータである。この楽曲データ５１１は、例えばＭＩＤＩ形式やＷＡＶＥ形式あるいはＭＰＥＧ形式などの楽曲を再生可能な形式により記録されている。
【００２２】
楽曲関連情報５１２は、楽曲データ５１１により再生される楽曲に関する情報である。そして、楽曲関連情報５１２は、楽曲名情報５１２Ａと、演奏者情報５１２Ｂと、楽曲リズム情報５１２Ｃと、などが１つのデータ構造として構成されたテーブル構造である。なお、楽曲関連情報５１２は、各情報５１２Ａ，５１２Ｂ，５１２Ｃなどのうちの少なくともいずれか１つが格納された構成となる場合もある。
【００２３】
楽曲名情報５１２Ａは、楽曲の名前を示す情報をデータ化したものである。演奏者情報５１２Ｂは、楽曲の演奏者を示す情報をデータ化したものである。楽曲リズム情報５１２Ｃは、例えばＢＰＭ（Beats Per Minute）や拍子などの楽曲のリズムなどを示す情報をデータ化したものである。この楽曲リズム情報５１２Ｃとしては、例えばＭＩＤＩメッセージなどが例示できる。
【００２４】
挿入音データ記憶手段４２０は、図３に示すような挿入音リストデータ６００を適宜読み出し可能に記憶する。この挿入音データ記憶手段４２０としては、楽曲データ記憶手段４１０と同様の構成などが例示できる。
【００２５】
挿入音リストデータ６００は、利用者の音声や動作に対応して再生中の楽曲に合わせて適宜出力される挿入音のリストに関するデータである。この挿入音リストデータ６００は、利用者による入力手段４４０の入力操作により適宜変更、追加、削除される。そして、挿入音リストデータ６００は、少なくとも１つの挿入音個別データ６１０が１つのデータ構造として関連付けられて構成されている。
【００２６】
挿入音個別データ６１０は、１つの挿入音に関する情報である。そして、挿入音個別データ６１０は、音データとしての挿入音データ６１１と、挿入音関連情報６１２と、などが１つのデータ構造として構成されたテーブル構造である。
【００２７】
挿入音データ６１１は、挿入音の再生の際に用いられるデータである。この挿入音データ６１１は、ＭＩＤＩ形式により記録されている。この挿入音データ６１１により再生される挿入音としては、例えばドラム、和太鼓、ピアノ、シンバル、ギターなどの楽器を単独で奏でる音、あるいはこれらの楽器を複数組み合わせて奏でる音が例示できる。なお、ここでは、挿入音データ６１１としては、ＭＩＤＩ形式のものに限らず、例えばＷＡＶＥ形式やＭＰＥＧ形式など挿入音を再生可能ないずれの形式のものとしてもよい。また、挿入音としては、楽器を奏でる音に限らず、例えば「イェイ」、「ヒュウ」、「ヘイ」、「ヨイショ」などの音声、鼻歌や口笛の音、波や風あるいは水などの自然の音、クラクションの音などの人工的な音などいずれの音としてもよい。
【００２８】
挿入音関連情報６１２は、挿入音データ６１１より再生される挿入音に関する情報である。そして、挿入音関連情報６１２は、リズムパターン情報６１２Ａと、所定外部状態情報としての対象言語情報６１２Ｂと、所定外部状態情報としての対象動作情報６１２Ｃと、などが１つのデータ構造として構成されたテーブル構造である。
【００２９】
リズムパターン情報６１２Ａは、挿入音データ６１１で再生される挿入音のリズムパターンを示す情報をデータ化したものである。このリズムパターンとしては、例えば「ロック」や「ジャズ」あるいは「リズムアンドブルース」などが例示できる。対象言語情報６１２Ｂは、音声として発音される言語を示す情報をデータ化したものである。この対象言語情報６１２Ｂで示される言語としては、例えば「イェイ」、「イェイェイ」、「ヒュウ」、「ヘイ」、「ヨイショ」などが例示できる。対象動作情報６１２Ｃは、利用者の動作を示す情報をデータ化したものである。この対象動作情報６１２Ｃで示される動作としては、例えば手や頭あるいは胴体を揺らす動き、さらには手を突き上げる動きなどが例示できる。
【００３０】
メモリ４３０は、楽曲を再生したり挿入音を出力させる際に必要な各種情報や各種データを適宜読み出し可能に記憶する。また、メモリ４３０は、楽曲再生装置４００全体を動作制御するＯＳ（Operating System）上に展開される各種プログラムなどを記憶している。このメモリ４３０としては、例えば停電などにより突然電源が落ちた際にも記憶が保持される構成のメモリ、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）メモリなどを用いることが望ましい。なお、メモリとしては、ＨＤ、ＤＶＤ、光ディスク、メモリカードなどの記録媒体に読み出し可能に記憶するドライブやドライバなどを備えた構成としてもよい。
【００３１】
入力手段４４０は、入力操作される図示しない各種操作ボタンや操作つまみなどを有している。この操作ボタンや操作つまみの入力操作の内容としては、例えば楽曲再生装置４００の動作内容の設定などの設定事項である。具体的には、動作内容の設定としては、楽曲の再生や停止などの設定、音量の調整、音声に対応する挿入音を出力するモード（以下、音声対応モードと称す）の設定、動作に対応する挿入音を出力するモード（以下、動作対応モードと称す）の設定などが例示できる。そして、入力手段４４０は、設定事項の入力操作により、各種情報を操作信号として演算手段４７０へ適宜出力して設定させる。なお、この入力手段４４０としては、操作ボタンや操作つまみなどの入力操作に限らず、例えば表示手段４６０に設けられたタッチパネルによる入力操作や、音声による入力操作など、各種設定事項を設定入力可能ないずれの構成が適用できる。また、入力手段４４０としては、例えば図示しないリモートコントローラ（以下、リモコンと称す）より赤外線を介して送信される各種情報を受信して、この各種情報を操作信号として演算手段４７０へ送信するリモコン受光部を備えた構成などとしてもよい。
【００３２】
発音手段４５０は、例えば車両のインストルメントパネル部、ドア部、リアダッシュボード部などに配設された図示しないスピーカを有している。この発音手段４５０は、演算手段４７０にて制御され、演算手段４７０からの楽曲データ５１１や挿入音データ６１１などの音声信号をスピーカから音により出力する。
【００３３】
表示手段４６０は、演算手段４７０にて制御され、演算手段４７０からの画像データの画像信号を画面表示させる。画像データとしては、例えば再生している楽曲の名前、演奏者、演奏時間、音量の大きさなどの画像データなどが例示できる。この表示手段４６０としては、例えば液晶パネルや有機ＥＬ（Electro Luminescence）パネル、ＰＤＰ（Plasma Display Panel）、ＣＲＴ（Cathode-Ray Tube）、ＦＥＤ（Field Emission Display）、電気泳動ディスプレイパネルなどが例示できる。
【００３４】
演算手段４７０は、図示しない各種入出力ポート、例えばマイク２００が接続されるマイクポート、撮像手段３００が接続される撮像ポート、楽曲データ記憶手段４１０が接続される楽曲記憶ポート、挿入音データ記憶手段４２０が接続される挿入音記憶ポート、メモリ４３０が接続されるメモリポート、入力手段４４０が接続されるキー入力ポート、発音手段４５０が接続される発音制御ポート、表示手段４６０が接続される表示制御ポートなどを有する。そして、演算手段４７０は、各種プログラムとして、図４に示すように、楽曲再生処理手段４７１と、楽曲特性認識手段としての楽曲リズム認識手段４７２と、外部状態情報取得手段および外部状態リズム認識手段としての音声状態認識手段４７３と、外部状態情報取得手段および外部状態リズム認識手段としての動作状態認識手段４７４と、音出力制御手段としての挿入音再生制御手段４７５と、などを備えている。なお、楽曲リズム認識手段４７２、音声状態認識手段４７３、動作状態認識手段４７４、および、挿入音再生制御手段４７５にて、本発明の音出力制御装置が構成されている。
【００３５】
楽曲再生処理手段４７１は、楽曲データ記憶手段４１０に記憶された楽曲データ５１１に基づいて楽曲を再生する処理をする。具体的には、楽曲再生処理手段４７１は、入力手段４４０における入力操作に基づく所定の楽曲を再生させる旨の操作信号を取得すると、この所定の楽曲に対応する楽曲個別データ５１０を検索する。さらに、楽曲再生処理手段４７１は、この楽曲個別データ５１０に楽曲リズム情報５１２Ｃが組み込まれているか否かを判断する。そして、楽曲リズム情報５１２Ｃが組み込まれていると判断した場合、この楽曲リズム情報５１２Ｃのリズムに基づいた速度で楽曲データ５１１を音声信号として発音手段４５０へ出力する。また、楽曲再生処理手段４７１は、楽曲リズム情報５１２Ｃが組み込まれていないと判断した場合、楽曲データ５１１を予め設定された速度で音声信号として発音手段４５０へ出力する。さらに、楽曲再生処理手段４７１は、楽曲個別データ５１０に楽曲名情報５１２Ａや演奏者情報５１２Ｂが組み込まれている場合、各情報５１２Ａ，５１２Ｂに記載された楽曲の名前、演奏者、楽曲の演奏時間などの再生されている楽曲に関する各種情報を表示させるための画像データを生成する。そして、この画像データを画像信号として表示手段４６０へ出力する。
【００３６】
楽曲リズム認識手段４７２は、楽曲再生処理手段４７１で再生している楽曲のリズムを認識する。具体的には、楽曲リズム認識手段４７２は、発音手段４５０で出力されている楽曲データ５１１を有する楽曲個別データ５１０に楽曲リズム情報５１２Ｃが組み込まれているか否かを判断する。ここで、楽曲リズム情報５１２Ｃが組み込まれているか否かを判断する方法としては、例えば所定のＭＩＤＩメッセージの有無に基づいて判断する方法が例示できる。なお、楽曲のリズムに関する他の情報の有無に基づいて判断する方法としてもよい。楽曲リズム認識手段４７２は、楽曲リズム情報５１２Ｃが組み込まれていると判断した場合、この楽曲リズム情報５１２Ｃを取得して、楽曲のＢＰＭ（以下、楽曲ＢＰＭと称す）を認識する。そして、この楽曲ＢＰＭに関する楽曲ＢＰＭ情報をメモリ４３０に記憶させる。また、楽曲リズム認識手段４７２は、楽曲リズム情報５１２Ｃが組み込まれていないと判断した場合、例えば以下のような処理を実施して楽曲ＢＰＭを認識する。すなわち、楽曲リズム認識手段４７２は、楽曲データ５１１の音声信号を取得して、この音声信号に基づいて楽曲の出力波形を認識する。さらに、この出力波形のピークの間隔を認識し、このピーク間隔から楽曲ＢＰＭを認識する。そして、楽曲リズム認識手段４７２は、この楽曲ＢＰＭに関する楽曲ＢＰＭ情報をメモリ４３０に記憶させる。
【００３７】
音声状態認識手段４７３は、入力手段４４０における入力操作に基づく音声対応モードに設定されたことを認識すると、利用者の音声の状態を適宜検出する。そして、音声状態認識手段４７３は、音声リズム認識手段４７３Ａと、言語認識手段４７３Ｂと、を備えている。
【００３８】
音声リズム認識手段４７３Ａは、音声のリズムを認識する。具体的には、音声リズム認識手段４７３Ａは、マイク２００に車内音を集音させて車内音情報を出力させる。そして、音声リズム認識手段４７３Ａは、マイク２００からの車内音情報を予め設定された所定時間だけ取得して、この車内音情報に基づいて車内音の出力波形を認識する。さらに、音声リズム認識手段４７３Ａは、この出力波形における出力値が予め設定された基準出力値以下の部分をゼロに設定、すなわち車内音から基準音量以下の音を削除する。ここで、基準出力値は、例えば車両の走行音の出力値や、利用者の通常の会話の出力値と略同一の値に設定されている。すなわち、基準出力値は、車内音の出力波形における基準出力値以下の部分がゼロに設定された際に、利用者が楽曲に合わせて意識的に発音した例えば「イェイ」や「イェイェイ」などの音声に対応する成分のみがゼロにならない状態に設定されている。
【００３９】
そして、音声リズム認識手段４７３Ａは、車内音から削除した音の時間長が予め設定された外部音認識基準時間としての音声認識基準時間以下であることを認識すると、車内音に例えば「イェイ」などの利用者が意識して発音した音声が含まれていると判断する。さらに、音声リズム認識手段４７３Ａは、楽曲ＢＰＭ情報をメモリ４３０から取得して、この楽曲ＢＰＭ情報の楽曲ＢＰＭと、基準音量以下の音を削除した車内音の出力波形すなわち音声の出力波形のピークの間隔と、に基づいて、楽曲ＢＰＭを基準にした音声のＢＰＭ（以下、音声ＢＰＭと称す）を演算して認識する。そして、音声リズム認識手段４７３Ａは、この音声ＢＰＭに基づいて、音声のリズムパターン（以下、音声リズムパターンと称す）を認識し、この音声リズムパターンに関する音声リズムパターン情報をメモリ４３０に記憶させる。
【００４０】
言語認識手段４７３Ｂは、車内音情報に基づいて、音声リズム認識手段４７３Ａで音声リズムパターンが認識された音声により発音されている言語（以下、音声言語と称す）を認識する。例えば、言語認識手段４７３Ｂは、音声リズム認識手段４７３Ａで取得された車内音情報をデジタル信号化して、音響的な特徴を認識する。さらに、音声の統計的な情報をモデル化した音声モデルから、車内音情報に基づく音響的な特徴に最も近い言語を検索する。そして、言語認識手段４７３Ｂは、この検索した言語を音声言語として認識する。また、言語認識手段４７３Ｂは、音声言語を認識すると、この音声言語に関する音声言語情報をメモリ４３０に記憶させる。
【００４１】
動作状態認識手段４７４は、入力手段４４０における入力操作に基づく動作対応モードに設定されたことを認識すると、利用者の動作の状態を適宜認識する。そして、動作状態認識手段４７４は、動作リズム認識手段４７４Ａと、動作内容認識手段４７４Ｂと、を備えている。
【００４２】
動作リズム認識手段４７４Ａは、動作のリズムを認識する。具体的には、動作リズム認識手段４７４Ａは、撮像手段３００に利用者を撮像させ、撮像データを出力させる。さらに、動作リズム認識手段４７４Ａは、撮像手段３００からの撮像データを予め設定された所定時間だけ取得して、この撮像データに基づいて利用者の身体の所定の部分、例えば頭や手などを把握する。そして、この把握した所定部分が所定の方向に予め設定された身体動作基準量以上動いたか否かを認識する。ここで、身体動作基準量は、例えば利用者の運転動作や窓を開閉する動作など、楽曲に合わせた意識的な動作以外の動作に対応する量に設定されている。なお、複数の撮像手段３００を設け、これらの撮像手段３００で利用者を撮像させて、身体の所定部分の動作を３次元的に認識する構成としてもよい。
【００４３】
そして、動作リズム認識手段４７４Ａは、身体の所定部分が身体動作基準量以上動いた、すなわち例えば手や頭あるいは胴体が左右方向に身体動作基準量以上動いたことや、手が上下方向に身体動作基準量以上動いたことを認識すると、利用者が楽曲に合わせて意識的に身体を動かしたと判断する。さらに、動作リズム認識手段４７４Ａは、楽曲ＢＰＭ情報をメモリ４３０から取得して、この楽曲ＢＰＭ情報の楽曲ＢＰＭと、例えば手が所定の位置から他の位置まで動くまでの時間の長さと、に基づいて、楽曲ＢＰＭを基準にした動作のＢＰＭ（以下、動作ＢＰＭと称す）を演算して認識する。そして、動作リズム認識手段４７４Ａは、この動作ＢＰＭに基づいて、動作のリズムパターン（以下、動作リズムパターンと称す）を認識し、この動作リズムパターンに関する動作リズムパターン情報をメモリ４３０に記憶させる。
【００４４】
動作内容認識手段４７４Ｂは、動作の内容を認識する。具体的には、動作内容認識手段４７４Ｂは、動作リズム認識手段４７４Ａで取得された撮像データに基づいて、身体動作基準量以上動いた身体の所定の部分と、この所定の部分が動いた方向と、を特定する。そして、この特定した所定の部分および動いた方向に基づいて、動作の内容を認識する。例えば、動作内容認識手段４７４Ｂは、頭が左右方向に移動していることを特定した場合に頭を揺らす動作であることを認識し、手が上下方向に移動していることを特定した場合に手を突き上げる動作であることを認識する。そして、動作内容認識手段４７４Ｂは、この動作内容に関する動作内容情報をメモリ４３０に記憶させる。
【００４５】
挿入音再生制御手段４７５は、楽曲再生処理手段４７１で再生されている楽曲に合わせて挿入音を再生する制御をする。そして、挿入音再生制御手段４７５は、挿入位置特定手段４７５Ａと、挿入音再生処理手段４７５Ｂと、などを備えている。
【００４６】
挿入位置特定手段４７５Ａは、挿入音を再生する位置、すなわち挿入音を楽曲に挿入する位置（以下、挿入位置と称す）を特定する。具体的には、挿入位置特定手段４７５Ａは、楽曲リズム認識手段４７２で認識された再生中の楽曲の出力波形に基づいて、楽曲の拍子を認識する。さらに、この楽曲の拍子に基づいて、楽曲の小節の区切りを認識する。そして、挿入位置特定手段４７５Ａは、音声対応モードに設定されている場合、言語認識手段４７３Ｂで音声言語が認識された音声が発せられた時点から２つ目に現れる楽曲の小節の始めを挿入位置として特定する。すなわち、挿入位置特定手段４７５Ａは、音声が発せられた時点から予め設定された出力処理期限時間以内に挿入音が出力されるように挿入位置を特定する。
【００４７】
例えば、挿入位置特定手段４７５Ａは、図５（Ａ）に示すような再生時間Ｔ１，Ｔ３，Ｔ４，Ｔ５，Ｔ７，Ｔ８，Ｔ９に小節の始めが現れる楽曲が再生されている状態において、図５（Ｂ）に示すような再生時間Ｔ１および再生時間Ｔ３の間の再生時間Ｔ２に発せられた「イェイ」の音声を認識すると、再生時間Ｔ２から２つ目に現れる小節の始め、すなわち再生時間Ｔ４に現れる小節の始めを挿入位置として特定する。さらに、再生時間Ｔ５および再生時間Ｔ７の間の再生時間Ｔ６に発せられた「イェイェイ」の音声を認識すると、再生時間Ｔ８に現れる小節の始めを挿入位置として特定する。
【００４８】
また、挿入位置特定手段４７５Ａは、動作対応モードに設定されている場合、動作内容認識手段４７４Ｂで動作内容が認識された動作が実施された時点から、２つ目に現れる楽曲の小節の始めを挿入位置として特定する。すなわち、挿入位置特定手段４７５Ａは、動作が実施された時点から出力処理期限時間以内に挿入音が出力されるように挿入位置を特定する。例えば、挿入位置特定手段４７５Ａは、図６（Ａ）に示すような図５（Ａ）と同じ楽曲が再生されている状態において、図６（Ｂ）に示すような再生時間Ｔ２に実施された「手を突き上げる」という動作を認識すると、再生時間Ｔ４に現れる小節の始めを挿入位置として特定する。さらに、再生時間Ｔ６に実施された「頭を揺らす」という動作を認識すると、再生時間Ｔ８に現れる小節の始めを挿入位置として特定する。
【００４９】
なお、ここでは、例えば音声が発せられた時点から２つ目に現れる小節の始めを挿入位置として特定する構成について例示するが、これに限らず音声が発せられた時点から１つ目や３つ目の小節の始め、あるいは所定の小節の終わり、さらには所定の小節の始めから終わりの間を挿入位置として特定する構成としてもよい。
【００５０】
挿入音再生処理手段４７５Ｂは、音声や動作に対応する挿入音を楽曲に合わせて再生する処理をする。具体的には、挿入音再生処理手段４７５Ｂは、音声対応モードに設定されている場合、メモリ４３０から音声リズムパターン情報および音声言語情報を取得する。さらに、音声リズムパターン情報の音声リズムパターンに略一致するリズムパターンに関するリズムパターン情報６１２Ａと、音声言語情報の音声言語に略一致する言語に関する対象言語情報６１２Ｂと、が組み込まれた挿入音個別データ６１０を挿入音リストデータ６００から検索する。そして、挿入音再生処理手段４７５Ｂは、この検索した挿入音個別データ６１０に組み込まれた挿入音データ６１１を取得する。さらに、挿入音再生処理手段４７５Ｂは、この挿入音データ６１１のＢＰＭに関する情報の設定値を楽曲ＢＰＭ情報の楽曲ＢＰＭに対応する値に設定する。そして、挿入音再生処理手段４７５Ｂは、挿入位置特定手段４７５Ａで特定された挿入位置において挿入音が出力されるように、この取得した挿入音データ６１１を音声信号として発音手段４５０へ出力する。
【００５１】
例えば、挿入音再生処理手段４７５Ｂは、図５（Ｂ）に示すような「イェイ」の音声に対応する音声リズムパターン情報および音声言語情報に基づいて、ドラムを奏でる音である「ジャカジャン」の挿入音を出力させるための挿入音データ６１１を取得する。そして、挿入音再生処理手段４７５Ｂは、この挿入音データ６１１のＢＰＭに関する情報を楽曲ＢＰＭに対応させて設定して、図５（Ｃ）に示すように、「イェイ」の音声に対応する挿入位置、すなわち再生時間Ｔ４に「ジャカジャン」の挿入音の再生が開始され、再生時間Ｔ５に終了されるように出力する。また、挿入音再生処理手段４７５Ｂは、「イェイェイ」の音声に対応する挿入音データ６１１として、ドラムを奏でる音である「ジャカジャカジャン」の挿入音を出力させるための挿入音データ６１１を取得する。そして、「イェイェイ」の音声に対応して、再生時間Ｔ８に「ジャカジャカジャン」の挿入音の再生が開始され、再生時間Ｔ９に終了されるように挿入音データ６１１を出力する。さらに、挿入音再生処理手段４７５Ｂは、ここでは図示しないが「ヒュウ」の音声に対応する挿入音データ６１１として、和太鼓を奏でる音である「ドンドン」の挿入音を出力させるための挿入音データ６１１を取得して出力する。
【００５２】
また、挿入音再生処理手段４７５Ｂは、動作対応モードに設定されている場合、メモリ４３０から動作リズムパターン情報および動作内容情報を取得する。さらに、動作リズムパターン情報の動作リズムパターンに略一致するリズムパターンに関するリズムパターン情報６１２Ａと、動作内容情報の動作内容に略一致する動きに関する対象動作情報６１２Ｃと、が組み込まれた挿入音個別データ６１０を挿入音リストデータ６００から検索する。そして、挿入音再生処理手段４７５Ｂは、この検索した挿入音個別データ６１０に組み込まれた挿入音データ６１１を、挿入位置特定手段４７５Ａで特定された挿入位置において挿入音が出力されるように、音声信号として発音手段４５０へ出力する。
【００５３】
例えば、挿入音再生処理手段４７５Ｂは、図６（Ｂ）に示すような「手を突き上げる」という動作に対応する動作リズムパターン情報および動作内容情報に基づいて、シンバルを奏でる音である「ジャーン」の挿入音を出力させるための挿入音データ６１１を取得する。そして、挿入音再生処理手段４７５Ｂは、図６（Ｃ）に示すように、「手を突き上げる」という動作に対応して、再生時間Ｔ４に「ジャーン」の挿入音の再生が開始され、再生時間Ｔ５に終了されるように挿入音データ６１１を出力する。また、挿入音再生処理手段４７５Ｂは、「頭を揺らす」という動作に対応する挿入音データ６１１として、ピアノを奏でる音である「ポロローン」の挿入音を出力させるための挿入音データ６１１を取得する。そして、「頭を揺らす」という動作に対応して、再生時間Ｔ８に「ポロローン」の挿入音の再生が開始され、再生時間Ｔ９に終了されるように挿入音データ６１１を出力する。
【００５４】
〔楽曲再生システムの動作〕
次に、楽曲再生システム１００の動作を図面を参照して説明する。
【００５５】
（音声対応モードにおける挿入音出力処理）
まず、楽曲再生システム１００の動作として、音声対応モードにおける挿入音出力処理について図７に基づいて説明する。ここでは、図５（Ａ）に示すような楽曲に合わせて、利用者が図５（Ｂ）に示すような音声を発音した状態を例示して説明する。図７は、音声対応モードにおける挿入音出力処理を示すフローチャートである。
【００５６】
まず、利用者は、入力手段４４０の入力操作により、音声対応モードで所定の楽曲の再生を要求する旨を設定入力する。そして、楽曲再生システム１００の楽曲再生装置４００は、図７に示すように、演算手段４７０の楽曲再生処理手段４７１にて、音声対応モードで所定の楽曲の再生を要求する旨の要求を認識すると、この所定の楽曲に対応する楽曲データ５１１に基づいて楽曲を再生する（ステップＳ１０１）。この後、演算手段４７０は、楽曲リズム認識手段４７２にて、再生中の楽曲の楽曲ＢＰＭを認識し（ステップＳ１０２）、この楽曲ＢＰＭに関する楽曲ＢＰＭ情報をメモリ４３０に記憶させる。ここでは、演算手段４７０は、図５（Ａ）に示すような楽曲を再生して、この楽曲に対応する楽曲ＢＰＭ情報を記憶させる。さらに、演算手段４７０は、音声状態認識手段４７３の音声リズム認識手段４７３Ａにて、マイク２００から出力される車内音情報の車内音を所定時間だけ取得して（ステップＳ１０３）、この車内音から基準音量以下の音を削除する（ステップＳ１０４）。そして、音声リズム認識手段４７３Ａは、車内音から削除した音の時間長が音声認識基準時間以下か否かを判断する（ステップＳ１０５）。
【００５７】
このステップＳ１０５において、音声認識基準時間以下ではない、すなわち音声認識基準時間よりも長いと判断した場合、車内音に利用者が楽曲に合わせて意識的に発音した音声が含まれていないと認識する。そして、音声リズム認識手段４７３Ａは、ステップＳ１０３に戻り車内音を取得する処理をする。一方、ステップＳ１０５において、音声リズム認識手段４７３Ａは、音声認識基準時間以下であると判断した場合、車内音に利用者が意識的に発音した音声が含まれていると認識する。ここでは、音声リズム認識手段４７３Ａは、再生時間Ｔ２や再生時間Ｔ６を含む時間の車内音を取得した際に、車内音に利用者が意識的に発音した「イェイ」や「イェイェイ」という音声が含まれていると認識する。そして、メモリ４３０に記憶された楽曲ＢＰＭ情報の楽曲ＢＰＭ、および、音声の出力波形のピーク間隔に基づいて、楽曲ＢＰＭを基準にした音声ＢＰＭを認識する（ステップＳ１０６）。さらに、音声リズム認識手段４７３Ａは、音声ＢＰＭに基づいて、音声に対応する音声リズムパターンを認識し（ステップＳ１０７）、この音声リズムパターンに関する音声リズムパターン情報をメモリ４３０に記憶させる。また、音声状態認識手段４７３は、言語認識手段４７３Ｂにて、音声リズム認識手段４７３Ａで外部リズムパターンが認識された音声の音声言語を認識し（ステップＳ１０８）、この音声言語に関する音声言語情報をメモリ４３０に記憶させる。ここでは、言語認識手段４７３Ｂは、音声リズム認識手段４７３Ａで再生時間Ｔ２や再生時間Ｔ６を含む時間の車内音が取得された際に、「イェイ」や「イェイェイ」という言語を音声言語として認識して、この音声言語に関する音声言語情報を記憶させる。
【００５８】
この後、演算手段４７０は、挿入音再生制御手段４７５の挿入音再生処理手段４７５Ｂにて、メモリ４３０に記憶された音声リズムパターン情報および音声言語情報に基づいて、音声リズムパターンおよび音声言語に対応する挿入音個別データ６１０を検索する。そして、挿入音再生処理手段４７５Ｂは、この検索した挿入音個別データ６１０の挿入音データ６１１を取得する（ステップＳ１０９）。さらに、挿入音再生制御手段４７５は、挿入位置特定手段４７５Ａにて、再生中の楽曲の小節の区切りを認識し、音声言語が認識された音声が発せられた時点から、２つ目に現れる楽曲の小節の始めを挿入位置として特定する（ステップＳ１１０）。そして、挿入音再生処理手段４７５Ｂは、挿入位置特定手段４７５Ａで特定された挿入位置に対応する時間に挿入音データ６１１を再生して（ステップＳ１１１）、楽曲に合わせた挿入音を出力する。ここでは、挿入音再生制御手段４７５は、図５（Ｃ）に示すように、「イェイ」の音声に対応する「ジャカジャン」の挿入音を再生時間Ｔ４から再生時間Ｔ５まで再生し、「イェイェイ」の音声に対応する「ジャカジャカジャン」の挿入音を再生時間Ｔ８から再生時間Ｔ９まで再生する。この後、音声リズム認識手段４７３Ａは、楽曲の再生が終了したか否かを判断する（ステップＳ１１２）。このステップＳ１１２において、楽曲の再生が終了したと判断した場合、音声対応モードにおける挿入音出力処理を終了する。一方、音声リズム認識手段４７３Ａは、楽曲の再生が終了していないと判断した場合、ステップＳ１０３に戻り音声を取得する処理をする。
【００５９】
（動作対応モードにおける挿入音出力処理）
次に、楽曲再生システム１００の動作として、動作対応モードにおける挿入音出力処理について図８に基づいて説明する。ここでは、図６（Ａ）に示すような楽曲に合わせて、利用者が図６（Ｂ）に示すような動作を実施した状態を例示して説明する。なお、音声対応モードにおける挿入音出力処理で実施される処理と同様の処理については、説明を簡略化する。図８は、動作対応モードにおける挿入音出力処理を示すフローチャートである。
【００６０】
まず、利用者は、入力手段４４０の入力操作により、動作対応モードで所定の楽曲の再生を要求する旨を設定入力する。そして、楽曲再生システム１００の楽曲再生装置４００は、図８に示すように、演算手段４７０の楽曲再生処理手段４７１にて、動作対応モードで所定の楽曲の再生を要求する旨の要求を認識すると、この所定の楽曲を再生する（ステップＳ２０１）。この後、演算手段４７０は、楽曲リズム認識手段４７２にて、再生中の楽曲の楽曲ＢＰＭを認識して（ステップＳ２０２）、楽曲ＢＰＭ情報をメモリ４３０に記憶させる。さらに、演算手段４７０は、動作状態認識手段４７４の動作リズム認識手段４７４Ａにて、撮像手段３００から出力される撮像データを所定時間だけ取得して（ステップＳ２０３）、利用者の身体の所定部分が身体動作基準量以上動いたか否かを判断する（ステップＳ２０４）。
【００６１】
このステップＳ２０４において、身体動作基準量以上動いていないと判断した場合、利用者が楽曲に合わせて意識的に身体を動かしていないと認識する。そして、動作リズム認識手段４７４Ａは、ステップＳ２０３に戻り撮像データを取得する処理をする。一方、ステップＳ２０４において、動作リズム認識手段４７４Ａは、身体動作基準量以上動いていると判断した場合、利用者が楽曲に合わせて意識的に身体を動かしたと認識する。ここでは、動作リズム認識手段４７４Ａは、再生時間Ｔ２や再生時間Ｔ６を含む時間の撮像データを取得した際に、利用者が意識的に「手を突き上げる」という動作や「頭を揺らす」という動作を実施したと認識する。そして、メモリ４３０に記憶された楽曲ＢＰＭ情報の楽曲ＢＰＭ、および、身体の所定部分が所定の位置から他の位置まで動くまでの時間の長さに基づいて、楽曲ＢＰＭを基準にした動作ＢＰＭを認識する（ステップＳ２０５）。さらに、動作リズム認識手段４７４Ａは、動作ＢＰＭに基づいて、動作に対応する動作リズムパターンを認識し（ステップＳ２０６）、この動作リズムパターンに関する動作リズムパターン情報をメモリ４３０に記憶させる。また、動作状態認識手段４７４は、動作内容認識手段４７４Ｂにて、動作リズム認識手段４７４Ａで動作リズムパターンが認識された動作の動作内容を認識し（ステップＳ２０７）、この動作内容に関する動作内容情報をメモリ４３０に記憶させる。ここでは、動作内容認識手段４７４Ｂは、動作リズム認識手段４７４Ａで再生時間Ｔ２や再生時間Ｔ６を含む時間の撮像データが取得された際に、「手を突き上げる」という動作や「頭を揺らす」という動作を動作内容として認識して、この動作内容に関する動作内容を記憶させる。
【００６２】
この後、演算手段４７０は、挿入音再生制御手段４７５の挿入音再生処理手段４７５Ｂにて、メモリ４３０に記憶された動作リズムパターン情報および動作内容情報に基づいて、動作リズムパターンおよび動作内容に対応する挿入音データ６１１を取得する（ステップＳ２０８）。さらに、挿入音再生制御手段４７５は、挿入位置特定手段４７５Ａにて、動作内容が認識された動作が実施された時点から、２つ目に現れる楽曲の小節の始めを挿入位置として特定する（ステップＳ２０９）。そして、挿入音再生処理手段４７５Ｂは、挿入位置特定手段４７５Ａで特定された挿入位置に対応する時間に挿入音データ６１１を再生して（ステップＳ２１０）、楽曲に合わせた挿入音を出力する。ここでは、挿入音再生制御手段４７５は、図６（Ｃ）に示すように、「手を突き上げる」という動作に対応する「ジャーン」の挿入音を再生時間Ｔ４から再生時間Ｔ５まで再生し、「頭を揺らす」という動作に対応する「ポロローン」の挿入音を再生時間Ｔ８から再生時間Ｔ９まで再生する。この後、動作リズム認識手段４７４Ａは、楽曲の再生が終了したか否かを判断する（ステップＳ２１１）。このステップＳ２１１において、楽曲の再生が終了したと判断した場合、動作対応モードにおける挿入音出力処理を終了する。一方、動作リズム認識手段４７４Ａは、楽曲の再生が終了していないと判断した場合、ステップＳ２０３に戻り撮像データを取得する処理をする。
【００６３】
〔楽曲再生システムの作用効果〕
上述したように、上記実施の形態では、楽曲再生装置４００の演算手段４７０は、楽曲再生処理手段４７１にて、例えば音声対応モードで所定の楽曲を再生する旨の要求を認識すると、この所定の楽曲の再生を開始する。また、演算手段４７０は、音声状態認識手段４７３の音声リズム認識手段４７３Ａにて、マイク２００で集音された例えば「イェイ」の音声を含む車内音を取得する。さらに、音声リズム認識手段４７３Ａは、再生中の楽曲の楽曲ＢＰＭを基準にした「イェイ」の音声の音声ＢＰＭを認識し、この音声ＢＰＭに対応する音声の音声リズムパターンを認識する。この後、演算手段４７０は、挿入音再生制御手段４７５の挿入音再生処理手段４７５Ｂにて、音声リズムパターンに対応するリズムパターン情報６１２Ａに関連付けられた挿入音データ６１１を取得する。そして、挿入音再生処理手段４７５Ｂは、この挿入音データ６１１に基づいて音声リズムパターンに対応する挿入音、すなわち楽曲の特性である楽曲ＢＰＭに合わせた挿入音を発音手段４５０から出力させる。このため、楽曲再生装置４００は、楽曲に同調する挿入音を挿入するので、楽曲の聴取の際に利用者が感じる違和感を低減できる。また、利用者は、例えば「イェイ」の音声に対して楽曲の特性に同調する「ジャカジャン」の挿入音が楽曲に挿入されるので、自ら発する音声に楽曲が反応してくれているような感覚を体感でき、楽曲の聴取をより楽しむことができる。したがって、楽曲再生装置４００は、挿入音を良好に出力できる。
【００６４】
さらに、挿入音再生処理手段４７５Ｂは、利用者により発せられた音声の音声リズムパターンに対応する挿入音を出力させる。具体的には、挿入音再生処理手段４７５Ｂは、例えば「イェイ」に対応して「ジャカジャン」の挿入音を出力させ、「イェイェイ」に対して「ジャカジャカジャン」の挿入音を出力させる。このため、利用者は、自ら発する音声に対応するリズムパターンの挿入音により、楽曲がより良好に反応してくれているような感覚を体感できる。したがって、楽曲再生装置４００は、挿入音をより良好に出力できる。
【００６５】
そして、挿入音再生処理手段４７５Ｂは、音声の音声言語や動作の内容に対応した挿入音を出力させる。具体的には、挿入音再生処理手段４７５Ｂは、「イェイ」の音声に対応して「ジャカジャン」のドラム音を、「ヒュウ」の音声に対応して「ドンドン」の和太鼓音を、「手を突き上げる」という動作に対応して「ジャーン」のシンバル音を、「頭を揺らす」という動作に対応して「ポロローン」のピアノ音を、それぞれ出力させる。このため、利用者は、音声や動作の内容に対応して出力される互いに異なる挿入音により、楽曲がさらに良好に反応してくれているような感覚を体感できる。したがって、楽曲再生装置４００は、挿入音をさらに良好に出力できる。
【００６６】
また、挿入音再生処理手段４７５Ｂは、楽曲の特性に同調する挿入音として楽曲ＢＰＭに合わせた挿入音を出力させる。このため、楽曲再生装置４００は、楽曲ＢＰＭに合わせた挿入音により、楽曲の聴取の際に利用者が感じる違和感をより低減できる。したがって、楽曲再生装置４００は、挿入音をより良好に出力できる。
【００６７】
さらに、挿入位置特定手段４７５Ａは、例えば言語認識手段４７３Ｂにて音声言語が認識された音声が発せられた時点から２つ目に現れる楽曲の小節の始めを、挿入音を挿入する挿入位置として認識する。このため、楽曲再生装置４００は、小節に合わせたタイミングで挿入する挿入音により、楽曲の聴取の際に利用者が感じる違和感をさらに低減できる。したがって、楽曲再生装置４００は、挿入音をさらに良好に出力できる。
【００６８】
また、挿入位置特定手段４７５Ａは、例えば音声が発せられた時点から出力処理期限時間以内に挿入音が出力されるように挿入位置を特定する。このため、利用者は、音声を発してから出力処理期限時間以内に出力される挿入音により、楽曲がさらに良好に反応してくれているような感覚を体感できる。したがって、楽曲再生装置４００は、挿入音をさらに良好に出力できる。
【００６９】
さらに、挿入音再生処理手段４７５Ｂは、挿入音データ記憶手段４２０に記憶された挿入音データ６１１に基づいて挿入音を出力する。このため、挿入音再生処理手段４７５Ｂは、挿入音データ６１１を取得して出力するだけの簡単な方法で挿入音を出力できる。したがって、挿入音再生処理手段４７５Ｂの処理負荷を減らすことができる。
【００７０】
また、挿入音データ６１１として、ＭＩＤＩ形式のデータを用いている。そして、挿入音再生処理手段４７５Ｂは、挿入音データ６１１のＢＰＭに関する情報を楽曲ＢＰＭに合わせて設定して挿入音として再生する。このため、挿入音データ６１１のデータ量を最小限に抑えることができる。また、また、挿入音再生処理手段４７５Ｂは、挿入音データ６１１のＢＰＭに関する情報の設定値を変更するだけで挿入音のＢＰＭを変更でき、１つの挿入音データ６１１で複数のＢＰＭに対応させた挿入音を出力させることができる。したがって、挿入音データ記憶手段４２０の容量を小さくでき、楽曲再生装置４００のコストを低減できる。
【００７１】
さらに、挿入音データ６１１を対象言語情報６１２Ｂや対象動作情報６１２Ｃに関連付けて記憶する挿入音データ記憶手段４２０を設けている。そして、挿入音再生処理手段４７５Ｂは、例えば音声言語に略一致する言語に関する対象言語情報６１２Ｂを挿入音データ記憶手段４２０から検索し、この検索した対象言語情報６１２Ｂに関連付けられた挿入音データ６１１を取得する。このため、挿入音再生処理手段４７５Ｂは、音声言語に対応する対象言語情報６１２Ｂを検索するだけで、挿入音データ６１１を取得できる。したがって、挿入音再生処理手段４７５Ｂは、挿入音データ６１１をより容易に取得できる。また、挿入音再生処理手段４７５Ｂは、挿入音データ記憶手段４２０を無線媒体や有線媒体のネットワークを介して接続されたサーバ装置に設ける構成と比べて、挿入音データ６１１をより迅速に取得できる。
【００７２】
そして、挿入音再生処理手段４７５Ｂは、マイク２００で集音した音声に対応した挿入音を楽曲に合わせて出力させる。このため、利用者は、所定の音声を発するだけの簡単な方法で挿入音を出力させることができる。また、利用者は、音声を出力するだけでよいので、例えば運転を中断することなく挿入音を出力させることができる。したがって、利用者は、楽曲の聴取を容易に楽しむことができる。
【００７３】
また、挿入音再生処理手段４７５Ｂは、音声リズム認識手段４７３Ａで車内音に基準音量以上の音声が音声認識基準時間以上含まれていることが認識されると、この音声に対応した挿入音を出力させる。このため、楽曲再生装置４００は、例えば車両の走行音や通常の会話などの音に反応して挿入音を出力することがなく、利用者が楽曲に合わせて発した音声のみに反応して挿入音を出力できる。したがって、楽曲再生装置４００は、挿入音をさらに良好に出力できる。
【００７４】
そして、挿入音再生処理手段４７５Ｂは、撮像手段３００からの撮像データに撮像された利用者の動作に対応した挿入音を楽曲に合わせて出力させる。このため、利用者は、所定の動作をするだけの簡単な方法で挿入音を出力させることができる。したがって、利用者は、楽曲の聴取をより容易に楽しむことができる。
【００７５】
さらに、挿入音再生処理手段４７５Ｂは、動作リズム認識手段４７４Ａで撮像データに基づいて身体の所定部分が所定方向に身体動作基準量以上動いたことが認識されると、この身体の所定部分の動作に対応した挿入音を出力させる。このため、楽曲再生装置４００は、例えば運転動作などに反応して挿入音を出力することがなく、利用者が楽曲に合わせて実施した動作のみに反応して挿入音を出力できる。したがって、楽曲再生装置４００は、挿入音をさらに良好に出力できる。
【００７６】
そして、楽曲再生処理を実施する楽曲再生装置４００に本発明の音出力制御装置を適用している。このため、音声に対応した挿入音を出力でき、楽曲再生装置４００の利便性を高めることができる。
【００７７】
〔実施形態の変形〕
なお、本発明は、上述した各実施の形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
【００７８】
すなわち、挿入音再生処理手段４７５Ｂにて、楽曲の音の高さ、強さ、および、音色のうちの少なくともいずれか１つに同調する挿入音を出力する構成としてもよい。例えば、楽曲の音量の大きさに対応させて挿入音の音量の大きさを設定する構成や、楽曲の音色に対応させて挿入音の音色を設定する構成などとしてもよい。このような構成にすれば、楽曲再生装置４００は、例えば楽曲の音量よりも著しく大きい音量の挿入音や、楽曲の音色と著しく異なる音色の挿入音を出力することがなくなり、楽曲の聴取の際に利用者が感じる違和感を低減できる。
【００７９】
また、例えば楽曲リズム認識手段４７２にて、再生中の楽曲のコードの進行を認識するとともにコードの進行予測をする。そして、挿入音再生処理手段４７５Ｂにて、この進行予測されたコードに対応する挿入音を出力する構成などとしてもよい。このような構成にすれば、利用者は、楽曲に調和する挿入音を聴取でき、楽曲の聴取をより楽しむことができる。
【００８０】
そして、挿入音を音声リズムパターンや動作リズムパターンに対応させずに、音声の音声言語や動作の内容にのみ対応させる構成としてもよい。このような構成にすれば、各リズム認識手段４７３Ａ，４７４Ａを設ける必要がなく、演算手段４７０の構成を簡略化できる。したがって、楽曲再生装置４００のコストを低減できる。
【００８１】
また、挿入音を音声の音声言語や動作の内容に対応させずに、音声リズムパターンや動作リズムパターンのみに対応させる構成としてもよい。このような構成にすれば、言語認識手段４７３Ｂや動作内容認識手段４７４Ｂを設ける必要がなく、演算手段４７０の構成を簡略化でき、楽曲再生装置４００のコストを低減できる。
【００８２】
さらに、挿入音を音声や動作に対応させずに、挿入音再生処理手段４７５Ｂにて、例えば楽曲ＢＰＭに合わせた挿入音を選択して出力させる構成などとしてもよい。このような構成にすれば、各状態認識手段４７３，４７４を設ける必要がなく、演算手段４７０の構成をさらに簡略化でき、楽曲再生装置４００のコストをさらに低減できる。
【００８３】
また、挿入音再生処理手段４７５Ｂにて、楽曲ＢＰＭに合わせた挿入音ではなく、楽曲の拍子や拍などのリズムに合わせた挿入音を出力する構成としてもよい。例えば、図９（Ａ）に示すような４拍子のリズムの楽曲に対して「ジャカジャン」の挿入音を２回出力する場合、「ジャカジャン」の挿入音を、図９（Ｂ）に示すように２拍で出力する構成や、図９（Ｃ）に示すように１拍で出力する構成としてもよい。さらに、「ジャカジャカジャン」の挿入音を２回出力する場合、「ジャカジャカジャン」の挿入音を、図９（Ｄ）に示すように３拍で出力する構成や、図９（Ｅ）に示すように１拍で出力する構成としてもよい。このような構成にしても、楽曲再生装置４００は、楽曲に同調する挿入音を挿入するので、楽曲の聴取の際に利用者が感じる違和感を低減できる。
【００８４】
そして、挿入音再生処理手段４７５Ｂにて、楽曲の始めや終わり、さらには楽曲の盛り上がる部分であるいわゆるサビの部分にそれぞれ同調する挿入音を出力する構成としてもよい。例えば、挿入音再生処理手段４７５Ｂにて、楽曲の始めに対応してゆったりとおとなしめの挿入音を、サブの部分に対応して派手な感じの挿入音である例えば「ジャカジャカジャカジャカジャカジャカジャン」のドラム音を、終わりに対応して終わりを連想させる例えば「デケデケジャカジャカジャカジャカジャーン」のドラム音を出力する構成としてもよい。このような構成にすれば、利用者は、楽曲の曲調に同調する挿入音を聴取でき、楽曲の聴取をさらに楽しむことができる。
【００８５】
さらに、挿入音再生処理手段４７５Ｂにて、挿入音を楽曲の小節に合わせたタイミングではなく、例えば楽曲の拍子や拍さらにはＢＰＭなどのリズムに合わせたタイミングで出力する構成としてもよい。このような構成にしても、楽曲再生装置４００は、リズムに合わせたタイミングで挿入する挿入音により、楽曲の聴取の際に利用者が感じる違和感をさらに低減でき、挿入音をさらに良好に出力できる。
【００８６】
また、挿入位置特定手段４７５Ａにて、挿入位置を小節に合わせて特定する構成について例示したが、これに限らず、音声が発せられた時点や動作が実施された時点から出力処理開始時間である例えば３秒間が経過した時点を挿入位置として特定する構成としてもよい。このような構成にすれば、挿入位置特定手段４７５Ａは、楽曲の小節を認識することなく挿入位置を容易に特定できる。したがって、挿入位置特定手段４７５Ａの処理負荷を低減できる。さらに、挿入位置特定手段４７５Ａの構成を簡略化できる。
【００８７】
そして、挿入位置特定手段４７５Ａにて、例えば音声が発せられた時点から出力処理期限時間以内に挿入音が出力されるように挿入位置を特定する構成について例示したが、これに限らず例えば以下のような構成としてもよい。すなわち、挿入位置特定手段４７５Ａの構成にて、出力処理期限時間が経過した後に挿入音が出力されるように挿入位置を適宜特定する構成としてもよい。このような構成にしても、楽曲再生装置４００は、楽曲に同調する挿入音を挿入するので、楽曲の聴取の際に利用者が感じる違和感を低減できる。
【００８８】
さらに、挿入音再生処理手段４７５Ｂにて、挿入音データ記憶手段４２０から取得する挿入音データ６１１に基づいて挿入音を出力する構成について例示したが、これに限らず挿入音再生処理手段４７５Ｂにて挿入音データを生成して挿入音を出力する構成としてもよい。このような構成にすれば、楽曲再生装置４００に挿入音データ記憶手段４２０を設ける必要がなくなり、楽曲再生装置４００の重量を軽くできる。また、楽曲再生装置４００のコストを低減できる。
【００８９】
また、楽曲再生装置４００に無線媒体や有線媒体のネットワークを介して接続されたサーバ装置に、挿入音データ記憶手段４２０を設ける構成としてもよい。このような構成にすれば、楽曲再生装置４００の重量を軽くできる。また、挿入音データ６１１をサーバ装置に接続された他の楽曲再生装置４００と共有できる。
【００９０】
そして、挿入音データ６１１としてＭＩＤＩ形式のデータを用いたが、ＷＡＶＥ形式やＭＰＥＧ形式など他の形式のデータを用いる構成としてもよい。このような構成にすれば、楽曲再生装置４００は、ＭＩＤＩ形式では再生できない例えば自然の音や人物の音声を挿入音として適宜出力できる。したがって、楽曲再生装置４００は、利用者に楽曲の聴取をさらに楽しませることができる。
【００９１】
さらに、音声リズム認識手段４７３Ａに、車内音に基準音量以上の音声が音声認識基準時間以上含まれているか否かを判断する機能を設けた構成について例示したが、このような機能を設けない構成としてもよい。また、動作リズム認識手段４７４Ａに、身体の所定部分が所定方向に身体動作基準量以上動いたか否かを判断する機能を設けた構成について例示したが、このような機能を設けない構成としてもよい。これらのような構成にすれば、ステップＳ１０５やステップＳ２０４の処理を省略でき、各リズム認識手段４７３Ａ，４７４Ａの処理負荷を低減できる。また、各リズム認識手段４７３Ａ，４７４Ａの構成を簡略化でき、楽曲再生装置４００のコストを低減できる。
【００９２】
そして、楽曲再生装置４００に、音声に対応する挿入音および動作に対応する挿入音を出力する機能を設けた構成について例示したが、いずれか一方の機能を設けない構成としてもよい。このような構成にすれば、各状態認識手段４７３，４７４のうちのいずれか一方を設ける必要がなく、演算手段４７０の構成を簡略化でき、楽曲再生装置４００のコストを低減できる。
【００９３】
また、利用者が発音する音声に対応して挿入音を出力する構成について例示したが、これに限らず利用者の手拍子や鼻歌あるいは口笛の音、さらにはタンバリンやカスタネットあるいはマラカスなどの楽器を奏でる音に対応して挿入音を出力する構成としてもよい。ここで、楽器は、楽曲再生装置４００に有線媒体や無線媒体のネットワークを介して接続されていてもよいし、接続されていなくてもよい。このような構成にすれば、利用者は、上述した各種音に対応する挿入音により、自ら発する各種音や自ら奏でる楽器音に楽曲が反応してくれているような感覚を体感でき、楽曲の聴取をより楽しむことができる。
【００９４】
さらに、例えば楽曲再生処理手段４７１を本発明の重畳楽曲データ生成手段として機能させる。そして、楽曲再生処理手段４７１にて、挿入音再生処理手段４７５Ｂで取得した挿入音データ６１１の挿入音を再生中の楽曲データ５１１の楽曲に重畳させた重畳楽曲データを生成する。この後、楽曲再生処理手段４７１にて、この重畳楽曲データを再生して、挿入音が挿入された楽曲を出力する構成としてもよい。このような構成にすれば、挿入音再生処理手段４７５Ｂに挿入音の出力処理を実施させることなく楽曲および挿入音を出力できる。したがって、各再生処理手段４７１，４７５Ｂの処理により楽曲および挿入音を出力させる上記実施の形態と比べて、挿入音出力時における演算手段４７０の処理負荷を低減できる。
【００９５】
また、例えば再生されている楽曲の構成を予測して、この構成に基づいた挿入音を出力させる構成としてもよい。すなわち、例えば楽曲の波形を解析して、音素のアタック密度の高い部分と低い部分とを検出する。さらに、この検出した各部分に基づいてコード進行予測をし、このコード進行予測からパターンを検出して楽曲構成を予測する。そして、例えば楽曲の始まりや終わりなどでは、音声やリズムを模したパターンを基調パターンとした挿入音を出力させる構成としてもよい。また、楽曲のサビの前などでは、基調パターンに装飾的な音符を付加した拡張パターンの挿入音を出力させる構成としてもよい。さらに、例えば１つの楽器で間奏を奏でるいわゆるソロ間奏の後など、楽曲で最も盛り上がる部分では、サビの前などと比べて装飾の割合を増加させた拡張パターンの挿入音を出力させる構成としてもよい。
【００９６】
ここで、上述したような装飾した拡張パターンの挿入音を生成する構成としては、例えば以下のような構成が例示できる。すなわち、例えば楽曲の最小ビート感で装飾付加音の最小分解能を決定する。そして、基調パターンをアクセントとして、決定した最小分解能におけるアクセント以外の部分に装飾音符を付加した挿入音を生成する構成、例えば基調パターンの前の部分や後の部分さらには前後の部分に、装飾的な音符を付加する構成などとしてもよい。例えば打楽器について例示すると、スネアドラムの音に対応する挿入音にタムタムやシンバルを加えるなど、挿入音として使用する音色の数を増やす構成などとしてもよい。
【００９７】
また、本発明の楽曲再生装置４００を車載型のいわゆるカーオーディオに適用した構成について例示したが、パーソナルコンピュータ、ロボット、楽曲の伴奏音楽だけを出力するいわゆるカラオケ装置などに適用してもよい。また、本発明の音出力制御装置を楽曲再生装置４００に適用した構成に限らず、楽曲リズム認識手段４７２、音声状態認識手段４７３、動作状態認識手段４７４、および、挿入音再生制御手段４７５を独立させた構成としてもよい。そして、各手段４７２〜４７５を独立させた構成をパーソナルコンピュータ、ロボット、携帯電話などの各種電子機器や電気機器に設けてもよい。ここで、各手段４７２〜４７５を独立させた構成における楽曲リズム認識手段４７２でリズムを認識する楽曲としては、テレビジョン受像機やラジオ受信機から出力される楽曲、携帯電話や設置式電話の着信音、公開演奏会で演奏される楽曲などが例示できる。
【００９８】
そして、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは１つのＩＣ（Integrated Circuit）などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。
【００９９】
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
【０１００】
〔実施の形態の効果〕
上述したように、上記実施の形態では、楽曲再生装置４００の演算手段４７０は、例えば音声対応モードで所定の楽曲を再生する旨の要求を認識すると、この所定の楽曲の再生を開始するとともに、マイク２００で集音された例えば「イェイ」の音声を含む車内音を取得する。さらに、演算手段４７０は、再生中の楽曲の楽曲ＢＰＭを基準にした「イェイ」の音声の音声ＢＰＭを認識し、この音声ＢＰＭに対応する音声の音声リズムパターンを認識する。この後、演算手段４７０は、音声リズムパターンに対応するリズムパターン情報６１２Ａに関連付けられた挿入音データ６１１に基づいて、音声リズムパターンに対応する挿入音、すなわち楽曲の特性である楽曲ＢＰＭに合わせた挿入音を楽曲に合わせて発音手段４５０から出力させる。このため、楽曲再生装置４００は、楽曲に同調する挿入音を挿入するので、楽曲の聴取の際に利用者が感じる違和感を低減できる。したがって、楽曲再生装置４００は、挿入音を良好に出力できる。
【図面の簡単な説明】
【０１０１】
【図１】本発明の一実施の形態に係る楽曲再生システムの概略構成を示すブロック図である。
【図２】前記実施の形態における楽曲リストデータの概略構成を示す模式図である。
【図３】前記実施の形態における挿入音リストデータの概略構成を示す模式図である。
【図４】前記実施の形態における楽曲再生装置を構成する演算手段の概略構成を示す模式図である。
【図５】前記実施の形態における音声対応モードにおける挿入音の出力状態の一例を示す模式図で、（Ａ）は楽曲の歌詞で、（Ｂ）は音声で、（Ｃ）は挿入音である。
【図６】前記実施の形態における動作対応モードにおける挿入音の出力状態の一例を示す模式図で、（Ａ）は楽曲の歌詞で、（Ｂ）は動作で、（Ｃ）は挿入音である。
【図７】前記実施の形態における音声対応モードにおける挿入音出力処理を示すフローチャートである。
【図８】前記実施の形態における動作対応モードにおける挿入音出力処理を示すフローチャートである。
【図９】本発明の他の実施の形態に係る挿入音の出力状態の一例を示す模式図で、（Ａ）は楽曲のリズムで、（Ｂ）は「ジャカジャン」の挿入音の出力パターン１で、（Ｃ）は「ジャカジャン」の挿入音の出力パターン２で、（Ｄ）は「ジャカジャカジャン」の挿入音の出力パターン１で、（Ｅ）は「ジャカジャカジャン」の挿入音の出力パターン２である。
【符号の説明】
【０１０２】
４００    楽曲再生装置
４２０    音データ記憶手段としての挿入音データ記憶手段
４５０    音出力手段および楽曲出力手段としての発音手段
４７０    演算手段
４７１    重畳楽曲データ生成手段としても機能しうる楽曲再生処理手段
４７２    音出力制御装置を構成する楽曲特性認識手段としての楽曲リズム認識手段
４７３    音出力制御装置を構成する、外部状態情報取得手段および外部状態リズム認識手段としての音声状態認識手段
４７４    音出力制御装置を構成する、外部状態情報取得手段および外部状態リズム認識手段としての動作状態認識手段
４７５    音出力制御装置を構成する音出力制御手段としての挿入音再生制御手段
５１１    楽曲データ
６１１    音データとしての挿入音データ
６１２Ｂ  所定外部状態情報としての対象言語情報
６１２Ｃ  所定外部状態情報としての対象動作情報
【図１】
2006106411.tif 000003
【図２】
2006106411.tif 000004
【図３】
2006106411.tif 000005
【図４】
2006106411.tif 000006
【図５】
2006106411.tif 000007
【図６】
2006106411.tif 000008
【図７】
2006106411.tif 000009
【図８】
2006106411.tif 000010
【図９】
2006106411.tif 000011