(57)【要約】【課題】既存の楽曲データを再生する場合でも、車両を操作する操作者の行為に対応した音楽とすることができる、車両用音楽生成装置及びプログラムを提供する。【解決手段】楽曲データに基づいて音信号を生成する生成手段と、前記生成手段で生成された音信号を音響出力する前に、前記音信号に対し操作者の行為により生じる車両の動的な挙動に応じたエフェクト処理を行う処理手段と、を備えた車両用音楽生成装置とする。【選択図】図２
2019002963.tif 000002
【特許請求の範囲】
【請求項１】
楽曲データに基づいて音信号を生成する生成手段と、
前記生成手段で生成された音信号を音響出力する前に、前記音信号に対し操作者の行為により生じる車両の動的な挙動に応じたエフェクト処理を行う処理手段と、
を備えた車両用音楽生成装置。
【請求項２】
前記処理手段は、車両がカーブを曲がる場合は、音を揺らす揺らし系エフェクトによりエフェクト処理を行う、請求項１に記載の車両用音楽生成装置。
【請求項３】
前記処理手段は、車両が加速する場合、車両が高速走行する場合、または車両が減速する場合は、音に空間的な広がりを与える空間系エフェクトによりエフェクト処理を行う、請求項１または請求項２に記載の車両用音楽生成装置。
【請求項４】
前記処理手段は、操作者に対する注意喚起が必要な場合は、歪み系のエフェクトによりエフェクト処理を行う、請求項１または請求項２に記載の車両用音楽生成装置。
【請求項５】
前記注意喚起が必要な場合は、車両の速度が予め定めた制限速度を超えた場合を含む、請求項４に記載の車両用音楽生成装置。
【請求項６】
前記処理手段は、ステアリング角が予め定めた閾値以上である場合は、カーブを曲がるイメージを与えるフランジャーまたはフェイザーによりエフェクト処理を行う、請求項１または請求項２に記載の車両用音楽生成装置。
【請求項７】
前記処理手段は、アクセル踏込値が予め定めた閾値以上である場合は、加速するイメージを与えるディレイによりエフェクト処理を行う、請求項１または請求項３に記載の車両用音楽生成装置。
【請求項８】
前記処理手段は、ブレーキ踏込値が予め定めた閾値以上である場合は、減速するイメージを与えるリバーブによりエフェクト処理を行う、請求項１または請求項３に記載の車両用音楽生成装置。
【請求項９】
前記処理手段は、速度が予め定めた閾値以上である場合は、高速走行するイメージを与えるフィードバックディレイによりエフェクト処理を行う、請求項１または請求項３に記載の車両用音楽生成装置。
【請求項１０】
車両の周囲環境に応じて第１効果音の音信号を生成する第１効果音生成手段と、
前記処理手段によりエフェクト処理された音信号と、前記第１効果音の音信号とを合成する合成手段と、
を更に備えた請求項１から請求項９までのいずれか１項に記載の車両用音楽生成装置。
【請求項１１】
車両の周囲に存在する物標に応じて第２効果音の音信号を生成する第２効果音生成手段と、
前記処理手段によりエフェクト処理された音信号と、前記第２効果音の音信号とを合成する合成手段と、
を更に備えた請求項１から請求項９までのいずれか１項に記載の車両用音楽生成装置。
【請求項１２】
車両の周囲環境に応じて第１効果音の音信号を生成する第１効果音生成手段と、
車両の周囲に存在する物標に応じて第２効果音の音信号を生成する第２効果音生成手段と、
前記処理手段によりエフェクト処理された音信号と、前記第１効果音の音信号と、前記第２効果音の音信号とを合成する合成手段と、
を更に備えた請求項１から請求項９までのいずれか１項に記載の車両用音楽生成装置。
【請求項１３】
コンピュータを、
楽曲データに基づいて音信号を生成する生成手段、
前記生成手段で生成された音信号を音響出力する前に、前記音信号に対し操作者の行為により生じる車両の動的な挙動に応じたエフェクト処理を行う処理手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用音楽生成装置及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、自動車内の各部からの情報に基づいて、音楽を作成するためのパラメータを発生する情報収集・加工手段と、前記情報収集・加工手段からのパラメータに基づいて、楽譜データを生成することで作曲を行う譜面自動生成手段とを具備したことを特徴とする車載音楽生成装置が開示されている。
【０００３】
特許文献２には、車両の制御状態を検知する車両状態検知手段と、複数の再生区間が予め設定され、各再生区間が前記車両の制御状態と対応付けられた楽曲データを記憶する記憶手段と、前記記憶手段に記憶された前記楽曲データに基づいて楽曲を再生する楽曲再生手段と、前記車両状態検知手段により検知された前記車両の制御状態に応じて前記記憶手段に記憶された前記楽曲データの再生区間を指定し、前記楽曲再生手段に該楽曲データの該再生区間を再生させる制御手段とを備える車両用楽音発生装置が開示されている。
【０００４】
特許文献３には、再生時間の制約を受けることなく、外部環境の変化に対応して音を発生させて音響効果を得ることができる音響構成装置において、外部環境の状態の変化を信号に変換して入力する入力手段と、該入力手段からの出力信号を解析してデータを抽出するデータ抽出手段と、該データ抽出手段で抽出した音源データに基づいて音源制御データを出力する音源制御手段と、該音源制御手段からの制御データに応じた音信号を出力する音源手段と、該音源手段からの出力信号を変換して発音させる発音手段とを有して成ることを特徴とする音響構成装置が開示されている。
【０００５】
特許文献４には、モニタに表示される監視対象から入力される外部信号に基づいて、音楽の構成要素を演奏中に変化させ、監視対象の変化を音楽の変化に変換することにより、視覚による監視作業に聴覚による監視を導入できるようにする信号監視用音楽演奏装置であって、複数の曲分の音楽データを保持する音楽データ記憶手段と、前記音楽データ記憶手段から所定のバッファメモリに転送する１曲分の音楽データを設定値により指定する曲目指示手段と、前記曲目指示手段の設定値に基づく所定の音楽データを、前記音楽データ記憶手段から検索して前記バッファメモリに転送する楽曲検索手段と、前記バッファメモリ上の前記音楽データの所定のトラックを演奏するテンポを設定値により指定するテンポ指示手段と、前記バッファメモリ上の前記音楽データの所定のトラックを演奏する音量を設定値により指定する音量指示手段と、前記バッファメモリ上の前記音楽データの所定のトラックを移調演奏させる時の音程変位を設定値により指定する音程指示手段と、前記バッファメモリ上の前記音楽データの所定のトラックを演奏させる時の楽器音色を設定値により指定する音色指示手段と、前記監視対象から、１つ又は複数の外部信号を同時に入力する外部信号入力手段と、前記各外部信号と、前記曲目指示手段、テンポ指示手段、音量指示手段、音程指示手段及び音色指示手段のいずれか１つ又は複数の指示手段とのリンクを設定するリンク設定手段と、前記リンク設定手段により前記外部信号とのリンクが設定された前記指示手段の設定値に対して、同外部信号の信号に応じて時系列に変更を加える動的指示変更手段と、前記テンポ指示手段、音量指示手段、音程指示手段及び音色指示手段によりそれぞれ指定された、テンポ、音量、音程変位及び音色の各設定値に基づき、且つ前記バッファメモリ上の前記音楽データの所定のトラックを所定の同期信号とタイミングをとりながら演奏指示を行うトラック演奏手段と、前記トラック演奏手段の指示に基づいて音響信号を発生する音源手段と、を備えており、
前記同期信号が前記外部信号の１つから同期入力手段により抽出されたパルス信号であり、前記トラック演奏手段が、前記音楽データを構成する小節の１拍目に相当する音符を演奏するタイミングを該パルス信号のいずれかのパルスに一致させるように制御し、且つ、前記タイミングを一致させたパルスと直前のパルスとの時間間隔に基づいて、前記動的指示変更手段が、前記テンポ指示手段の設定値を前記タイミングに合わせて変更すると共に、前記音楽データがノート・オン命令及びノート・オフ命令の集合で構成されるＭＩＤＩイベントデータであり、前記トラック演奏手段がシーケンサで、且つ前記音源手段がＭＩＤＩ音源で構成されており、前記シーケンサが前記ＭＩＤＩイベントデータに所定の補正をかけ、所定のタイミングで前記ＭＩＤＩ音源の所定のチャンネルに転送する制御を行なうことを特徴とする信号監視用音楽演奏装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６-６９２８８号公報
【特許文献２】特許第４９８４８６１号公報
【特許文献３】特許第３３８１０７４号公報
【特許文献４】特許第４４５８５８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
車両内で既存の楽曲データを再生しても、車両の操作者は音楽から「私が運転している」との感覚を得ることができない。これは、既存の楽曲データは、運転行為とは無関係に作成されているからである。
【０００８】
本発明の目的は、既存の楽曲データを再生する場合でも、車両を操作する操作者の行為に対応した音楽とすることができる、車両用音楽生成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の車両用音楽生成装置は、楽曲データに基づいて音信号を生成する生成手段と、前記生成手段で生成された音信号を音響出力する前に、前記音信号に対し操作者の行為により生じる車両の動的な挙動に応じたエフェクト処理を行う処理手段と、を備える。
【００１０】
本発明のプログラムは、コンピュータを、楽曲データに基づいて音信号を生成する生成手段、前記生成手段で生成された音信号を音響出力する前に、前記音信号に対し操作者の行為により生じる車両の動的な挙動に応じたエフェクト処理を行う処理手段、として機能させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、既存の楽曲データを再生する場合でも、車両を操作する操作者の行為に対応した音楽とすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る車両用音楽生成装置の搭載例を示す模式図である。
【図２】本発明の実施の形態に係る車両用音楽生成装置の電気的構成の一例を示す機能ブロック図である。
【図３】本発明の実施の形態に係る車両用音楽生成装置の構成の一例を示すブロック図である。
【図４】「音楽情報生成処理」の手順の一例を示すフローチャートである。
【図５】「エフェクト処理」の手順の一例を示すフローチャートである。
【図６】効果音生成部の構成の一例を示すブロック図である。
【図７】（Ａ）及び（Ｂ）は映像の変化を検出する領域を示す模式図である。
【図８】効果音生成部の構成の他の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
【００１４】
＜車両の運転に相応しい音楽＞
まず、車両の運転に相応しい音楽について説明する。
既存の楽曲には「私が運転している」との感覚を与える音楽的な要素はない。既存の楽曲は運転行為とは無関係に作られているからである。運転行為が既存の楽曲に反映されて聴覚によるフィードバックがあることにより、「私が運転している」との感覚が操作者（私）に与えられる。操作者は、聴覚によるフィードバックを楽しみながら運転することができる。
【００１５】
下記表１に示すように、運転により変化する対象は、運転行為（操作者の行為）との距離感により、車両の動的な挙動、周囲環境、及び車両周囲の静的な物標の３種類に分類される。「車両の動的な挙動」→「周囲環境」→「車両周囲の静的な物標」の順で、距離感が遠くなる。本実施の形態では、既存の楽曲データを再生する際に、楽曲を加工処理する。このとき、運転行為との距離感に応じて、変化対象毎に楽曲の加工処理の方法を変える。変化対象毎に異なるフィードバックがあることで、それぞれを分離して聞くことができる。
【００１６】
【表１】
2019002963.tif 000003
【００１７】
本実施の形態では、「車両の動的な挙動」の変化に応じて、音信号をエフェクト処理する。エフェクト処理とは、音信号に音響効果を付与する処理である。「車両の動的な挙動」の変化に応じてエフェクト処理を行うことで、既存の楽曲を運転の躍動感を感じる音楽に変化させる。エフェクト処理は、楽曲を直接変化させるので、運転行為との距離感の近さを表現することができる。また、本実施の形態では、「周囲環境」や「車両周囲の静的な物標」の変化に応じて、効果音を発生させる。効果音を加えることで、操作者に車両周囲の状況をイメージさせる。
【００１８】
エフェクトの基本的な音響効果は知られている（別冊Lightning Vol.155 憧れの名品ギター図鑑ｐ101などを参照）。エフェクトには、付与される音響効果に応じて、音を揺らす揺らし系エフェクト、音に空間的な広がりを与える空間系エフェクト、音を歪ませる歪み系エフェクトなどがある。揺らし系エフェクトとしては、コーラス、フランジャー、フェイザー等が挙げられる。空間系エフェクトとしては、ディレイ、リバーブ等が挙げられる。歪み系エフェクトとしては、オーバードライブ、ディストーション等が挙げられる。
【００１９】
上記表１の「車両の動的な挙動」の変化は、車両を操作する操作者の運転行為により生じるものである。また、運転行為は、ステアリングを回す、アクセルを踏む等、車両に直接触れることにより行われるもので、触覚を伴う行為である。即ち、「車両の動的な挙動」の変化は、運転行為と直接結びつく。従って、「車両の動的な挙動」は、他の対象と比べると、運転行為との距離感が近い。運転行為のイメージと「車両の動的な挙動」のイメージは略同じである。運転行為や「車両の動的な挙動」のイメージに対応した「聴覚によるフィードバック」があると、操作者は運転行為をより強く意識することができる。
【００２０】
本実施の形態では、上記の通り、楽曲データを再生する際に、「車両の動的な挙動」に応じて音信号にエフェクト処理を行い、楽曲を直接変化させる。このとき、運転行為や「車両の動的な挙動」のイメージと、エフェクト処理により得られるイメージとを対応させる。例えば、ステアリングを回す（カーブを曲がる）場合には、曲がる感じ（イメージ）を得ることができるエフェクト処理を行い、アクセルを踏む（加速する）場合には、加速する感じ（イメージ）を得ることができるエフェクト処理を行う。なお、エフェクトの具体例については後述する。
【００２１】
例えば、ステアリングを回すという触覚を伴う運転行為によって、ステアリング角が大きくなり、車両がカーブを曲がる。このとき、ステアリングを回すという「運転行為」のイメージ、または、カーブを曲がるという「車両の動的な挙動」のイメージに対応して、曲がる感覚を与えるフィードバックがあると、運転行為をより強く意識することになる。ステアリングを回すという「運転行為」の場合は、視覚によるフィードバックが加わり、運転行為に対する意識がより強められる。
【００２２】
また、上記表１の「周囲環境」の変化は、「車両の動的な挙動」の変化と同様に、操作者の運転行為により生じるものである。しかしながら、対象である周囲環境に直接触れたという触感は得られないので、周囲環境の変化は、運転行為と間接的にしか結びつかない。従って、「周囲環境」は、「車両の動的な挙動」に比べて運転行為との距離感が遠い。例えば、ステアリングを回すという運転行為は、車両がカーブを曲がるという「車両の動的な挙動」を生じ、その結果、ガードレールに近付くというように周囲環境に関連する。しかしながら、ガードレールに触った触覚はない。
【００２３】
本実施の形態では、周囲環境(外部情報)に応じた効果音（雰囲気音、イメージ音）を挿入する。エフェクト処理と異なる方法で楽曲を加工処理することで、「車両の動的な挙動」との距離感の違いを表現することができる。「周囲環境」の変化の場合は、物標が近づく、物標が遠のくというように、物標と車両との相対的な変化をイメージさせることが重要になる。特に、物標と車両とが近づく変化をイメージさせることが重要になる。車両の運転中は、操作者は、対向車、歩行者、駐車車両、建物等の物標の接近情報に対して敏感になるためである。
【００２４】
また、上記表１の「車両周囲の静的な物標」の変化は、運転行為とは結びつかない。「車両周囲の静的な物標」は、「車両の動的な挙動」及び「周囲環境」と比べると、運転行為とは遠く離れた関係にある。ここで「静的な物標」とは、交差点、橋、陸橋、ランドマーク的な建物等、予め位置が固定されて移動しない物標である。運転行為とは結びつかないが、車両が静的な物標に接近した際に、静的な物標の存在を知らせる意味はある。静的な物標の存在を知らせることで、「この場所まできた。」、「こんなものがある。」等、操作者に気づきを与えることができる。
【００２５】
本実施の形態では、静的な物標に応じた効果音（特定音、言葉）を挿入する。静的な物標に応じた効果音は、記号としての音である。記号としての音としては、言葉を使うことができる。例えば、交差点に対する効果音を挿入する場合、交差点をほうふつとさせる効果音である必要はない。交差点ではこんな音というように、記号としての約束を与えてやればよい。例えば、物標のＧＰＳ座標に到着したときに、物標の名前や「着いた」等の言葉を発音してもよい。
【００２６】
効果音の一例を下記表２に示す。周囲環境に応じた効果音としては、周囲環境を感じる（イメージする）ことができる効果音が好ましい。物標に対する遠近感（特に「近い」感じ）を感じることができる効果音がより好ましい。イメージに則した効果音とすることで、違和感無く状況を知らせることができる。
【００２７】
【表２】
2019002963.tif 000004
【００２８】
上記表２に示すように、低速走行中（例えば、速度３０（ｋｍ／時）未満）の車両の近傍に物標がある場合（例えば、車両の近傍に他車両程度の移動体がある場合）は、周囲環境に応じた効果音として「振動音」を挿入すると、効果音のイメージが、車両が接近するイメージ（振動）に対応する。ここで「近傍」とは、車両から物標までの距離が８ｍ以内であることをいう。
【００２９】
また、高速走行中（例えば、速度３０（ｋｍ／時）以上）の車両の近傍に物標がある場合（例えば、車両の近傍に他車両、ガードレール、植え込み等がある場合）は、周囲環境に応じた効果音として「風の音」を挿入すると、効果音のイメージが速度感に対応する。効果音は「波の音」でもよい。連続的に変化する「風の音」や「波の音」は、「近さ」と「流れの速さ」を感じさせる。
【００３０】
また、車両の近傍に静的な物標がある場合は、静的な物標に応じた効果音として「曲に応じた音」を挿入してもよい。効果音のイメージが曲のイメージに対応する。例えば、ルパン三世の主題歌にピストルの音を挿入する等、楽曲が映画やアニメの主題歌である場合に、その映画やアニメをイメージさせる音を挿入する。
【００３１】
＜エフェクトの具体例＞
ここで、エフェクトの具体例について説明する。
下記表３に示すように、操作者の運転行為により生じた車両の動的な挙動に応じてエフェクトが選択される。なお、下記表３は、車両の動的な挙動とエフェクトとの対応関係の一例を示すものである。
【００３２】
【表３】
2019002963.tif 000005
【００３３】
上記の通り、運転行為や「車両の動的な挙動」のイメージと、エフェクト処理により得られるイメージとを対応させる。両者のイメージが対応することで、運転行為が楽曲（音楽、音）に反映される。以下、「車両の動的な挙動」毎に説明する。
【００３４】
（カーブを曲がる）
ステアリングを回す運転行為により車両も曲がり、ステアリング角が増加する。カーブを曲がるイメージが得られるエフェクトとしては、揺らし系のフランジャーやフェイザーが挙げられる。例えば、フランジャーは、音信号を意識的に遅らせて元の音信号とミックスすることで音が回ったような効果を与えるエフェクトである。フランジャーやフェイザーによれば、音が揺らぎ、うねるので、カーブを曲がるイメージに対応している。うねった道を走行する（カーブが連続する）場合、操舵のうねった感じと、フランジャーやフェイザーのうねった感じとがよく合う。カーブを曲がる場合は、景色が切り替わり、視覚的にも揺れるイメージが得られる。
【００３５】
（加速する）
アクセルを踏む運転行為により、アクセル踏込値は増加し、車両は加速する。加速するイメージが得られるエフェクトとしては、空間系のディレイが挙げられる。ディレイは、音の広がりを表すエフェクトである。船が進むと波紋が広がるように、音の広がりは、加速するイメージに対応している。
【００３６】
（高速走行する）
高速走行する運転行為により、速度は増加し、車両は高速で走行し続ける。高速走行するイメージ（スピード感）が得られるエフェクトとしては、空間系のフィードバックディレイが挙げられる。フィードバックディレイは、ディレイにより音が増えて音が重なるエフェクトである。音が増えて重なり、忙しくなった感じが高速走行するイメージに対応している。音の重なりは次第に消えるので、高速で快適に走行している安定感もある。
【００３７】
（減速する）
ブレーキを踏む運転行為により、ブレーキ踏込値は増加し、車両は減速する。減速するイメージが得られるエフェクトとしては、空間系のリバーブが挙げられる。リバーブは、音楽ホールのように残響音を持ちながら広がり、音の強さが弱まる感覚をもたらす。即ち、リバーブは、減速するイメージに対応している。
【００３８】
（制限速度を超える）
制限速度を超える無謀な運転行為の場合は、警告の意味で、高速で快適に走行しているイメージとは異なるイメージの歪み系のエフェクトを掛けてもよい。例えば、歪み系のディストーションは、元の音信号に無い成分を加減して音信号を変質させるエフェクトである。
【００３９】
＜車両用音楽生成装置＞
次に、車両用音楽生成装置について説明する。
図１は本発明の実施の形態に係る車両用音楽生成装置の搭載例を示す模式図である。図２は本発明の実施の形態に係る車両用音楽生成装置の構成の一例を示すブロック図である。図１及び図２に示すように、本実施の形態に係る車両用音楽生成装置１０は、車両センサ１４、カメラ２０、ＧＰＳセンサ２２、情報処理部３０、及び音楽出力部７０を備えている。車両センサ１４、カメラ２０、ＧＰＳセンサ２２、情報処理部３０、及び音楽出力部７０の各部は、車両１２に搭載されている。
【００４０】
車両センサ１４は、車両の動的な挙動を表す「車両挙動情報」を出力するセンサである。車両の動的な挙動とは、操作者１６の運転行為により生じる車両の挙動である。車両挙動情報には、ステアリング角、アクセル踏込値、ブレーキ踏込値、速度等のＣＡＮデータが含まれる。例えば、カーブを曲がるときに操作者がステアリングを回すことで、ステアリングホイール（タイヤ）の角度が変化する。車両センサ１４は、このときのタイヤの角度を「ステアリング角」として検出して出力する。
【００４１】
カメラ２０は、車両の周囲環境を撮影する車載カメラであり、映像信号を出力する。図１では、車両前方及び側方を撮影する場合を図示するが、車両前方及び側方に加えて、車両後方を撮影してもよい。これら映像信号は、車両の周囲環境を表す情報の一例である。
【００４２】
ＧＰＳセンサ２２は、ＧＰＳ衛星から受信した信号に基づいて車両の位置（経度緯度）を計測し、車両の位置情報を出力する。なお、車両センサ１４、カメラ２０、ＧＰＳセンサ２２で得られたアナログ信号は、図示しないＡ/Ｄ変換部でデジタル信号に変換されて、情報処理部３０に入力されるものとする。
【００４３】
情報処理部３０は、各種制御及び各種演算を行うコンピュータとして構成されている。情報処理部３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性メモリ３０Ｄ、及び入出力インターフェース（Ｉ／Ｏ）３０Ｅを備えている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性メモリ３０Ｄ、及びＩ／Ｏ３０Ｅの各々は、バス３０Ｆを介して接続されている。
【００４４】
本実施の形態では、ＲＯＭ３０Ｂには、後述する「音楽情報生成処理」を実行するための制御プログラムが記憶されている。ＣＰＵ３０Ａは、ＲＯＭ３０Ｂに記憶されたプログラムを読み出し、ＲＡＭ３０Ｃをワークエリアとして使用してプログラムを実行する。不揮発性メモリ３０Ｄには、後述する「楽曲データリスト」や「エフェクトテーブル（例えば、上記表３）」が記憶されている。
【００４５】
情報処理部３０には、Ｉ／Ｏ３０Ｅを介して、上記の車両センサ１４、カメラ２０、ＧＰＳセンサ２２、及び音楽出力部７０に加えて、操作表示部４４及び通信部４６の各部が接続されている。操作表示部４４は、操作者に楽曲リスト等の各種情報を表示すると共に、操作者から選曲や楽曲再生開始等の指示を受け付ける。通信部４６は、通信回線を介して外部装置と通信を行うためのインターフェースである。ＣＰＵ３０Ａは、各部を制御する。
【００４６】
なお、情報処理部３０には、各種ドライブが接続されていてもよい。各種ドライブは、光磁気ディスク、ＣＤ−ＲＯＭ、ＵＳＢメモリなどのコンピュータ読み取り可能な可搬性の記録媒体からデータを読み込んだり、記録媒体に対してデータを書き込んだりする装置である。各種ドライブを備える場合には、可搬性の記録媒体に制御プログラムを記録しておいて、これを対応するドライブで読み込んで実行してもよい。
【００４７】
図３は本発明の実施の形態に係る車両用音楽生成装置の構成の一例を示すブロック図である。機能面から見ると、図３に示すように、情報処理部３０は、楽曲データリスト１８、楽曲再生部３２、エフェクタ３４、エフェクト設定部３６、効果音生成部３８、効果音生成部４０、及び合成部４２を備えている。
【００４８】
なお、本実施の形態では、効果音生成部３８、効果音生成部４０、及び合成部４２を備える構成について説明するが、これらは省略してもよい。例えば、効果音生成部３８または効果音生成部４０のいずれか一方を省略してもよい。効果音生成部３８及び効果音生成部４０の両方を省略する場合は、合成部４２も省略する。
【００４９】
楽曲データリスト１８は、複数の楽曲データを予め記憶している。楽曲データは、例えば、ＭＩＤＩ規格に基づくデータである。ここでは、楽曲データリスト１８は、車両用音楽生成装置１０内に記憶されている例について説明するが、楽曲データリスト１８は、外部のストレージに記憶されていてもよい。この場合は、外部のストレージから、通信部４６を介して楽曲データをダウンロードする。
【００５０】
楽曲再生部３２は、操作表示部４４で受け付けた選曲に応じて、楽曲データリスト１８から選曲された楽曲の楽曲データを取得する。楽曲再生部３２は、操作表示部４４で受け付けた楽曲再生開始等の指示に応じて、取得した楽曲データの再生を開始する。楽曲データの再生とは、楽曲データから音信号（再生信号）を生成することである。楽曲再生部３２は、生成された音信号をエフェクタ３４に出力する。
【００５１】
エフェクタ３４は、音信号をエフェクト処理する。エフェクト設定部３６は、車両センサ１４から得られた車両挙動情報とエフェクトテーブルとに基づいて、車両の動的な挙動に応じたエフェクタを選択し、選択されたエフェクタをエフェクタ３４に設定する。エフェクト処理された音信号は、合成部４２に出力される。
【００５２】
効果音生成部３８は、カメラ２０から得られた映像信号に基づいて効果音の音信号を生成する。生成された効果音の音信号は、合成部４２に出力される。この場合、映像信号の変化を周囲環境の変化と捉え、周囲環境に応じた効果音を挿入する。なお、効果音生成部３８の詳細な構成は後述する。
【００５３】
効果音生成部４０は、ＧＰＳセンサ２２から得られた車両の位置情報と物標リストとに基づいて、効果音の音信号を生成する。生成された効果音の音信号は、合成部４２に出力される。本実施の形態では、静的な物標のＧＰＳ座標（経度緯度）が予め「物標リスト」としてリストアップされている。車両がこれらの静的な物標（ＧＰＳ座標）に近づくと、記号としての音や言葉を効果音として挿入する。
【００５４】
合成部４２は、エフェクト処理された楽曲データの音信号と、効果音の音信号とを合成する。合成された音信号は、演奏用の音楽情報として音楽出力部７０に出力される。
【００５５】
音楽出力部７０は、Ｄ/Ａ変換部、増幅部、及びスピーカを備えている。演奏用の音楽情報（デジタル）は、Ｄ/Ａ変換部によりアナログ信号に変換され、増幅部により増幅され、スピーカに出力される。スピーカは、入力されたアナログ信号に応じて音楽を出力する。これにより、音楽出力部７０では、情報処理部３０から得られた音楽情報に基づいて音楽が演奏される。
【００５６】
本実施の形態では、操作者１６は、車両を操作（運転）しながら、演奏される音楽を聴く。演奏される音楽は、既存の楽曲を車両の動的な挙動に応じてエフェクト処理したものである。このため、操作者１６は車両を運転しながら、自己の運転行為をイメージすることができる。
【００５７】
また、演奏される音楽には、車両の周囲環境を表す効果音が追加されている。効果音が鳴ることにより、操作者１６は周囲環境の変化を知ることができる。また、演奏される音楽には、物標を表す効果音が追加されている。効果音が鳴ることにより、操作者１６は物標の存在を知ることができる。
【００５８】
＜音楽情報生成処理＞
次に「音楽情報生成処理」について説明する。
図４は「音楽情報生成処理」の手順の一例を示すフローチャートである。
「音楽情報生成処理」の制御プログラムは、ＲＯＭ３０Ｂに記憶され、ＣＰＵ３０Ａにより読み出されて実行される。操作者により選曲され、楽曲再生の開始が指示されると「音楽情報生成処理」が開始される。
【００５９】
まず、ステップ１００で、選曲された楽曲の楽曲データを取得する。楽曲データは、既存の楽曲データである。次のステップ１０２で、単位時間毎にエフェクト処理を行うために、楽曲データを単位時間毎に分割する。なお、楽曲データが複数のトラックに分割されている場合は、トラック単位でエフェクト処理を行ってもよい。
【００６０】
ステップ１０４で、分割された楽曲データのうち次に出力する楽曲データから音信号を生成する、即ち、楽曲データを再生する。次のステップ１０６で、車両挙動情報を取得する。次のステップ１０８で、取得した車両挙動情報に基づいて音信号のエフェクト処理を実行する。
【００６１】
次に、ステップ１１０で、効果音の音信号を取得する。次のステップ１１２で、エフェクト処理された楽曲データの音信号と、効果音の音信号とを合成する。次のステップ１１４で、合成後の音信号を音楽情報として音楽出力部に出力する。
【００６２】
ここでは、楽曲再生の終了が指示されるまでは、同じ楽曲データを繰り返し再生するものとする。したがって、次のステップ１１６で、楽曲再生の終了が指示されたか否かを判断する。指示された場合はルーチンを終了する、指示されていない場合は、ステップ１０４に戻ってステップ１０４からステップ１１６までの手順を繰り返し行う。
【００６３】
（エフェクト処理）
ここで「エフェクト処理」について説明する。
図５は「エフェクト処理」の手順の一例を示すフローチャートである。
先ず、ステップ２００で、ステアリング角が、予め定めた閾値以上か否かを判断する。閾値以上の場合はステップ２０２に進み、閾値未満の場合はステップ２０４に進む。そして、ステップ２０２で、「エフェクトテーブル（上記表３）」を参照して、カーブを曲がるイメージに対応するフランジャーをエフェクトとして設定し、ステップ２２０に進む。
【００６４】
ステップ２０４では、アクセル踏込値が、予め定めた閾値以上か否かを判断する。閾値以上の場合はステップ２０６に進み、閾値未満の場合はステップ２０８に進む。そして、ステップ２０６で、「エフェクトテーブル」を参照して、加速するイメージに対応するディレイをエフェクトとして設定し、ステップ２２０に進む。
【００６５】
ステップ２０８では、ブレーキ踏込値が、予め定めた閾値以上か否かを判断する。閾値以上の場合はステップ２１２に進み、閾値未満の場合はステップ２１０に進む。そして、ステップ２１０で、「エフェクトテーブル」を参照して、減速するイメージに対応するリバーブをエフェクトとして設定し、ステップ２２０に進む。
【００６６】
ステップ２１２では、速度が、予め定めた閾値以上か否かを判断する。閾値以上の場合はステップ２１４に進み、閾値未満の場合はルーチンを終了する。ステップ２１４では、速度が制限速度を超えたか否かを判断する。制限速度を超えている場合はステップ２１６に進み、制限速度を超えていない場合はステップ２１８に進む。
【００６７】
そして、ステップ２１０では、「エフェクトテーブル」を参照して、歪み系のエフェクトをエフェクトとして設定し、ステップ２２０に進む。また、ステップ２１８では、上記表３を参照して、高速走行するイメージに対応するフィードバックディレイをエフェクトとして設定し、ステップ２２０に進む。
【００６８】
最後に、ステップ２２０で、音信号を設定されたエフェクトでエフェクト処理してルーチンを終了する。
【００６９】
＜効果音生成部１＞
次に、効果音生成部の構成・動作の一例について説明する。
図６は効果音生成部の構成の一例を示すブロック図である。効果音生成部３８は、カメラ２０から得られた映像信号に基づいて「効果音」の音信号を生成する。効果音生成部３８は、メモリ５０、変化検出部５２、信号処理部５４、及び音信号生成部５６を備えている。
【００７０】
メモリ５０は、カメラ２０から得られた映像信号を一時的に記憶し、変化検出部５２に出力する。変化検出部５２は、映像の変化を検出する。車両の周囲環境を撮影した映像では、「被写体（物標）の動き」が映像の変化として捉えられる。検出結果が、信号処理部５４に出力される。
【００７１】
信号処理部５４は、変化検出部５２の検出結果に応じて、映像信号からＭＩＤＩ規格に基づくデータ（ＭＩＤＩ信号）を生成する。ＭＩＤＩ信号の生成には、市販の「ＭＩＤＩ信号変換用のソフトウエア」を利用することができる。音信号生成部５６は、信号処理部５４で生成されたＭＩＤＩ信号から、効果音の音信号を生成する。
【００７２】
例えば、変化検出部５２は、エッジの変化量を求めてもよい。エッジは被写体の位置を表す特徴点である。エッジの変化量が、被写体である物標の動き（映像の変化）を表す。変化検出部５２は、得られた映像信号に対し、フレーム単位でエッジ検出を実施し、前後する２つのフレームを比較してエッジの変化量を求める。エッジの変化量は、フレーム内での変化量の最大値、平均値等の代表値としてもよい。
【００７３】
図７（Ａ）及び（Ｂ）は映像の変化を検出する領域を示す模式図である。図７（Ａ）及び（Ｂ）に示すように、エッジ検出は、フレームＦ全体について実施してもよく、フレームＦ内の限定した領域Ａ、Ｂ、Ｃの何れかについて実施してもよい。例えば、フレームＦ全体でエッジ検出を実施してエッジの変化量を算出する場合、全体の中の一部で映像が変化してもエッジの変化量は小さい。これに対して、領域Ａ、Ｂ、Ｃのように領域を絞ると、領域内で映像が変化するとエッジの変化量が大きくなる。
【００７４】
なお、他の方法で「映像の変化」を求めてもよい。例えば、エッジ検出の代わりにフレーム単位でＲＧＢ各色の映像信号から明るさを求め、明るさの変化量を求めてもよい。この場合は、明るさの変化量に応じて映像信号をＭＩＤＩ信号に変換する。
【００７５】
或いは、エッジ等の特徴点での変化量を求めるのではなく、フレーム内の各画素の階調値に着目して、前後する２つのフレームの差分画像を求め、階調値が「０」ではない部分に「被写体の動き」が在るものとしてもよい。更に、フレーム内の全画素について、階調値の最大値、最小値、平均値等を求め、それぞれの変化量を求めると、「被写体の動き」がより明確になる。
【００７６】
本実施の形態では、車両の周囲環境を知るのにカメラからの映像信号を用いるが、ドップラーセンサ等の電波センサの検出信号を用いてもよい。ドップラーセンサは、車両の周囲にある物標の動きを検知する。
【００７７】
＜効果音生成部２＞
次に、効果音生成部の構成・動作の他の一例について説明する。
図８は効果音生成部の構成の他の一例を示すブロック図である。効果音生成部４０は、ＧＰＳセンサ２２から得られた車両の位置情報と物標リストとに基づいて効果音の音信号を生成する。効果音生成部４０は、メモリ６０、物標検出部６２、物標リスト６４、音信号生成部６６、及び音サンプルリスト６８を備えている。
【００７８】
物標リスト６４は、静的な物標のＧＰＳ座標をリストアップして予め記憶するものである。音サンプルリスト６８は、例えば、物標のＧＰＳ座標に到着したときに、「○○（物標の名前）に着きました。」等の音声を発音するというように、物標に応じて効果音の音信号のサンプルを予め記憶するものである。物標リスト６４及び音サンプルリスト６８は、不揮発性メモリ３０Ｄ等の記憶装置に予め記憶されている。
【００７９】
メモリ６０は、ＧＰＳセンサ２２から得られた車両の位置情報（ＧＰＳ座標）を一時的に記憶し、物標検出部６２に出力する。物標検出部６２は、静的な物標のＧＰＳ座標を予め記憶した「物標リスト」を参照し、車両のＧＰＳ座標の近くに存在する「物標」を検出する。検出結果は、音信号生成部６６に出力される。
【００８０】
音信号生成部６６は、検出された物標に応じた効果音の音信号を、音サンプルリスト６８から取得する。取得された効果音の音信号は、合成部４２に出力される。
【００８１】
なお、上記実施の形態で説明した車両用音楽生成装置及びプログラムの構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。
【００８２】
例えば、周囲環境の変化に基づく効果音（音信号）も、物標に応じた効果音（音信号）と同様に、音サンプルリストから取得するようにしてもよい。また、音信号に対するエフェクト処理は、音信号が音響出力される前に実施されればよく、アナログ信号に変換された音信号に対しエフェクト処理を行ってもよい。
【符号の説明】
【００８３】
１０   車両用音楽生成装置
１２   車両
１４   車両センサ
１６   操作者
１８   楽曲データリスト
２０   カメラ
２２   ＧＰＳセンサ
３０   情報処理部
３２   楽曲再生部
３４   エフェクタ
３６   エフェクト設定部
３８   効果音生成部
４０   効果音生成部
４２   合成部
４４   操作表示部
４６   通信部
５０   メモリ
５２   変化検出部
５４   信号処理部
５６   音信号生成部
６０   メモリ
６２   物標検出部
６４   物標リスト
６６   音信号生成部
６８   音サンプルリスト
７０   音楽出力部
Ａ、Ｂ、Ｃ    領域
Ｆ     フレーム
【図１】
2019002963.tif 000006
【図２】
2019002963.tif 000007
【図３】
2019002963.tif 000008
【図４】
2019002963.tif 000009
【図５】
2019002963.tif 000010
【図６】
2019002963.tif 000011
【図７】
2019002963.tif 000012
【図８】
2019002963.tif 000013