(57)【要約】【課題】エンターテイメント性が向上された音楽を生成する。【解決手段】音楽生成装置では、自動作曲部３４が、撮影画像及びテンポ信号に基づき、各々が旋律及びリズムを含む自動作曲楽器音３６Ａ〜３６Ｄを生成する。この際、テンポ設定部４６は、情報取得部が取得する領域パラメータＷに応じ、自動作曲楽器音３６Ｂ〜３６Ｄのテンポ信号Ｓｔ１〜Ｓｔ３を出力する。これにより、自動作曲楽器音３６Ｂ〜３６Ｄの音の出力タイミングが領域パラメータＷに基づいて調整され、自動作曲楽器音３６Ａの音楽が自動作曲楽器音３６Ｂ〜３６Ｄの音楽により変奏されるので、演奏される音楽のエンターテイメント性が向上される。【選択図】図８
2020042167.tif 000002
【特許請求の範囲】
【請求項１】
複数の音源の各々から出力する音の各々を表し、かつ動画像に応じた旋律とリズムとを各々含む複数の音データを生成する音生成手段と、
広域的な注目情報を領域パラメータとして取得する広域情報取得手段と、
前記複数の音データのうちの少なくとも一つの音データを対象として、該対象とする音データの音を出力するタイミングを前記領域パラメータに基づいて設定する設定手段と、
生成された前記複数の音データの各々を用いて音を出力することで音楽を出力する際、前記対象とする音データの音が前記設定手段によって設定されたタイミングで出力されるようにする変奏手段と、
を含む音楽生成装置。
【請求項２】
前記音生成手段は、撮像手段によって撮像された動画像及び該動画像の変化から前記複数の音データを生成する請求項１に記載の音楽生成装置。
【請求項３】
移動体に設けられた撮像手段によって該移動体の周囲を撮像して得られた撮影画像を前記動画像として取得する画像取得手段を含み、
前記音生成手段は、前記画像取得手段によって取得された前記動画像及び該動画像の変化から前記複数の音データを生成する請求項１に記載の音楽生成装置。
【請求項４】
前記設定手段は、前記領域パラメータの変化が大きくなるにしたがって前記対象とする音データの音を出力するタイミングが多くなるように設定する請求項１から請求項３の何れか１項に記載の音楽生成装置。
【請求項５】
前記設定手段は、前記複数の音データのうちの少なくとも二つの音データを前記対象とする音データとし、前記対象とする音データの音の各々を出力するタイミングを前記領域パラメータに基づいて設定する請求項１から請求項４の何れか１項に記載の音楽生成装置。
【請求項６】
前記設定手段は、前記領域パラメータの変化が大きくなるにしたがって前記対象とする音データの数を多くする請求項１から請求項５の何れか１項に記載の音楽生成装置。
【請求項７】
前記設定手段は、前記領域パラメータの変化が予め設定した上限値に達した際に、前記対象とする音データの音を前記音源としてのドラムの音に変更する請求項１から請求項６の何れか１項に記載の音楽生成装置。
【請求項８】
コンピュータを、
複数の音源の各々から出力する音を各々を表し、かつ動画像に応じた旋律とリズムとを各々含む複数の音データを生成する音生成手段と、
広域的な注目情報を領域パラメータとして取得する広域情報取得手段と、
前記複数の音データのうちの少なくとも一つの音データを対象として、該対象とする音データの音を出力するタイミングを前記領域パラメータに基づいて設定する設定手段と、
生成された前記複数の音データの各々を用いて音を出力することで音楽を出力する際、前記対象とする音データの音が前記設定手段によって設定されたタイミングで出力されるようにする変奏手段と、
して機能させるための音楽生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽を生成する音楽生成装置及び音楽生成プログラムに関する。
【背景技術】
【０００２】
特許文献１には、原曲を構成する各音の発音タイミング、音高、音の高さ、音長で表現した楽譜を記憶し、原曲における音の複数種類の遷移確率データのうちから選択された遷移確率データと数値列とに基づいて、原曲の楽譜の各音から次に演奏すべき音を決定する自動作曲装置が開示されている。
【０００３】
また、特許文献２には、入力された日本語歌詞からテキストの読みと韻律、和音進行、旋律のリズムの各々を決定し、所定の作曲条件にしたがって旋律を生成する際、旋律の生起確率を隣接する音高間の遷移確率の積で近似すると共に、隣接する音高間の遷移確率を作曲条件ごとの確率の組み合わせで近似し、旋律を、旋律のリズムと音高からなる格子点の経路と捉え、動的計画法により尤度最大経路を決定し、作曲条件ごとの確率には、音高の出現確率として、音域を規定する確率、和声と音階の関係を規定する確率を含ませ、隣接する音高間の遷移確率には、跳躍を規定する確率、歌詞の韻律との関係を規定する確率を含ませ、各声部の旋律間の音楽理論に基づく制約を規定する確率を用いて、選択された声部の旋律の生起確率を、他の声部の少なくとも一つの声部の旋律を条件とする条件付き確率として決定することが開示されている。
【０００４】
一方、特許文献３の信号監視用音楽演奏装置では、音楽の構成要素を、監視対象から入力される外部信号に基づいて演奏中に変化させることにより、監視対象の変化を音楽の変化に変換している。
【０００５】
特許文献４の音響構成装置では、入力手段を介して外部環境の状態の変化を信号に変換して出力し、データ抽出手段が、この出力信号を解析して音源データのデータ抽出を行い、音源制御手段が、抽出された音源データに基づいて音源制御データを出力する。また、音源手段は、音源制御データに応じた音データを出力し、発音手段が、この出力信号を変換して発音させている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−０２０３２３号公報
【特許文献２】特開２０１４−１７０１４６号公報
【特許文献３】特許第４４５８５８１号
【特許文献４】特許第３３８１０７４号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、外部環境は、聴取者が直に感じ得る局所的な環境であり、局所的な環境の情報が用いられて生成される音楽は、視聴者が聞き続けているうちに音楽の変化に慣れが生じたり、音楽の変化がイメージできてしまったりする可能性が高くなる。
【０００８】
本発明は上記事実に鑑みてなされたものであり、広域的な情報を反映させることでエンターテイメント性が向上された音楽を生成できる音楽生成装置及び音楽生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様の音楽生成装置は、複数の音源の各々から出力する音の各々を表し、かつ動画像に応じた旋律とリズムとを各々含む複数の音データを生成する音生成手段と、広域的な注目情報を領域パラメータとして取得する広域情報取得手段と、前記複数の音データのうちの少なくとも一つの音データを対象として、該対象とする音データの音を出力するタイミングを前記領域パラメータに基づいて設定する設定手段と、生成された前記複数の音データの各々を用いて音を出力することで音楽を出力する際、前記対象とする音データの音が前記設定手段によって設定されたタイミングで出力されるようにする変奏手段と、を含む。
【００１０】
第１の態様の音楽出力装置では、音生成手段が、複数の音源の各々から出力する音を各々表し、かつ動画像に応じた旋律とリズムとを各々含む複数の音データを生成する。これにより、生成された複数の音データの音は、音源ごとに旋律やリズムが定まるので、動画像から調和の取れた音楽が生成（自動作曲）されて出力される。
【００１１】
ここで、広域情報取得手段は、広域的な注目情報としての領域パラメータを取得し、設定手段は、複数の音データのうちの少なくとも一つの音データを対象として、該対象とする音データの音を出力するタイミングを領域パラメータに基づいて設定する。出力タイミングの設定とは、対象とする音データの音を動画像に応じた旋律及びリズムで出力する際、対象とする音データの音の出力を停止する部分又は音を出力する部分を設定することで、対象とする音データの音の出力間隔等を設定することを含む。
【００１２】
変奏手段は、生成された複数の音データの各々の音を出力して音楽を出力する際、対象とする音データの音が設定手段によって設定されたタイミングで出力されるようにする。
【００１３】
これにより、対象とする音データの音を除く各音データの音によって主旋律の音楽が出力されると共に、出力される音楽が対象とする音データの音によって変奏されるので、動画像に応じて生成される音楽のエンターテイメント性を向上できる。
【００１４】
第２の態様の音楽生成装置は、第１の態様の音楽生成装置において、前記音生成手段は、撮像手段によって撮像された動画像及び該動画像の変化から前記複数の音データを生成する。
【００１５】
第２の態様の音楽生成装置では、音生成手段が、撮像手段によって撮像された動画像及び動画像の変化から複数の音データを生成する。これにより、撮像手段によって撮像された動画像及び動画像の変化から音楽を生成できると共に、生成される音楽を対象とする音データの音によって変奏できて、エンターテイメント性が向上された音楽を生成（自動作曲）できる。
【００１６】
第３の態様の音楽生成装置は、第１の態様の音楽生成装置において、移動体に設けられた撮像手段によって該移動体の周囲を撮像して得られた撮影画像を前記動画像として取得する画像取得手段を含み、前記音生成手段は、前記画像取得手段によって取得された前記動画像及び該動画像の変化から前記複数の音データを生成する。
【００１７】
第３の態様の音楽生成装置では、移動体に設けられた撮像手段が撮像した動画像を用いて音楽を生成（作曲）する。これにより、移動体上において撮像した動画像及び動画像の変化から音楽を生成（作曲）できると共に、生成する音楽を領域パラメータに応じて変奏できて、移動体においてエンターテイメント性が向上された音楽を生成できる。
【００１８】
第４の態様の音楽生成装置は、第１の態様から第３の態様の何れか１の音楽生成装置において、前記設定手段は、前記領域パラメータの変化が大きくなるにしたがって前記対象とする音データの音を出力するタイミングが多くなるように設定する。
【００１９】
第４の態様の音楽生成装置では、注目情報の領域パラメータの変化が大きくなるにしたがって対象とする音データの音を出力するタイミングを多くして出力間隔を短くする。これにより、注目情報の領域パラメータの変化を反映したエンターテイメント性の高い音楽を生成できると共に、音楽を聴くことで注目情報の変化を把握できる。
【００２０】
第５の態様の音楽生成装置は、第１の態様から第４の態様の何れか１の音楽生成装置において、前記設定手段は、前記複数の音データのうちの少なくとも二つの音データを前記対象とする音データとし、前記対象とする音データの音の各々を出力するタイミングを前記領域パラメータに基づいて設定する。
【００２１】
第５の態様の音楽生成装置では、少なくとも二つの音データと対象として、対象とする音データの音の出力タイミングを注目情報の領域パラメータに基づいて設定する。これにより、エンターテイメント性が一層向上された音楽を生成できる。
【００２２】
第６の態様の音楽生成装置は、第１の態様から第５の態様の何れか１の音楽生成装置において、前記設定手段は、前記領域パラメータの変化が大きくなるにしたがって前記対象とする音データの数を多くする。
【００２３】
第６の態様の音楽生成装置では、注目情報の領域パラメータの変化が大きくなるにしたがって、音を出力する音データの数を増やすので、エンターテイメント性がより一層向上された音楽を生成できる。
【００２４】
第７の態様の音楽生成装置は、第１の態様から第６の態様の何れか１の音楽生成装置において、前記設定手段は、前記領域パラメータの変化が予め設定した上限値に達した際に、前記対象とする音データの音を前記音源としてのドラムの音に変更する。
【００２５】
第７の態様の音楽生成装置では、注目情報の領域パラメータが予め設定した上限値に達した際に、対象とする音データの音をドラムの音に変更して、ドラムの音を出力する。これにより、生成される音楽に軽快感を加えることができて、エンターテイメント性を向上できる。
【００２６】
本発明の態様の音楽生成プログラムは、コンピュータを、複数の音源の各々から出力する音の各々を表し、かつ動画像に応じた旋律とリズムとを各々含む複数の音データを生成する音生成手段と、広域的な注目情報を領域パラメータとして取得する広域情報取得手段と、前記複数の音データのうちの少なくとも一つの音データを対象として、該対象とする音データの音を出力するタイミングを前記領域パラメータに基づいて設定する設定手段と、生成された前記複数の音データの各々を用いて音を出力することで音楽を出力する際、前記対象とする音データの音が前記設定手段によって設定されたタイミングで出力されるようにする変奏手段と、して機能させることを含む。
【発明の効果】
【００２７】
以上説明したように本発明の態様によれば、動画像に応じて音楽を生成（作曲）する際、生成される音楽を広域的な注目情報を反映させて変奏することで、生成される音楽のエンターテイメント性を向上できる、という効果を有する。
【図面の簡単な説明】
【００２８】
【図１】本実施形態に係る音楽生成装置の概略構成図である。
【図２】音楽生成装置の主要部の機能ブロック図である。
【図３】（Ａ）は、複雑さパラメータ１の取得に適用する撮影画像の概略図、（Ｂ）は、複雑さパラメータ２の取得に適用する撮影画像の概略図、（Ｃ）は、撮影画像を分割する際のコマ番号の配列図である。
【図４】複雑さパラメータ３の生成に適用する速度に対する複雑さパラメータ２の変化を示す線図である。
【図５】複雑さパラメータ４の取得に適用する撮影画像の概略図である。
【図６】重みの決定に適用する複雑さパラメータ１−複雑さパラメータ２の特性図である。
【図７】自動作曲楽器音に対する複雑さパラメータ１、２の各々の重みの特性を示す図表である。
【図８】自動作曲楽器音による音楽生成の流れを示す模式図である。
【図９】自動作曲部を示す機能ブロック図である。
【図１０】ノート信号を得るためのテンポ信号、撮影画像から得られる動きの信号、及びトーンナンバの関係を示す線図である。
【図１１】領域パラメータに株価を適用した場合における時刻に対する領域パラメータの変化を示す線図である。
【図１２】本実施形態に係る音楽生成処理の概略を示す流れ図である。
【発明を実施するための形態】
【００２９】
以下に図面を参照しながら本発明の実施形態を説明する。
本実施形態では、音楽を構成する複数の音源の各々について、動画像に応じた旋律及びリズムを含む音データを生成し、少なくとも一つの音データについて出力するタイミングを設定することで、生成する音楽を変奏する。本実施形態において、音データの生成は、音楽を作曲すること意図し、作曲した音楽を演奏することを意図する。また、本実施形態では、少なくとも一つの音データについての出力タイミングの設定に広域的な注目情報としての領域パラメータを用いる。
【００３０】
図１には、本実施形態に係る音楽生成装置１０の概略構成がブロック図にて示されている。
【００３１】
本実施形態において音楽生成装置１０は、移動体としての図示しない車両に設けられており、車両では、前方が撮像されて、車両の局所的な情報である環境情報が含まれる動画像としての映像（撮影画像）が取得される。音楽生成装置１０は、走行車両の周囲を含む広域に跨る広域的な注目情報を取得し、車両において取得された撮影画像の変化から音楽を生成（作曲）し、かつ生成した音楽を広域的な注目情報に基づいて変奏する。
【００３２】
図１に示すように、音楽生成装置１０は、各種制御及び各種演算を行う処理制御部１２を備えている。処理制御部１２は、ＣＰＵ１２Ａ、ＲＡＭ１２Ｂ、ＲＯＭ１２Ｃ、及び入出力部（Ｉ／Ｏ）１２Ｄを備え、これらがデータバスやコントロールバス等のバス１２Ｅによって接続されたマイクロコンピュータを含んでいる。また、処理制御部１２は、不揮発性記憶媒体としてのハードディスクドライブ（ＨＤＤ）１４を備え、ＨＤＤ１４がバス１２Ｅに接続されている。なお、処理制御部１２には、ＨＤＤ１４に変えて、フラッシュメモリなどのＥＥＰＲＯＭ（書き換え可能な不揮発性メモリ）などのストレージが用いられてもよい。
【００３３】
ＣＰＵ１２Ａは、ＲＡＭ１２Ｂをワークエリアとして使用しながら、ＲＯＭ１２Ｃ及びＨＤＤ１４に記憶されたプログラムを読み出し、読み出したプログラムを実行する。これにより、処理制御部１２では、実行されたプログラムに応じた機能が実現される。
【００３４】
音楽生成装置１０は、画像取得手段を構成する撮像ユニット１６、操作手段としての操作ユニット１８、表示手段としての表示ユニット２０、広域情報取得手段を構成する通信ユニット２２、及び出力手段としての音楽出力ユニット２４等を備えている。撮像ユニット１６、操作ユニット１８、表示ユニット２０、通信ユニット２２及び音楽出力ユニット２４は、処理制御部１２のＩ／Ｏ１２Ｄに接続されている。
【００３５】
撮像ユニット１６には、撮像手段としてのカメラ（図示省略）が用いられており、撮像ユニット１６は、カメラによって車両の前方や側方を撮像する。これにより、処理制御部１２には、車両の走行中の前方及び側方の景色が撮像された映像（撮影画像）が入力される。なお、撮像ユニット１６は、所謂一般的なカメラによる色や階調で表現する画像のみならず、赤外線による温度差を表現する画像や、ソナー（超音波）による対象物までの距離を表現する画像を取得する構成が含まれてもよい。また、撮像ユニット１６に用いるカメラは、少なくとも、車両走行に応じて変化する映像を取得できればよく、音楽生成装置１０の専用であってもよく、運転中の車両前方及び死角領域等をカバーするための既存（車両に備え付け）の車載カメラであってもよい。
【００３６】
操作ユニット１８は、音楽生成装置１０に対する各種の操作に用いる操作スイッチ（図示省略）を備えており、操作ユニット１８は、音楽生成装置１０に対する乗員からの操作を受け付ける。また、表示ユニット２０は、各種の情報の表示に用いるディスプレイ（図示省略）を備えている。なお、表示ユニット２０のディスプレイは、撮像ユニット１６の撮影画像の表示に用いられてもよい。また、音楽生成装置１０は、操作ユニット１８の操作スイッチ機能及び表示ユニット２０のディスプレイ機能を兼ねるタッチ式ディスプレイを備えてもよい。
【００３７】
通信ユニット２２は、無線通信方式を用い、例えば、ＬＡＮや公衆通信回線網（インターネット）等を介して車外の機器との間で通信を行なうためのインターフェース（ネットワークインターフェース）として機能する。処理制御部１２は、通信ユニット２２を介して車外の各種の情報サーバ（図示省略）等に接続し、接続した情報サーバ等から各種の情報を取得する。
【００３８】
なお、車両にＧＰＳ（Global  Positioning  System）機能を備えたナビゲーション装置が設けられている場合、音楽生成装置１０の処理制御部１２（Ｉ／Ｏ１２Ｄ）には、ナビゲーション装置が接続されることが好ましい。これにより、処理制御部１２は、車両（自車両）の位置情報を取得でき、位置情報に関連する情報の取得が可能になる。
【００３９】
音楽出力ユニット２４は、Ａ／Ｄ変換器及び増幅器としてのアンプ（何れも図示省略）を備えており、音楽出力ユニット２４は、処理制御部１２から入力される音楽データ（デジタルデータとしての音データ）に対し、Ａ／Ｄ変換及び信号増幅を行なってスピーカ２６から出力する。これにより、音楽生成装置１０によって生成された音楽が流され（オーディオ出力）、車両の乗員に聴取される。なお、スピーカ２６は、音楽生成装置１０の専用であってもよいし、車両に搭載されたオーディオ機器に付属するスピーカが用いられてもよい。
【００４０】
図２には、本実施形態に係る処理制御部１２の主要部の構成が機能ブロック図にて示されている。
図２に示すように、処理制御部１２には、画像取得手段を構成する画像取得部２８、画像解析部３０及び複雑さパラメータ生成部３２が形成されていると共に、音生成手段を構成する自動作曲部３４が形成されている。
【００４１】
画像取得部２８には、撮像ユニット１６（図１参照）が接続されており、画像取得部２８は、撮像ユニット１６から撮影画像（映像信号）を読み込み、読み込んだ撮影画像を画像解析部３０及び自動作曲部３４に出力する。
【００４２】
音楽生成装置１０では、各々が異なる音源の音を出力するための音データについて、同一の撮影画像に基づいて生成（作曲）しながら、生成した音データの音を出力する（演奏）。
【００４３】
音楽における音（楽音及び非楽音）には、高さ（周波数）、大きさ（音圧レベル）、音色（周波数成分）の三要素があり、音楽には、音の高さが様々に変化しながら進行する旋律（メロディ）、複数の高さの音が重なりあうハーモニー（和声）、音の時間的な長さのリズム（律動）の三要素がある。旋律とリズムとは分離できないことから、音楽を構成する音には、音の高さが一定のリズムを持って変化しながら進行する旋律が含まれる。
【００４４】
音楽生成装置１０には、処理制御部１２のＲＯＭ１２Ｃ（図１参照）に、自動作曲プログラムが記憶されており、ＣＰＵ１２Ａが自動作曲プログラムを実行することで、処理制御部１２において自動作曲部３４の機能が実現される。
【００４５】
自動作曲プログラムには、「ＭＩＤＩ（Musical Instrument Digital Interface）信号変換用のソフトウエア」や、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」が用いられる。また、ＲＯＭ１２Ｃ等には、「ＭＩＤＩ信号変換用のソフトウエア」や、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」も記憶されている。なお、ＭＩＤＩ用ソフトウエアには、汎用のソフトウエアを用いてもよい。また、Ｉ／Ｏ１２Ｄには、ＵＳＢメモリ、ＳＤメモリ等の携帯型不揮発性メモリが図示しないＩ／Ｆを介して接続され、携帯型不揮発性メモリを介して、データの入出力や制御プログラムの取得等が可能であってもよい。
【００４６】
ＭＩＤＩとは、音楽情報をデジタル信号で通信するための国際規格である。ＭＩＤＩ信号とは、ＭＩＤＩ規格の情報であり、標準的なＭＩＤＩファイル形式（ＳＭＦ：Standard MIDI File Format）の情報である。「ＭＩＤＩ信号変換用のソフトウエア」では、音の基本振動数を「ノートナンバ」、音圧レベルを「ベロシティレベル」、音色を「楽器名を表すナンバー」、時間変化の「ノートオン/ノートオフ」を表すデータに各々変換している。また、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」では、例えば、ＭＩＤＩ信号のノートナンバに音源を割り当てると共に、音源に付随する表現に関する各種パラメータを設定、変更する。
【００４７】
自動作曲部３４では、動画像の一例として撮像ユニット１６によって撮像された映像が適用される。自動作曲部３４では、例えば、「ＭＩＤＩ信号変換用のソフトウエア」、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」が実行されることで、撮影画像（映像）から複数の音源の音データを生成（自動作曲）する。
【００４８】
自動作曲部３４は、映像から得られる画像（撮影画像）及び画像の変化から音源ごとの音を出力するための旋律、ハーモニー及びリズムを含む音データを生成する。例えば、自動作曲部３４は、映像信号から得られるＭＩＤＩ信号について、ノートナンバ０〜８７をピアノの８８鍵盤などの音階に割り当てる。また、波形データのある範囲を繰り返し演奏するループ、音源の時間変化を示すエンベロープ、各音源の音量変化の設定、音源の音の鮮明度の変化をカットオフ周波数の設定により行うフィルタの設定、音像定位、音の強弱を表すベロシティ、及び同時に発音させる音（音源）の選択等の各種のパラメータを設定、変更してもよい。
【００４９】
具体的には、自動作曲部３４では、撮影画像をＲＧＢに分解して各色の明るさ（濃度）情報を取得する。また、自動作曲部３４では、各色の明るさ情報に基づいて、各音について音高（周波数）、大きさ（音圧レベル）音色（周波数成分）を調整し、旋律（メロディ）、和声（ハーモニー）、リズム（律動）を調整する。これにより、自動作曲部３４では、対応する音（楽器音）の各々について、同様のリズムとされた旋律の音データが生成される。
【００５０】
本実施形態では、複数の音源の一例として４つの楽器を適用し、自動作曲部３４では、後述するように各楽器の音を出力するための音データとしての複数の自動作曲楽器音３６（３６Ａ〜３６Ｄ）を、都度生成する。本実施形態において、自動作曲楽器音３６Ａ〜３６Ｄの音源（楽器の種類）としては、例えば、ピアノ、ギター、バイオリン、トランペット、ベース、ドラム（又はドラムセット）などが適用される。
【００５１】
一方、画像解析部３０は、取得した画像情報を複雑さパラメータ生成部３２へ出力する。複雑さパラメータ生成部３２は、撮影画像の画像情報から一つ又は複数の複雑さパラメータを生成する。画像解析部３０は、撮影画像をグレースケール化する。グレースケール化は、例えば、２値化処理した白黒データであってもよく、濃度データ（例えば、８ビットの階調データ等）であってもよい。
【００５２】
本実施形態における複雑さパラメータは、車両の周辺環境の変化の度合いを示す局所的情報としての「環境情報」の一例とされている。車両の周辺環境の変化の度合いが大きいほど、車両の周辺環境は複雑であると想定される。なお、複雑さパラメータの生成には、車両のカメラによって撮像された映像に限らず、車両又は車両の周辺において変化する情報が用いられてもよく、例えば、車両の速度情報、周辺の温度情報等の各種の環境情報が用いられてもよい。
【００５３】
ここで、複雑さパラメータ生成部３２おいて生成される複雑さパラメータの一例として、複雑さパラメータ１〜４を説明する。なお、複雑さパラメータ生成部３２は、音楽生成装置１０において適用される複雑さパラメータのみ（例えば、複雑さパラメータ１〜４の少なくとも一つ）を生成すればよい。
【００５４】
図３（Ａ）には、撮像ユニット１６の撮影画像の一例が車両前方の概略図にて示され、図３（Ｂ）には、図３（Ａ）が縦横に複数の領域に分割された概略図にて示され、図３（Ｃ）には、図３（Ｂ）の分割における画像コマがコマ番号の配列図にて示されている。
【００５５】
複雑さパラメータ１は、撮影画像全体の変化の度合いを監視する情報としている。複雑さパラメータ１の生成には、基本処理として生成された白黒データ（グレースケース）を取得し（図３（Ａ）参照）、時間的に前後する画像情報の差（差の絶対値）を演算し（差分演算）、車両の走行に応じて、当該差分演算を数十回（例えば、６０回程度）繰り返したときの平均値を演算する。これにより、複雑さパラメータ１は、車両の周辺環境のうち、カメラの撮影領域の視野内全体の変化を認識可能なパラメータとされている。
【００５６】
複雑さパラメータ２は、画像の左右端部の変化の度合いを重点的に監視する情報としている。左右とは、車両走行方向に対する右側及び左側を指す。複雑さパラメータ２の生成には、基本処理として生成された白黒データ（絶対値）を取得し、取得した白黒データの画像を複数の画像コマに分割する。例えば、図３（Ｂ）及び図３（Ｃ）に示すように、撮影画像を縦９×横５に分割し、分割した各画像コマに対して左上から右下にかけて順に番号（コマNo.）を付与する（図３（Ｃ）参照）。
【００５７】
複雑さパラメータ２の生成には、撮影画像を分割した画像コマの中から左右端の画像コマＮ２１（No.２１）と画像コマＮ２６（No.２６）との差の絶対値、画像コマＮ２５（No.２５）と画像コマＮ３０（No.３０）との差の絶対値が抽出される。そして、画像コマＮ２１と画像コマＮ２６との差の絶対値の平均値、及び画像コマＮ２５と画像コマＮ３０との差の絶対値の平均値を演算し（平均値演算）、車両の走行に応じて、当該平均値演算を数十回（例えば、４０回程度）繰り返したときの平均値が演算される。これにより、車両の周辺環境のうち特に車両の側方の変化を認識できる複雑さパラメータ２が生成される。
【００５８】
複雑さパラメータ３は、車両の近傍における障害物の有無を監視する情報としている。図４には、速度に対する複雑さパラメータの変化の特性曲線の一例が線図にて示されている。なお、本実施形態では、複雑さパラメータ３の生成に複雑さパラメータ２を用いており、特性曲線Ｂは、車両の近傍に障害物がない場合の一例とされ、特性曲線Ｃは、車両の近傍に障害物がある場合の一例とされている。
【００５９】
図４に示すように、複雑さパラメータ３の生成では、複雑さパラメータ２が速度に対して直線的に変化する成分を含んでいると仮定し、複雑さパラメータ２の特性曲線に対して基準線Ａを設定する。基準線Ａは、複雑さパラメータ２において速度に対して直線的に変化する成分を表す。複雑さパラメータ３は、複雑さパラメータ２の特性曲線と基準線Ａとの差分（例えば、図４において基準線Ａと特性曲線Ｃとの間の斜線で示す領域Ｄ参照）とされている。
【００６０】
車両に対する障害物が多い状況には、車両が駐車場の敷地内にある場合、道路が狭くかつ電柱（電信柱）や自動販売機などが道路側に突出されている場合、人通りが多い場合、などが挙げられる。例えば、車両が障害物のない道路を走行している場合、速度に対する複雑さパラメータ２には、基準線Ａを越える要素が無いため、実際の複雑さパラメータ２の特性曲線は、基準線Ａよりも低い特性曲線Ｂとなる。
【００６１】
これに対して、車両が障害物の多い道路を走行している場合、複雑さパラメータ２（特性曲線Ｃ参照）には、基準線Ａを越える領域Ｄが発生する。これにより、複雑さパラメータ３によって車両の近傍における障害物の有無が監視可能になる。
【００６２】
なお、複雑さパラメータ３は、複雑さパラメータ２に対しているのと同様に、複雑さパラメータ１の特性曲線（速度に対する複雑さパラメータ１の変化の特性曲線）について直線的に変化する成分を表す基準線を設定し、複雑さパラメータ１の特性曲線と基準線との差分であってもよい。また、複雑さパラメータ１の特性曲線と基準線との差分と、複雑さパラメータ２の特性曲線と基準線Ａとの差分と、を比較して、差分の大きいほうを複雑さパラメータ３としてもよい。
【００６３】
複雑さパラメータ４は、撮影画像の中央部の変化の度合いを重点的に監視する情報としている。図５には、図３（Ａ）の撮影画像において縦に複数の領域に分割された撮影画像が概略図にて示されている。「中央部」とは、撮影画像を上下方向（車両の高さ方向）に三分割した場合の中央部分としている。
【００６４】
図５に示すように、複雑さパラメータ４の生成には、撮影画像を縦３×横１に分割した際の中間部分の画像が用いられる。すなわち、複雑さパラメータ４の生成には、画像コマＮ１６〜画像コマＮ３０に相当する部分の撮影画像が適用される（図３（Ｂ）、図３（Ｃ）参照）。なお、中央部分の撮影画像としては、画像コマＮ１６〜画像コマＮ３０の領域において、画像コマＮ２１、Ｎ２５、Ｎ２６、Ｎ３０を除いた撮影画像としてもよい。
【００６５】
複雑さパラメータ４の生成では、基本処理として生成された白黒データ（絶対値）を取得し、取得した白黒データの画像から中央部分の画像に対し、時間的に前後する画像情報の差（の絶対値）を演算し（差分演算）、車両の走行に応じて、当該差分演算を数十回（例えば、６０回程度）繰り返したときの平均値が演算される。これにより、車両の周辺環境のうち特に車両前方中央の変化を認識できる複雑さパラメータ４が生成される。
【００６６】
本実施形態における複雑さパラメータは、複雑さパラメータ１〜４に限らず、撮影画像から設定される他のパラメータ（複雑さパラメータ）が適用されてもよい。本実施形態の音楽生成装置１０では、複雑さパラメータ１、２、４を用いる。
【００６７】
図２に示すように、処理制御部１２には、重み決定部３８、重み調整部４０及び出力調整部４２が形成されている。重み決定部３８は、複雑さパラメータ１、２を取得し、複雑さパラメータ１及び複雑さパラメータ２を用いて各音データ（自動作曲楽器音３６Ａ〜３６Ｄ）に対する重みを決定する。また、出力調整部４２は、複雑さパラメータ４を取得して、自動作曲楽器音３６Ａ〜３６Ｄの音（音楽）の出力調整（ゲイン調整）を行なう。
【００６８】
図６には、撮像ユニット１６の撮影画像における制御座標点が、二次元座標系の特性図にて示されている。また、図７には、複雑さパラメータ１、２に対する自動作曲楽器音３６Ａ〜３６Ｄの重みの概略が図表にて示されている。なお、図６では、横軸が複雑さパラメータ１、縦軸が複雑さパラメータ２とされた二次元座標系における撮像ユニット１６で撮像された画像の現在の制御座標点（ｘ，ｙ）が示されている。
【００６９】
図６に示すように、制御座標点（ｘ、ｙ）は、複雑さパラメータ１と複雑さパラメータ２とのバランスで定まる。重み決定部３８では、複雑さパラメータ１、２（パラメータ値）によって定まる制御座標点（ｘ、ｙ）から、自動作曲楽器音３６Ａ〜３６Ｄの各々に対する重みを決定する。
【００７０】
自動作曲楽器音３６Ａ〜３６Ｄの音は、特性図の４隅のそれぞれに位置している。自動作曲楽器音３６Ａ〜３６Ｄに設定される重みａ〜ｄは、複雑さパラメータ１、２によって定まる制御座標点（ｘ、ｙ）から自動作曲楽器音３６Ａ〜３６Ｄの各々までの距離に対応している。
【００７１】
自動作曲楽器音３６Ａは、複雑さパラメータ１が最小、複雑さパラメータ２が最小の位置に配置される（ｘmin，ｙmin）。また、自動作曲楽器音３６Ｂは、複雑さパラメータ１が最小、複雑さパラメータ２が最大の位置に配置され（ｘmin,ｙmax）、自動作曲楽器音３６Ｃは、複雑さパラメータ１が最大、複雑さパラメータ２が最大の位置に配置される（ｘmax,ｙmax）。さらに、自動作曲楽器音３６Ｄは、複雑さパラメータ１が最大、複雑さパラメータ２が最小の位置に配置される（ｘmax,ｙmin）。図７では、重みａ、ｂ、ｃ、ｄについて、複雑さパラメータ１に起因する成分を重みａ１、ｂ１、ｃ１、ｄ１とし、複雑さパラメータ２に起因する成分を重みａ２、ｂ２、ｃ２、ｄ２としている。
【００７２】
図７に示すように、自動作曲楽器音３６Ａに対する重みａの特性は、複雑さパラメータ１が小さいほど重み（重みａ１）が強く、複雑さパラメータ２が小さいほど重み（重みａ２）が強い特性としている。また、自動作曲楽器音３６Ｂに対する重みｂの特性は、複雑さパラメータ１が小さいほど重み（重みｂ１）が強く、複雑さパラメータ２が大きいほど重み（重みｂ２）が強い特性とし、自動作曲楽器音３６Ｃに対する重みｃの特性は、複雑さパラメータ１が大きいほど重み（重みｃ１）が強く、複雑さパラメータ２が大きいほど重み（重みｃ２）が強い特性としている。さらに、自動作曲楽器音３６Ｄに対する重みｄの特性は、複雑さパラメータ１が大きいほど重み（重みｄ１）が強く、複雑さパラメータ２が小さいほど重み（重みｄ２）が強い特性としている。
【００７３】
図２に示すように、重み決定部３８は、重み調整部４０に接続されており、重み決定部３８において決定された重みａ〜ｄ（重みａ１〜ａ４及び重みａ２〜ｄ２）が、重み調整部４０に入力される。また、重み調整部４０には、自動作曲部３４が接続されている。図８には、重み調整部４０から出力調整部４２の間における処理流れの概略が模式図にて示されている。
【００７４】
図８に示すように、重み調整部４０では、自動作曲部３４から出力される自動作曲楽器音（音データ）３６Ａ〜３６Ｄの各々に対し、重みａ〜ｄ（重みａ１〜ｄ１及び重みｂ１〜ｂ４）を用いて、重み付けを行なう。この重み付けでは、自動作曲楽器音３６Ａに対し重みａ１、ｂ１を適用し、自動作曲楽器音３６Ｂに対して重みａ２、ｂ２を適用し、自動作曲楽器音３６Ｃに対し重みａ３、ｂ３を適用し、自動作曲楽器音３６Ｄに対し重みａ４、ｂ４を適用する。
【００７５】
これにより、自動作曲楽器音３６Ａ〜３６Ｄの音は、複雑さパラメータ１及び複雑さパラメータ２に基づいて、出力時の強調度合い（周期、ベロシティ等）が個別に変化されて、撮影画像の変化に合わせってバランスが取られる。この際、例えば、複雑さパラメータ１及び複雑さパラメータ２のそれぞれの値が小さい場合は、自動作曲楽器音３６Ａの音が最も重みが強く、強調される。
【００７６】
出力調整部４２は、複雑さパラメータ生成部３２から複雑さパラメータ４を取得し、各々が重み調整部４０において重み付けされた自動作曲楽器音３６Ａ〜３６Ｄの音に対して、複雑さパラメータ４を用いてゲイン調整を行なう。これにより、出力調整部４２では、音楽全体（自動作曲楽器音３６Ａ〜３６Ｄ）の出力（音量）調整が行なわれる。
【００７７】
複雑さパラメータ４には、撮影画像における中央部分が用いられており、複雑さパラメータ４は、車両の走行速度が高くなるにしたがって大きくなる。出力調整部４２では、例えば、複雑さパラメータ４が大きくなるにしたがって増幅率（ゲイン）が大きくなるように出力調整を行なう。これにより、音楽出力ユニット２４のスピーカ２６から出力される音楽は、撮像ユニット１６の撮影画像及び撮影画像の変化に応じた旋律、ハーモニー及びリズムとされると共に、撮影画像に応じた音量にされる。
【００７８】
一方、図２に示すように、処理制御部１２には、広域情報取得手段を構成する情報取得部４４が形成されている。情報取得部４４では、例えば、通信ユニット２２を介して各種の情報サーバに接続し、接続した情報サーバから広域的な注目情報を取得し、領域パラメータＷを設定する。なお、車両にナビゲーション装置が設けられている場合、情報取得部４４において取得される注目情報としては、自車両の位置に関連付けられた注目情報を適用できる。
【００７９】
本実施形態において領域パラメータＷは、注目情報について、大小関係或いは大小関係の変化を示す数値や物理量などとして認識可能としたものとしており、領域パラメータＷは、注目情報を数値化したもの（領域パラメータ値）であってもよい。注目情報を数値化した領域パラメータＷには、注目情報をマップ化した際の、現在時刻等によって特定される位置（例えば、自車両の位置など）のポテンシャルともいえる。
【００８０】
注目情報を数値化した値の分布（マップ）又は注目情報が取り得る数値範囲において、現在時刻などに関連付けられ情報の位置（例えば、自車両の位置、特定の時刻又は特定の時刻における位置など）をポテンシャルとしてもよい。例えば、注目情報を自車両の位置の標高とした場合、自車両が標高の高い位置に移動することで、領域パラメータＷとしてのポテンシャルが高くなり、ポテンシャルは、車両の走行（自車両の位置の移動）に伴って変化する。
【００８１】
本実施形態において注目情報としての広域的な情報には、撮像ユニット１６の撮影画像から得られる環境情報（局所的情報）とは異なる情報が適用され、広域的な情報には、大局的な情報、全域的な情報などの情報を適用できる。本実施形態における広域的な情報は、時間的に変化するか又は時間的に変化することが予測される情報であり、かつ情報又は情報の変化の数値化（ポテンシャル化）が可能な情報が適用される。数値化が可能な情報には、例えば、天候のように雨、雪、曇り、晴れ及び快晴などに変化する情報であってもよく、この場合、変化する項目ごとに予め数値を割り当てることで、情報の変化がポテンシャルの変化として認識可能となる。
【００８２】
また、広域的な情報における時間的に変化する情報又は時間的に変化することが予測される情報には、車両が走行するのに伴って変化する車両位置（現在位置）に関連付けられた情報（又は情報マップ）が含まれる。さらに、広域的な情報には、車両走行にかかわらず変化するか又は車両走行によって変化すると予測される情報（又は情報マップ）が含まれる。
【００８３】
このような広域的な情報としては、自然情報であってもよく、車両走行に起因して変化する情報であってもよく、地域ごとの自然情報の統計情報であってもよく、株価などの経済的情報であってもよく、地域ごとの社会的情報の統計情報などであてもよい。
【００８４】
広域的な情報として適用できる自然情報としては、上記した天候のみならず、降水量、気圧、気温、及び標高などが挙げられ、自然情報の統計情報としては、降水量の統計値（例えば、年間降水量や月間平均降水量などのマップ）などが挙げられる。また、車両走行に起因して変化する情報としては、ナビゲーション装置から取得できる目的地までの距離情報（目的地までの残りの距離）などが挙げられる。
【００８５】
さらに、広域的な情報としての社会的情報の統計情報としては、車両位置に応じて変化する地域（市町村など）の人口、人口分布（人口密度の分布）、車両の走行経路上における交差点ごとの事故発生数（事故発生回数の分布又は分布のマップ）などが挙げられる。また、広域的な情報としての社会的情報の統計情報としては、農作物の生産量（生産量の分布又は分布のマップ）な工業製品の生産量（生産量の分布又は分布のマップ）などの各種の情報が挙げられる。
【００８６】
また、広域的な情報としての経済的情報としては、例えば、日経平均株価などの予め設定されている複数銘柄の平均株価、特定銘柄の株価、為替レートなどが挙げられ、これらは国内（国内市場など）のみならず海外（海外市場など）が対象とされてもよい。また、広域的な情報は、これらに限らず、各種の人気ランキングなどであってもよく、広域的な情報は、局所的な情報以外の各種の情報を適用できる。
【００８７】
情報取得部４４は、広域的な情報から定めた情報を注目情報として、注目情報についての領域パラメータＷを取得する。注目情報は、予め設定されていてもよく、操作ユニット１８のスイッチ操作によって指定又は入力されてもよい。情報取得部４４では、予め設定された時間間隔で、注目情報を取得して、取得した注目情報を領域パラメータＷとして数値化する。
【００８８】
音楽生成装置１０では、各々が旋律を持つ複数の音（楽器音）の何れか少なくとも一つの音（複数の楽器のうちの少なくとも一つの楽器の音）を対象として、対象とする楽器音（自動作曲楽器音）の出力タイミングを領域パラメータＷに応じて設定する。以下では、一例として、自動作曲楽器音３６Ａ〜３６Ｄのうちから自動作曲楽器音３６Ａを除く自動作曲楽器音３６Ｂ、３６Ｃ、３６Ｄを対象とする楽器音とする。
【００８９】
ここで、自動作曲部３４の機能面を説明する。
自動作曲部３４では、例えば、自動作曲楽器音３６Ａについて、撮影画像の全体の変化からピアノのノート信号を生成し、また、自動作曲楽器音３６Ｂ〜３６Ｄについて、撮影画像における特定の部分の変化からギター、ベース、ドラムなどのノート信号を生成する。
【００９０】
図８に示すように、自動作曲部３４には、設定手段及び変奏手段を構成するテンポ設定部４６が形成されている。テンポ設定部４６は、自動作曲部３４において作曲される音楽（自動作曲楽器音３６Ａ〜３６Ｄ）のリズムの基礎となるテンポ（テンポ信号Ｓｔ）を設定して出力する。
【００９１】
図９には、テンポ設定部４６を含む自動作曲部３４の実装例がブロック図にて示されている。また、図１０には、ノート信号を得るためのテンポ信号、撮影画像から得られる動きの信号、トーンナンバノート信号の関係の概略が線図にて示されている。
【００９２】
図９に示すように、自動作曲部３４では、画像取得部２８から入力される撮影画像について、動き検出処理を行なう。動き検出処理では、撮影画像に対して今のフレームと前のフレームの変化を検出し、検出結果として、撮影画像における変化に応じた信号Ｓを生成する。また、動き検出処理には、例えば、明るさやＲＧＢの量の変化、オブジェクトの大きさや位置の変化などが適用される。これにより、図１０に示すように、時間経過に伴う撮影画像の変化に応じて大きさ（強さ）が変化する信号Ｓが生成される。
【００９３】
また、図９に示すように、自動作曲部３４では、撮影画像上における動き検出処理の対象を自動作曲楽器音３６Ａ〜３６Ｄとの間で異ならせている。例えば、自動作曲楽器音３６Ａについての動き検出処理では、撮影画像の全体の変化が検出される。また、自動作曲楽器音３６Ｂ〜３６Ｄの各々の動き検出処理では、撮影画像において互いに異なる特定の部分（特定のオブジェクトでもよく、特定の領域でもよい）における変化が検出される。これにより、自動作曲部３４では、自動作曲楽器音３６Ａ〜３６Ｄの各々に対する動き検出処理により、自動作曲楽器音３６Ａ〜３６Ｄごとの信号Ｓが生成される。
【００９４】
自動作曲部３４では、自動作曲楽器音３６Ａ〜３６Ｄごとの撮影画像の動き検出結果（信号Ｓ）を用いて音（トーンナンバ）を設定するマッピング処理を行なう。図１０に示すように、マッピング処理では、自動作曲楽器音３６ごとの動き検出結果を示す値（信号Ｓ中における値）を、０〜１２７の何れかの値（図１０におけるトーンナンバ）にマッピングする。図１０では、一例として、信号Ｓの値を線形（直線状）にマッピングするように示している。なお、マッピング処理においては、マッピングする値（トーンナンバの範囲）を、０〜８０等に制限してもよい。また、マッピング処理においては、直線状の線形に限らず曲線状などの線形にマッピングしてもよく、飽和的にマッピングしてもよい。
【００９５】
また、自動作曲部３４では、マッピングされた値（トーンナンバ）についてスケール処理（スケーリング）が行なわれる。スケール処理では、マッピングされた値（トーンナンバ）をペンタトニックスケールやＣメジャースケール等の予めスケールに応じたノートに割り付ける。
【００９６】
自動作曲部３４では、スケール処理によってスケールに応じたノートに割り付けられた信号にテンポ設定部４６により与えられる下記テンポ信号Ｓｔを掛け合わせて、ＭＩＤＩのノート信号を生成する。これにより、自動作曲楽器音３６Ａ〜３６Ｄの各々のＭＩＤＩのノート信号が生成される。
【００９７】
一方、テンポ設定部４６は、ＢＰＭ（Beats  per  minute）発生部４８（ＢＰＭ発生機能）及びタイミングコントロール（タイミングコントロール機能）５０を備えている。ＢＰＭ発生部４８では、予め設定されたテンポ（１分間当たりの拍数）を示す信号を発生する。本実施形態においてＢＰＭ発生部４８は、例えば、１分間に４分音符（拍）を１２０個カウントする速さ（１２０ＢＰＭ）の信号（「１」、「０」の組み合わせの信号において「１」が１拍に相当する信号）を出力する。
【００９８】
タイミングコントロール５０（５０Ａ〜５０Ｄ）は、自動作曲楽器音３６Ａ〜３６Ｄの各々に対応されて設けられており、タイミングコントロール５０Ａ〜５０Ｄの各々は、ＢＰＭ発生部４８にから入力される信号に基づいて、自動作曲楽器音３６Ａ〜３６Ｄに対するテンポ信号を出力する。
【００９９】
自動作曲楽器音３６Ａに対応するタイミングコントロール５０Ａは、テンポ信号Ｓｔを出力する。自動作曲楽器音３６Ａに対応するテンポ信号Ｓｔは、半拍（１／２拍、８分音符が１個に相当）ごとにオン（「１」）となる信号とされている。これにより、図１０に示すように、テンポ信号Ｓｔには、１小節（図１０の点線で示す時間軸において、二点差線による１区画）当たりに８回のオン（「１」、「０」の「１」に相当し、図１０において丸印で示す）が含まれる。
【０１００】
自動作曲部３４では、半拍ごとに自動作曲楽器音３６Ａに対応する信号Ｓの値について線形のマッピング処理を行なうことで、自動作曲楽器音３６ＡについてのＭＩＤＩのノートナンバを得る（図１０の破線参照）。すなわち、自動作曲部３４では、自動作曲楽器音３６Ａについて、テンポ信号Ｓｔによる出力タイミングごとのノートナンバに対してスケール処理が行なわれることで、ノートに割り付けられた信号にテンポ信号Ｓｔを掛け合わせて自動作曲楽器音３６ＡのＭＩＤＩのノート信号が生成される。また、自動作曲部３４では、同様にテンポ信号Ｓｔ１〜Ｓｔ３の各々を掛け合わせて、自動作曲楽器音３６Ｂ〜３６Ｄの各々のＭＩＤＩのノート信号が生成される。
【０１０１】
テンポ設定部４６には、自動作曲楽器音３６Ｂ、３６Ｃの各々に対応してタイミングコントロール５０Ｂ、５０Ｃ、及びＳＷ５２Ｂ、５２Ｃ（スイッチ機能）が形成されている。また、テンポ設定部４６には、自動作曲楽器音３６Ｄに対応してタイミングコントロール５０Ｄ、ランダム（ランダム機能）５４及びＳＷ（スイッチ機能）５２Ｄが形成されている。
【０１０２】
タイミングコントロール５０Ｂは、対応するＳＷ５２Ｂがオンされることで、自動作曲楽器音３６Ｂに対応するテンポ信号Ｓｔ１を出力し、タイミングコントロール５０Ｃは、対応するＳＷ５２Ｃがオンされることで、自動作曲楽器音３６Ｃに対応するテンポ信号Ｓｔ２を出力する。
【０１０３】
また、ランダム５４は、ＢＰＭ発生部４８により発生された信号に基づいてランダム信号（ランダムに「１」となる信号）を生成する。テンポ設定部４６では、自動作曲楽器音３６Ｄに対応するＳＷ５２Ｄがオンされることで、自動作曲楽器音３６Ｄに対応するテンポ信号Ｓｔ３を出力する。この際、テンポ信号Ｓｔ３は、自動作曲楽器音３６Ｄに対するタイミングコントロール５０Ｄが出力する所定のテンポ信号（例えば、テンポ信号Ｓｔ２）に、ランダムにより生成された信号が加えられる。
【０１０４】
これにより、自動作曲部３４では、自動作曲楽器音３６Ｂ〜３６Ｄの各々に対応するＳＷ５２Ｂ〜５２Ｄがオンされることで、テンポ信号Ｓｔ１〜Ｓｔ３が掛け合わせられた自動作曲楽器音３６Ｂ〜３６Ｄの各々のＭＩＤＩのノート信号が出力される。
【０１０５】
図１０に示すように、本実施形態において、テンポ信号Ｓｔ１は、各小節において、最初（１／２拍目）に音が出力される信号となっており、テンポ信号Ｓｔ２は、各小節において、１／２拍目と５／２拍目とに音が出力される信号とされている。このため、テンポ信号Ｓｔ１は、テンポ信号Ｓｔ２に比して、音の出力間隔が長くされている。
【０１０６】
また、テンポ信号Ｓｔ３は、テンポ信号Ｓｔ２にランダムに発生された信号（図１０において白抜きの丸印で示す）が付加された信号となっている。このため、テンポ信号Ｓｔ３は、音の出力される間隔が変化する信号とされており、テンポ信号Ｓｔは、平均するとテンポ信号Ｓｔ２に比して音の出力される間隔が短くなる信号とされている。
【０１０７】
テンポ設定部４６では、情報取得部４４において取得された注目情報の領域パラメータＷが、自動作曲楽器音３６Ｂ〜３６Ｄの各々に対応するＳＷ５２Ｂ〜ＳＷ５２Ｄに入力される。テンポ設定部４６では、注目情報の領域パラメータＷに基づき、自動作曲楽器音３６Ｂ〜３６Ｄの各々のＳＷ５２Ｂ〜ＳＷ５２Ｄが動作される。
【０１０８】
ここで、テンポ設定部４６では、領域パラメータＷが大きくなるにしたがってＳＷ５２Ｂ〜ＳＷ５２Ｄが順に動作されるようになっている。これにより、自動作曲部３４では、領域パラメータＷが大きくなるにしたがって、自動作曲楽器音３６Ａに、自動作曲楽器音３６Ｂ、３６Ｃ、３６Ｄが順に加えられる。
【０１０９】
なお、テンポ設定部４６は、領域パラメータＷが小さくなるにしたがってＳＷ５２Ｂ〜ＳＷ５２Ｄが順に動作されるようにし、領域パラメータＷが大きくなるにしたがって、自動作曲楽器音３６Ｄ、３６Ｃ、３６Ｂの音の出力が順に停止する（音が除かれる）構成でもよい。これにより、例えば、車両が走行する際の目的地までの距離情報を注目情報とした場合、目的地に近づくにしたがって領域パラメータＷが小さくなることで、演奏される楽器の数が増加され、目的地から離れるにしたがって領域パラメータＷが大きくなることで、演奏される楽器の数が減少される。
【０１１０】
図１１には、領域パラメータＷ（注目情報）の一例とする平均株価の変化が線図にて示されている。なお、図１１では、横軸が時刻Ｔ、縦軸が株価（円）とされている。
【０１１１】
テンポ設定部４６には、一例として領域パラメータＷに対して複数段階のしきい値が設定されている。図１１に示すように、ここでは、領域パラメータＷに対して、しきい値ｔｈ０、ｔｈ１、ｔｈ２、ｔｈ３（ｔｈ０＜ｔｈ１＜ｔｈ２＜ｔｈ３）の４段階のしきい値が設定され、しきい値ｔｈ３がしきい値の上限値とされている。
【０１１２】
テンポ設定部４６では、タイミング設定機能がしきい値ｔｈ０〜ｔｈ３を用いて領域パラメータＷの大きさを示すレベル（Level）が判定される。例えば、領域パラメータＷが、しきい値ｔｈ０に満たない場合（Ｗ＜ｔｈ０）、領域パラメータＷのレベルがレベル０に判定される。また、領域パラメータＷが、しきい値ｔｈ０以上、しきい値ｔｈ１未満である場合（ｔｈ０≦Ｗ＜ｔｈ１）、領域パラメータＷのレベルがレベル１に判定され、しきい値ｔｈ１以上、しきい値ｔｈ２未満である場合（ｔｈ１≦Ｗ＜ｔｈ２）、領域パラメータＷのレベルがレベル２と判定される。さらに、領域パラメータＷが、しきい値ｔｈ２以上、しきい値ｔｈ３未満である場合（ｔｈ２≦Ｗ＜ｔｈ２）、領域パラメータＷのレベルがレベル３に判定され、領域パラメータＷがしきい値ｔｈ３以上である場合（ｔｈ３≦Ｗ）、領域パラメータＷのレベルがレベル４と判定される。
【０１１３】
ＳＷ５２Ｂ〜５２Ｄは、領域パラメータＷのレベルがレベル０と判定されると動作が停止され、領域パラメータＷのレベルがレベル１と判定されると、ＳＷ５２Ｂが動作される。また、ＳＷ５２Ｂ〜５２Ｄは、領域パラメータＷのレベルがレベル２と判定されると、ＳＷ５２Ｂ、５２Ｃが動作され、領域パラメータＷのレベルがレベル３と判定されると、ＳＷ５２Ｂ〜ＳＷ５２Ｄが動作される。
【０１１４】
これにより、テンポ設定部４６では、領域パラメータＷがレベル０と判定されると、テンポ信号Ｓｔ１〜Ｓｔ３の出力が停止され、領域パラメータＷがレベル１と判定されると、テンポ信号Ｓｔ１が出力される（テンポ信号Ｓｔ２、Ｓｔ３は停止）。また、テンポ設定部４６では、領域パラメータＷがレベル２と判定されると、テンポ信号Ｓｔ１、Ｓｔ２が出力され、領域パラメータＷがレベル３と判定されると、テンポ信号Ｓｔ１〜Ｓｔ３が出力される。
【０１１５】
自動作曲部３４では、テンポ信号Ｓｔ１〜Ｓｔ３の出力が停止されことで、自動作曲楽器音３６Ａのみが出力され、テンポ信号Ｓｔ１が出力さてテンポ信号Ｓｔ２、Ｓｔ３が停止されることで、自動作曲楽器音３６Ａ及び自動作曲楽器音３６Ｂが出力される。また、自動作曲部３４では、テンポ信号Ｓｔ１、Ｓｔ２が出力されることで、自動作曲楽器音３６Ａ〜３６Ｃが出力され、テンポ信号Ｓｔ１〜Ｓｔ３が出力されることで、自動作曲楽器音３６Ａ〜３６Ｄが出力される。この際、自動作曲楽器音３６Ｂ〜３６Ｄの各々の音の出力間隔は、テンポ信号Ｓｔ１〜Ｓｔ３に応じた出力間隔とされる。
【０１１６】
なお、自動作曲部３４では、領域パラメータＷがレベル４と判定されると、ＳＷ５２Ｂ〜５２Ｄの各々を動作させると共に、例えば、自動作曲楽器音３６Ｄの音源を、ドラムに変更する。これにより、ドラムの音が間欠的に出力されることで、音楽のリズム感を明確にできて軽快感を付加でき、ドラムの音の間隔が狭められることでより軽快感を付加できるようにしている。
【０１１７】
以下に、本実施形態の作用を説明する。
本実施形態に係る音楽生成装置１０は、例えば、イグニッションスイッチ（ＩＧスイッチ）が操作されて、車両が走行可能となると動作する。図１２には、音楽生成装置１０における音楽生成（自動作曲及び自動演奏）処理の概略が流れ図にて示されている。
【０１１８】
図１２のフローチャートは、音楽生成装置１０が動作を開始すると実行され、最初のステップ１００では、音楽生成処理の実行が指示されたか否かを確認する。この際、操作ユニット１８の図示しない操作スイッチが操作されて、動作（自動作曲）が指示されると、ステップ１００において肯定判定されて音楽生成処理を開始する。
【０１１９】
音楽生成処理では、ステップ１０２において撮像ユニット１６の撮影画像を読み込む。これと共に、ステップ１０４では、注目情報を読み込んで、領域パラメータＷを取得する。なお、処理制御部１２では、ステップ１０２とステップ１０４とが並行して繰り返し実行されて、撮影画像の読み込み及び注目情報（領域パラメータＷ）の取得が連続的に行なわれる。また、撮像ユニット１６は、車両のＩＧスイッチがオンされることで撮像を開始し、ＩＧスイッチのオフ操作（車両の走行停止）によって撮像を終了してもよく、音楽生成処理に合わせて撮像開始及び撮像終了してもよい。
【０１２０】
次のステップ１０６では、撮像ユニット１６から取得した撮影画像に基づいて複雑さパラメータ（複雑さパラメータ１、２、４）を生成し、生成した複雑さパラメータ１、２を用いて重みａ〜ｄ（ａ１〜ａ４、ｂ１〜ｂ４）の設定を行なう。また、ステップ１０８では、自動作曲楽器音３６Ａに対するテンポ信号Ｓｔを出力すると共に、自動作曲楽器音３６Ｂ〜３６Ｄの各々に対するテンポ信号Ｓｔ１〜Ｓｔ３を領域パラメータＷから判定されるレベルに応じて出力する。
【０１２１】
さらに、ステップ１１０では、撮影画像に基づいて自動作曲楽器音（３６Ａ〜３６Ｄ）を生成（作曲）する。この際、自動作曲楽器音３６ＡのＭＩＤＩのノート信号が、テンポ信号Ｓｔに応じて生成されると共に、領域パラメータＷのレベルに基づいて出力されるテンポ信号Ｓｔ１〜Ｓｔ３に応じて自動作曲楽器音３６Ｂ〜３６ＤのＭＩＤＩのノート信号が生成される。
【０１２２】
これにより、撮影画像から自動作曲楽器音３６Ａ〜３６Ｄによる演奏（自動演奏）が可能となる。この際、領域パラメータＷに応じてＳＷ５２Ｂ〜５２Ｄが動作されることで、自動作曲楽器音３６Ｂ〜３６Ｄの出力タイミングが調整される。なお、ステップ１０６〜ステップ１１０は、繰り返し実行される。
【０１２３】
次のステップ１１２では、複雑さパラメータ１、２から設定された重みａ〜ｄ（ａ１〜ａ４、ｂ１〜ｂ４）を用い、自動作曲楽器音３６Ａ〜３６Ｄに対する重み付けを行なう。これにより、自動作曲楽器音３６Ａ〜３６Ｄの各々に対してベロシティ調整等が行われる。また、ステップ１１４では、自動作曲楽器音３６Ａ〜３６Ｄの全体に対し、複雑さパラメータ４を用いた出力調整が行なわれる。
【０１２４】
この後、ステップ１１６では、自動作曲楽器音３６Ａ〜３６Ｄの各々の音を増幅して音楽出力ユニット２４に出力する。なお、ステップ１１８では、動作（自動作曲）を終了するか否かが確認され、動作が継続される場合、ステップ１１８で否定判定されて、ステップ１０２に移行することで、自動作曲が繰り返される。これにより、自動作曲楽器音３６Ａ〜３６Ｄの音による音楽がスピーカ２６から出力される。また、動作の終了が指示されると、ステップ１１８において肯定判定されて、動作（自動作曲）が終了する。
【０１２５】
このようにして作曲されて演奏される音楽（自動作曲楽器音３６Ａ〜３６Ｄの音）は、撮影画像に基づいた旋律、ハーモニー及びリズムとされている。このため、演奏される音楽は、撮影画像及び撮影画像の変化に応じた旋律、ハーモニー及びリズムとなる。また、演奏される音楽は、撮影画像に反映される車両の移動（移動速度）に応じて音調（トーン）及び音量（ベロシティ）が変化され、演奏される音楽は、撮影画像から得られる複雑さパラメータによってコントロールされた音楽となる。
【０１２６】
これにより、音楽生成装置１０は、撮影画像に応じてスケール、コード進行、楽器、リズム等を変えた音楽を生成でき、ポップス的、ジャズ的、ロック的、静か、激しいなどの各種表現がなされた音楽を生成できる。
【０１２７】
ここで、音楽生成装置１０では、広域的な注目情報の領域パラメータＷに基づいて、対象とする自動作曲楽器音３６Ｂ〜３６Ｄの出力及び自動作曲楽器音３６Ｂ〜３６Ｄの各々の音の出力間隔が調整される。この際、音楽生成装置１０では、領域パラメータＷがレベル０であれば、自動作曲楽器音３６Ａの音が出力（演奏）される。
【０１２８】
これに対して、領域パラメータＷが大きくなってレベル１と判定されると、自動作曲楽器音３６Ａの音に自動作曲楽器音３６Ｂの音が加えられ、自動作曲楽器音３６Ａの音楽が、自動作曲楽器音３６Ｂの音楽によって変奏される。
【０１２９】
また、領域パラメータＷがレベル２と判定されると、自動作曲楽器音３６Ａ及び自動作曲楽器音３６Ｂの音に自動作曲楽器音３６Ｃの音が加えられ、自動作曲楽器音３６Ａ及び自動作曲楽器音３６Ｂの音楽が、自動作曲楽器音３６Ｃの音楽によって演奏される。
【０１３０】
さらに、領域パラメータＷがさらに大きくなってレベル３と判定されると、自動作曲楽器音３６Ａ〜３６Ｃの音に自動作曲楽器音３６Ｄの音が加えられ、自動作曲楽器音３６Ａ〜自動作曲楽器音３６Ｃの音楽が、自動作曲楽器音３６Ｄの音楽によって変奏される。
【０１３１】
このため、音楽生成装置１０によって演奏される音楽（自動作曲された音楽）は、対象とする音データ（自動作曲楽器音３６Ｂ〜Ｄ）以外の音データ（自動作曲楽器音３６Ａ）の音楽が主旋律とされて演奏されながら、対象とする音データ（自動作曲楽器音３６Ｂ〜３６Ｄ）の音によって変奏された変奏曲となる。これにより、音楽生成装置１０は、エンターテイメント性が向上された音楽を自動作曲して出力（演奏）できる。
【０１３２】
また、自動作曲楽器音３６Ｂの音の出力間隔は、自動作曲楽器音３６Ｃの音の出力間隔に比して長くされ、自動作曲楽器音３６Ｄの音の出力間隔（平均間隔）は、自動作曲楽器音３６Ｃの音の出力間隔に比してさらに短くされている。これにより、音楽生成装置１０では、出力する音楽のエンターテイメント性が一層向上される。しかも、自動作曲楽器音３６Ｄの音の出力間隔は、ランダムに変化されるので、音楽生成装置１０では、出力する音楽のエンターテイメント性がより一層向上される。
【０１３３】
また、領域パラメータＷには、広域的な注目情報が適用されており、領域パラメータＷの変化は、乗員の意図しない変化となっており、自動作曲楽器音３６Ｂ〜３６Ｄの音は、領域パラメータＷの変化に応じて増減される。このため、出力される音楽は、領域パラメータＷの高低（大小）の変化に応じて、演奏に用いられる楽器が増えたり減ったり、或いは、停止したりして変奏される。これにより、音楽生成装置１０では、高いエンターテイメント性を有する音楽を生成（演奏）できる。しかも、音楽生成装置１０では、演奏する音楽（曲）を複雑に変化させることができて、一層高いエンターテイメント性を有する音楽を生成できる。
【０１３４】
さら、注目情報として、乗員が予測し得ない広域的な情報が適用されることで、音楽生成装置１０は、乗員の予測し得ない変化で変奏された音楽を生成でき、エンターテイメント性が一層向上された音楽を自動作曲して出力（演奏）できる。しかも、生成される音楽が立体的に変化していると感じることができるので、音楽生成装置１０は、エンターテイメント性がより一層向上された音楽の演奏が可能になる。
【０１３５】
また、領域パラメータＷには、広域的な各種の注目情報を適用できる。例えば、広域的な注目情報とし、人口分布マップを適用し、領域パラメータＷを、人口分布マップ上の自車両の位置を示すポテンシャルとする。この際、例えば、人口分布が低くポテンシャルの低い地方（所謂田舎）では、音源の数を少なくしたり音の出力間隔を長くしたりし、人口分布が高くポテンシャルの高い都市部（所謂都会）では、音源の数を多くしたり音の出力間隔を短くしてもよい。これにより、音楽生成装置１０では、車両が所謂田舎などを走行している際には、緩やかなリズムに変奏された音楽を出力して、長閑な雰囲気を演出でき、車両が所謂都会に入ると、軽やかなリズムに変奏された音楽を出力して、軽やかな雰囲気を演出できる。
【０１３６】
以上説明した本実施形態では、自動作曲楽器音３６Ｂ〜３６Ｄの間で異なるテンポ信号Ｓｔ１〜Ｓｔ３を用いて音の出力間隔を異ならせたが、自動作曲楽器音３６Ｂ〜３６Ｄは、同様のテンポ信号（例えば、テンポ信号Ｓｔ〜Ｓｔ３の何れか一つ）が用いられてもよい。この際、設定手段は、領域パラメータが大きくなるにしたがって、対象とする音データの音の各々について、領域パラメータの変化に応じて出力間隔が変化するようにしてもよい。
【０１３７】
また、本実施形態では、自動作曲楽器音３６Ｂ〜３６Ｄの音（音データ）を対象として、自動作曲楽器音３６Ｂ〜３６Ｄの音の出力タイミングを、領域パラメータＷに基づいて変更した。しかしながら、対象とする音データは、少なくとも一つの音源の音データであればよい。
【０１３８】
さらに、本実施形態では、一つの注目情報についての領域パラメータＷを用いて、自動作曲楽器音３６Ｂ〜３６Ｄの音の出力タイミングを調整したが、対象とする音データごとに異なる領域パラメータ（注目情報）を設定し、対象の音データごとに異なる領域パラメータを用いて、音の出力間隔が調整されるようにしてもよい。
【０１３９】
また、本実施形態では、移動体として車両を適用したが、移動体は、車両に限らず、飛行機や列車などであってもよく、遊園地などにおける各種の乗り物であってもよい。これにより、移動体によって移動する際の景色等の変化（映像の変化）に応じた音楽の生成が可能となる。
【０１４０】
また、本実施形態では、動画像として移動体から撮像した撮影画像を用いたが、これに限らず、動画像は、例えば、移動体を撮像した撮影画像を用いてもよく、動画像は、時間変化する風景を撮像した映像の再生速度を変えられて（例えば早くされて）もよい。また、動画像は、画像が時間変化するものであればよく、アニメーションなどが適用されてもよい。
【０１４１】
さらに、本実施形態では、複雑さパラメータ１〜４（１、２、４）を用いたが、各音の強調度合いは、複雑さパラメータに限らず、任意に設定したパラメータを用いてもよい。
【符号の説明】
【０１４２】
１０    音楽生成装置
１２    処理制御部
１２Ａ    ＣＰＵ
１６    撮像ユニット（画像取得手段、撮像手段）
３２    複雑さパラメータ設定部
３４    自動作曲部（音生成手段、設定手段、変奏手段）
３６（３６Ａ〜３６Ｄ）    自動作曲楽器音（音データ）
４４    情報取得部（広域情報取得手段）
４６    テンポ設定部（設定手段、変奏手段）
５０（５０Ａ〜５０Ｄ）    タイミングコントロール
５２Ｂ〜５２Ｄ    ＳＷ
【図１】
2020042167.tif 000003
【図２】
2020042167.tif 000004
【図３】
2020042167.tif 000005
【図４】
2020042167.tif 000006
【図５】
2020042167.tif 000007
【図６】
2020042167.tif 000008
【図７】
2020042167.tif 000009
【図８】
2020042167.tif 000010
【図９】
2020042167.tif 000011
【図１０】
2020042167.tif 000012
【図１１】
2020042167.tif 000013
【図１２】
2020042167.tif 000014