(57)【要約】【課題】規則性の中にランダム性がある音楽を生成することができる。【解決手段】動画像生成部５０によって、仮想空間内でオブジェクトを、予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す動画像を生成する。動き制御部５２によって、環境検出センサ２０の出力信号に基づいて、動画像における、オブジェクトの移動又は大きさを変化させるように動画像生成部５０を制御する。動き検出部５４によって、動画像から動き検出を行う。信号処理部５６によって、動き検出の結果に応じたノート信号を生成する。音楽情報生成部４６によって、生成されたノート信号を用いて音楽を生成する。【選択図】図５
2019049609.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間内で所定の３次元形状のオブジェクトを、予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す各時刻の画像を生成する画像生成部と、
車両の外部環境情報又は車両情報に基づいて、生成する各時刻の画像における、前記オブジェクトの移動又は大きさを変化させるように前記画像生成部を制御するオブジェクト制御部と、
前記画像生成部によって生成した各時刻の画像から、各時刻毎に、動き検出を行う動き検出部と、
各時刻毎に、前記動き検出の結果に応じたノート信号を生成する信号処理部と、
各時刻毎に生成されたノート信号を用いて音楽を生成する音楽生成部と、
を含む音楽生成装置。
【請求項２】
前記オブジェクトの３次元形状として、角度によって形状が異なるように見える形状が定められる請求項１記載の音楽生成装置。
【請求項３】
前記画像生成部は、複数のオブジェクトを用いて、前記オブジェクト毎に、前記オブジェクトについて予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す各時刻の画像を生成する請求項１又は２記載の音楽生成装置。
【請求項４】
前記オブジェクト制御部は、前記オブジェクトの移動を変化させる際に、前記オブジェクトの移動速度、又は移動経路を含む平面の角度を変化させる請求項１〜請求項３の何れか１項記載の音楽生成装置。
【請求項５】
コンピュータを、
仮想空間内で所定の３次元形状のオブジェクトを、予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す各時刻の画像を生成する画像生成部、
車両の外部環境情報又は車両情報に基づいて、生成する各時刻の画像における、前記オブジェクトの移動又は大きさを変化させるように前記画像生成部を制御するオブジェクト制御部、
前記画像生成部によって生成した各時刻の画像から、各時刻毎に、動き検出を行う動き検出部、
各時刻毎に、前記動き検出の結果に応じたノート信号を生成する信号処理部、及び
各時刻毎に生成されたノート信号を用いて音楽を生成する音楽生成部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽を生成する音楽生成装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、ユーザーがペンで色の絵を描き、その後、色の絵をペンでなぞると、色に割りあてられた音声を出力する音楽演奏システムが知られている（特許文献１）。
【０００３】
また、音楽のリズムないしテンポに同期して、ボール図形が現れ、そして、ボールがパドルにあたったことに合わせて、音が出るボールパドルゲーム装置が知られている（特許文献２）。
【０００４】
また、カメラ映像からＲＧＢの明るさを検出し、そしてこの明るさに対して閾値を設定し、マッピングにより作ったタイミングで信号音をならす音楽生成装置が知られている（特許文献３）。この音楽生成装置では、環境に対応した信号に特別な規則性はないので、信号音をならすタイミングでノート信号は大きかったり、小さかったりする。このため、ドン、ドン、ドンとかにはならず、メロディ的になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第3224492号公報
【特許文献２】特許第4039776号公報
【特許文献３】特開2017-102863号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１、２に記載の技術では、図形と音との関係に着目しているが、図形の移動を基に音を作っているわけではない。
【０００７】
また、上記特許文献３に記載の技術では、カメラ映像から音を作っている。クルマに取り付けたカメラからの映像は、周囲環境に依存しており、規則性はほとんどないため、音楽に規則性を与えることができない。また、音楽に規則性が与えられるとしても、一定の規則だけでは飽きてしまうため、変化も与える工夫が必要となる。
【０００８】
本発明は上記事情に鑑みなされたものであり、本発明の目的は、規則性の中にランダム性がある音楽を生成することができる音楽生成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明に係る音楽生成装置は、仮想空間内で所定の３次元形状のオブジェクトを、予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す各時刻の画像を生成する画像生成部と、車両の外部環境情報又は車両情報に基づいて、生成する各時刻の画像における、前記オブジェクトの移動又は大きさを変化させるように前記画像生成部を制御するオブジェクト制御部と、前記画像生成部によって生成した各時刻の画像から、各時刻毎に、動き検出を行う動き検出部と、各時刻毎に、前記動き検出の結果に応じたノート信号を生成する信号処理部と、各時刻毎に生成されたノート信号を用いて音楽を生成する音楽生成部と、を含んで構成されている。
【００１０】
本発明に係るプログラムは、コンピュータを、仮想空間内で所定の３次元形状のオブジェクトを、予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す各時刻の画像を生成する画像生成部、車両の外部環境情報又は車両情報に基づいて、生成する各時刻の画像における、前記オブジェクトの移動又は大きさを変化させるように前記画像生成部を制御するオブジェクト制御部、前記画像生成部によって生成した各時刻の画像から、各時刻毎に、動き検出を行う動き検出部、各時刻毎に、前記動き検出の結果に応じたノート信号を生成する信号処理部、及び各時刻毎に生成されたノート信号を用いて音楽を生成する音楽生成部として機能させるためのプログラムである。
【００１１】
本発明によれば、画像生成部によって、仮想空間内で所定の３次元形状のオブジェクトを、予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す各時刻の画像を生成する。また、オブジェクト制御部によって、車両の外部環境情報又は車両情報に基づいて、生成する各時刻の画像における、前記オブジェクトの移動又は大きさを変化させるように前記画像生成部を制御する。
【００１２】
そして、動き検出部によって、前記画像生成部によって生成した各時刻の画像から、各時刻毎に、動き検出を行う。信号処理部によって、各時刻毎に、前記動き検出の結果に応じたノート信号を生成する。そして、音楽生成部によって、各時刻毎に生成されたノート信号を用いて音楽を生成する。
【００１３】
このように、仮想空間内で所定の３次元形状のオブジェクトを、予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す各時刻の画像を生成する際に、車両の外部環境情報又は車両情報に基づいて、生成する各時刻の画像における、前記オブジェクトの移動又は大きさを変化させ、各時刻の画像から動き検出を行った結果に応じたノート信号を生成することにより、規則性の中にランダム性がある音楽を生成することができる。
【００１４】
また、本発明に係るオブジェクトの３次元形状として、角度によって形状が異なるように見える形状が定められる。これにより、変化のある音楽を生成することができる。
【００１５】
また、本発明に係る画像生成部は、複数のオブジェクトを用いて、前記オブジェクト毎に、前記オブジェクトについて予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す各時刻の画像を生成することができる。これにより、変化のある音楽を生成することができる。
【００１６】
また、前記オブジェクトの移動を変化させることとは、前記オブジェクトの移動速度を変化させること、又は移動経路を含む平面の角度を変化させること（移動平面の回転）である。
【発明の効果】
【００１７】
本発明の音楽生成装置及びプログラムによれば、仮想空間内で所定の３次元形状のオブジェクトを、予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す各時刻の画像を生成する際に、車両の外部環境情報又は車両情報に基づいて、生成する各時刻の画像における、前記オブジェクトの移動又は大きさを変化させ、各時刻の画像から動き検出を行った結果に応じたノート信号を生成することにより、規則性の中にランダム性がある音楽を生成することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施の形態に係る音楽生成装置の全体構成の一例を示すブロック図である。
【図２】環境検出センサの構成の一例を示すブロック図である。
【図３】音楽出力部の構成の一例を示すブロック図である。
【図４】音楽情報生成部のハードウエア構成の一例を示す図である。
【図５】音楽情報生成部の詳細構成の一例を示すブロック図である。
【図６】オブジェクトの一例を示す図である。
【図７】オブジェクトの移動経路の一例を示す図である。
【図８】オブジェクトの移動経路の一例を示す図である。
【図９】オブジェクトの移動経路を含む平面の一例を示す図である。
【図１０】オブジェクトの移動経路を含む平面の一例を示す図である。
【図１１】信号処理部５６の実装例を示す図である。
【図１２】信号処理部４４の実装例を示す図である。
【図１３】「オブジェクト移動音楽生成処理」の手順の一例を示すフローチャートである。
【図１４】「自動作曲処理」の手順の他の一例を示すフローチャートである。
【図１５】複数のオブジェクトの一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
【００２０】
＜第１の実施の形態＞
＜音楽生成装置＞
（全体構成）
まず、本発明の第１の実施の形態に係る音楽生成装置の全体構成について説明する。
【００２１】
図１は本発明の実施の形態に係る音楽生成装置１０の全体構成の一例を示すブロック図である。本実施の形態に係る音楽生成装置１０は、車両の外部環境に応じた音楽を生成して再生する音楽生成装置である。図１に示すように、音楽生成装置１０は、速度センサ１８、環境検出センサ２０、音楽情報生成部３０、及び音楽出力部６０を備えている。速度センサ１８、環境検出センサ２０の各々は、音楽情報生成部３０に電気的に接続されており、音楽情報生成部３０に出力信号を出力する。また、音楽情報生成部３０は、音楽出力部６０に電気的に接続されており、音楽出力部６０に音楽情報を出力する。
【００２２】
速度センサ１８は、車両の速度に応じた信号を出力するセンサである。
【００２３】
環境検出センサ２０は、車両の外部環境の状況に応じた信号を出力するセンサである。音楽情報生成部３０は、速度センサ１８の出力信号、環境検出センサ２０の出力信号に基づいて音楽情報を生成して、音楽出力部６０に出力する。音楽出力部６０は、入力された音楽情報に基づいて音楽を演奏する。なお、音楽情報生成部３０の詳細な構成については後述する。
【００２４】
音楽には、メロディ（旋律）、ハーモニー（和声）、リズム（律動）の三要素がある。また、音には、高さ（周波数）、大きさ（音圧レベル）、音色（周波数成分）の三要素がある。本実施の形態における「曲」とは、音楽の三要素のうち、「音」の高さが時間と共に変化するメロディと、「音」の時間的な長さが一定の規律で変化するリズムとを、少なくとも含むものである。
【００２５】
なお、図１に示す例では、１個の環境検出センサ２０を備える例について説明したが、センサの個数は１個に限定されるものではない。複数の環境検出センサを備えていてもよい。
【００２６】
（環境検出センサ２０）
次に、環境検出センサ２０の概略構成について説明する
【００２７】
図２は環境検出センサ２０の構成の一例を示すブロック図である。図２に示すように、環境検出センサ２０は、検出部２２、Ａ/Ｄ変換部２４、処理部２６、及び送信部２８を備えている。Ａ/Ｄ変換部２４、処理部２６、及び送信部２８は、検出部２２側から記載した順序で電気的に接続されている。検出部２２は、前方を撮像した前方画像を表す画像信号等のアナログ信号をＡ/Ｄ変換部２４に出力する。なお、前方を撮像した前方画像が、外部環境情報の一例である。
【００２８】
Ａ/Ｄ変換部２４は、入力されたアナログ信号をデジタル信号に変換して、処理部２６に出力する。処理部２６は、入力されたデジタル信号に対して増幅処理やフィルタリング処理等を行い、波形整形されたデジタル信号を送信部２８に出力する。送信部２８は、入力されたデジタル信号を、音楽情報生成部３０に送信する。即ち、波形整形されたデジタル信号を、環境検出センサ２０の出力信号として、音楽情報生成部３０に出力する。
【００２９】
（音楽出力部６０）
次に、音楽出力部６０の構成について説明する。
【００３０】
図３は音楽出力部６０の構成の一例を示すブロック図である。図３に示すように、音楽出力部６０は、Ｄ/Ａ変換部６２、増幅部６４、及びスピーカ６６を備えている。Ｄ/Ａ変換部６２、増幅部６４、及びスピーカ６６は、音楽情報の入力側から記載した順序で電気的に接続されている。
【００３１】
音楽情報生成部３０は、生成した音楽を表す音楽情報を、デジタル信号として音楽出力部６０に出力する。入力されたデジタル信号は、Ｄ/Ａ変換部６２によりアナログ信号に変換され、増幅部６４により増幅されて、スピーカ６６に出力される。スピーカ６６は、入力されたアナログ信号を応じて音を発生させる。これにより、音楽出力部６０では、入力された音楽情報に基づいて、車両の外部環境に応じた音楽が演奏される。
【００３２】
（音楽情報生成部３０）
次に、音楽情報生成部３０について説明する。
【００３３】
図４は音楽情報生成部３０のハードウエア構成の一例を示す図である。図４に示すように、音楽情報生成部３０は、各種制御及び各種演算を行うコンピュータとして構成されている。即ち、音楽情報生成部３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性メモリ３０Ｄ、及び入出力インターフェース（Ｉ／Ｏ）３０Ｅを備えている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性メモリ３０Ｄ、及びＩ／Ｏ３０Ｅの各々は、バス３０Ｆを介して接続されている。
【００３４】
本実施の形態では、ＲＯＭ３０Ｂには、後述する「オブジェクト移動音楽生成処理」、「自動作曲処理」を実行するための制御プログラムが記憶されている。また、「ＭＩＤＩ信号変換用のソフトウエア」や、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」も、ＲＯＭ３０Ｂに記憶されている。これらのＭＩＤＩ用ソフトウエアとして、汎用のソフトウエアを用いてもよい。ＣＰＵ３０Ａは、ＲＯＭ３０Ｂに記憶されたプログラムを読み出し、ＲＡＭ３０Ｃをワークエリアとして使用してプログラムを実行する。なお、ここでは、ソフトウエアはプログラムと同義である。
【００３５】
ＭＩＤＩ（Musical Instrument Digital Interface）とは、音楽情報をデジタル信号で通信するための国際規格である。ＭＩＤＩ信号とは、ＭＩＤＩ規格の情報であり、標準的なＭＩＤＩファイル形式（ＳＭＦ：Standard MIDI File Format）の情報である。「ＭＩＤＩ信号変換用のソフトウエア」では、音の基本振動数を「ノートナンバー」、音圧レベルを「ベロシティレベル」、音色を「楽器名を表すナンバー」、時間変化を「ノートオン/ノートオフ」を表すデータに各々変換している。
【００３６】
また、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」では、ＭＩＤＩ信号のノートナンバーに音源を割り当てると共に、音源に付随する表現に関する各種パラメータを設定、変更する。例えば、環境検出センサである画像センサからの出力信号から得られたＭＩＤＩ信号について、ノートナンバー０〜８７をピアノの８８鍵盤の音階に割り当ててもよい。また、波形データのある範囲を繰り返し再生するループ、音源の時間変化を示すエンベロープ、各音源の音量変化の設定、音の鮮明度の変化をカットオフ周波数の設定により行うフィルタの設定、音像定位、音の強弱を表すベロシティ、及び同時に発音させる音源の選択等、各種のパラメータを設定、変更してもよい。
【００３７】
音楽情報生成部３０には、Ｉ／Ｏ３０Ｅを介して、上記の速度センサ１８、環境検出センサ２０や音楽出力部６０に加えて、搭乗者等の操作を受け付ける操作部３２、搭乗者に各種情報を表示する表示部３４、及び通信回線を介して外部装置と通信を行うためのインターフェースである通信部３６の各部が接続されている。音楽情報生成部３０は、環境検出センサ２０から出力信号を受け取り、音楽出力部６０に音楽情報を出力する。また、ＣＰＵ３０Ａは、音楽出力部６０、操作部３２、表示部３４、及び通信部３６の各部を制御する。なお、情報の授受は通信部３６を介して行うこともできる。
【００３８】
なお、音楽情報生成部３０には、各種ドライブが接続されていてもよい。各種ドライブは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な可搬性の記録媒体からデータを読み込んだり、記録媒体に対してデータを書き込んだりする装置である。各種ドライブを備える場合には、可搬性の記録媒体に制御プログラムを記録しておいて、これを対応するドライブで読み込んで実行してもよい。
【００３９】
次に、音楽情報生成部３０を機能面から説明する。
【００４０】
図５は音楽情報生成部３０の構成の一例を示す機能ブロック図である。図５に示すように、音楽情報生成部３０は、メモリ４０、信号処理部４４、音楽情報生成部４６、音楽情報合成部４８、動画像生成部５０、動き制御部５２、動き検出部５４、及び信号処理部５６を備えている。なお、動画像生成部５０が、画像生成部の一例であり、動き制御部５２が、オブジェクト制御部の一例であり、音楽情報生成部４６及び音楽情報合成部４８が、音楽生成部の一例である。
【００４１】
速度センサ１８及び環境検出センサ２０からはデジタルの出力信号が出力されている。音楽情報生成部３０は、予め定めた周波数（例えば、３０Ｈｚ〜６０Ｈｚ）でサンプリングを行い、速度センサ１８及び環境検出センサ２０からの出力信号を取得する。メモリ４０は、サンプリングした出力信号を一時的に保持する。デジタルの出力信号は、速度センサ１８の出力電圧を時間ごとにデジタル値で表したもの、及び環境検出センサ２０の画像データをデジタルデータで表したものである。
【００４２】
また、メモリ４０は、環境検出センサ２０からの出力信号を、信号処理部４４に出力する。また、メモリ４０は、環境検出センサ２０からの出力信号及び速度センサ１８からの出力信号を、動き制御部５２に出力する。メモリ４０は、速度センサ１８及び環境検出センサ２０からの出力信号を、取得した順序で各部に出力する。
【００４３】
信号処理部４４は、環境検出センサ２０からの出力信号をＭＩＤＩのノート信号に変換する。そして、信号処理部４４は、得られたＭＩＤＩのノート信号を、音楽情報生成部４６に出力する。音楽情報生成部４６は、ＭＩＤＩのノート信号を受け取ると、ＭＩＤＩのノート信号から音楽情報を生成する。
【００４４】
ここで、信号処理部４４は、環境検出センサ２０からの出力信号から、ＭＩＤＩのノート信号を各々生成する。音楽情報生成部４６は、信号処理部４４により生成された各ＭＩＤＩのノート信号、及び後述する信号処理部５６により生成されたＭＩＤＩのノート信号から音楽情報を各々生成する。
【００４５】
音楽情報生成部４６は、音楽情報の各々を、音楽情報合成部４８に出力する。音楽情報合成部４８は、音楽情報の各々を合成し、車両の外部環境に応じた音楽を表す音楽情報を生成する。そして、音楽情報合成部４８は、得られた音楽情報を音楽出力部６０に出力する。
【００４６】
本実施の形態では、環境検出センサ２０の出力信号に基づいて曲を表す音楽情報を生成し、生成した動画像に基づいて曲を表す音楽情報を生成し、曲を表す音楽情報を合成して、車両の外部環境に応じた音楽を表す音楽情報を生成する。
【００４７】
環境検出センサ２０としては、カメラ等の画像センサ、光センサ、放射温度計等の温度センサ、ＧＰＳを含むカーナビゲーション・システム等の位置センサなどがある。例えば、ＭＩＤＩ信号変換時に、曲を表す音楽情報を生成するために、画像センサにはハープ、光センサには尺八、温度センサにはピアノなどの楽器音源を割り当ててもよい。
【００４８】
次に、生成した動画像を用いて音楽を生成する原理について説明する。
【００４９】
まず、上記特許文献３のような従来技術では、外部を測定するカメラからノート信号を作るので、音楽の曲調（リズム）を変えたいと思っても、変えることができない。スケールを変えて曲調を変化させることができるだけである。従って、リズムやテンポを変える方法が必要である。
【００５０】
そこで、本実施の形態では、特定の動きを基本に持つオブジェクトを動かした様子を表す動画像を生成し、生成した動画像に対して動き検出（今のフレームと前のフレームの変化）を行う。また、外部環境に応じてオブジェクトの動きの規則を変えることで、規則性の中に変化をもったノート信号を作りだす。これにより、規則性の高い音の作り方を用いると共に、曲調（リズム）を変えることができる。
【００５１】
ここで、オブジェクトの動きの規則に変化を与えるために用いるのが、環境パラメータとCAN（Controller Area Network）情報であり、環境パラメータは、カメラ映像の動き検出、周囲環境の複雑さを示す複雑さパラメータ、又はRGBの値である。また、CAN情報は速度や操舵角、アクセル開度、ブレーキの踏込値等である。他のセンサ値を使うこともできる。
【００５２】
また、利用するオブジェクトの形状と規則と動きについて説明する。
【００５３】
オブジェクト７０の形状は、見る方向によって形状が異なるものが好ましい。例えば、円柱（図６参照）とかトーラス（図９、図１０参照）とか、上から見た図と横から見た図が変わる形状が望ましい。これは、後述するように、環境パラメータやCAN情報でオブジェクトの大きさと動きに変化を与える際に、オブジェクトの移動経路を有する面の角度が変わることにより、違った形状に見えるようにするためである。これにより、動き検出の値が変わることになる。一方、球の形状であれば、この変化に対して、動き検出の値はいつも同じになり、変化しなくなってしまう。本実施の形態では、これを防ぐために、見る方向によって形状が異なるオブジェクトを用いる。
【００５４】
また、オブジェクトの移動経路の設定について説明する。
【００５５】
オブジェクトの基本となる動きを定めるために、閉じた移動経路を設定する。オブジェクトはこの移動経路の上に沿って繰り返し動く。例えば図７、図８がその移動経路である。
【００５６】
もちろん移動経路は任意に設定することができる。また、この移動経路に移動時間を設定する。例えば、図７、図８の地点（１）から地点（２）、地点（２）から地点（３）、地点（３）から地点（４）、地点（４）から地点（１）に対して、それぞれ、移動時間として、１ｓ、２ｓ、１ｓ、２ｓを設定する。オブジェクトはこれに対応して移動する。そして、移動に伴って動き検出を行い、動き検出の結果からノート信号を生成する。
【００５７】
次にこの規則性に対してランダムさを入れていく方法について説明する。
【００５８】
まず、カメラ映像全体から動き検出を行い、動き検出の値を0.1〜3.0等にスケーリングする。そしてこの値を移動時間に掛けることにより、移動時間を変更する。例えば、地点（１）から地点（２）に対する移動時間が１ｓである場合に、動き検出の値をスケーリングした値0.2や2.0等の値を、移動時間に掛け算する。
【００５９】
これにより、カメラ映像全体の変化が小さい場合は、オブジェクトはゆっくり動き、カメラ映像全体の変化が激しい場合は速く動くことになる。これで音がゆっくりとなったり、速くなったりする。またトーン信号もゆっくりの場合は小さく（低い音）、速いと大きく（高い音）なる。
【００６０】
また、オブジェクトのサイズの変更は複雑さパラメータ１を使って行う。複雑さパラメータ１は、カメラ画像全体を白黒化して、エッジ検出し、現在のフレームと後のフレームとの差の絶対値を60回移動平均したものである。複雑さパラメータ１の値が大きいほど、オブジェクトが大きくなるように変更する。オブジェクトを大きくすると、現在のフレームと次のフレームとの差は大きくなる。この場合、例えば、差の大きさに応じて、高いノート信号になる。
【００６１】
図９、図１０は、オブジェクトが移動する移動経路を含む平面を回転させるものである。これには、複雑さパラメータ１や２、RGBの値（明るさ）をスケーリングしたものを使って、移動経路を含む平面を回転させる。移動経路を含む平面が回転すると、オブジェクトの形状は大きく変わり、これにともないノート信号も大きく変わることになる。複雑さパラメータ２は、カメラ画像の側部における複雑さの値である。
【００６２】
以上説明した原理に従って、本実施の形態に係る動画像生成部５０は、まず、オブジェクトの立体形状と、移動経路の初期値と、移動速度の初期値とを設定して、仮想空間内を、予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す動画像を生成する。
【００６３】
動き制御部５２は、環境検出センサ２０の出力信号から得られる動き検出の値、複雑さパラメータ、及びＲＧＢの値に基づいて、生成する動画像における、オブジェクトの移動速度、移動経路、及び大きさを変化させるように動画像生成部５０を制御する。
【００６４】
動き検出部５４は、動画像生成部５０によって生成した動画像から、各時刻毎に、動き検出を行って、今のフレームと前のフレームの変化を求める。
【００６５】
信号処理部５６は、各時刻毎に、動き検出の結果に応じたノート信号を生成し、音楽情報生成部４６へ出力する。
【００６６】
次に、信号処理部５６が音を生成する方法の具体例について説明する。
【００６７】
図１１に示すように、動き検出部５４の検出結果を用いて音を生成させる場合、動き検出部５４の検出結果を示す値を、０〜１２７の何れかの値にマッピングする。なお、０〜８０等に制限してもよい。また、線形にマッピングしてもよし、飽和的にマッピングしてもよい。マッピングされた値を、ペンタトニックスケールやＣメジャースケール等の予め定められたスケールに応じたノートに割り付け、テンポ設定により与えられた信号に応じて、ＭＩＤＩのノート信号を生成する。例えば、自動作曲の一部の楽器である、ベースやドラムのノート信号を生成する。
【００６８】
次に、信号処理部４４が音を生成する方法の具体例について説明する。
【００６９】
図１２に示すように、まず、環境検出センサ２０の出力信号であるカメラ映像全体に対する動き検出を行い、動き検出の結果を示す値を、０〜１２７の何れかの値にマッピングする。マッピングされた値を、ペンタトニックスケールやＣメジャースケール等の予め定められたスケールに応じたノートに割り付け、テンポ設定により与えられた信号に応じて、ＭＩＤＩのノート信号を生成する。例えば、ピアノのノート信号を生成する。
【００７０】
また、カメラ映像の特定の部分に対する動き検出を行い、動き検出の結果を示す値を、０〜１２７の何れかの値にマッピングする。マッピングされた値を、ペンタトニックスケールやＣメジャースケール等の予め定められたスケールに応じたノートに割り付け、テンポ設定により与えられた信号に応じて、ＭＩＤＩのノート信号を生成する。例えば、ベースのノート信号を生成する。
【００７１】
＜オブジェクト移動音楽生成処理＞
次に、音楽情報生成部３０のＣＰＵ３０Ａにより実行される「オブジェクト移動音楽生成処理」について説明する。「オブジェクト移動音楽生成処理」は、操作部３２を介して搭乗者からの開始指示があると開始される。図１３は「オブジェクト移動音楽生成処理」の手順の一例を示すフローチャートである。
【００７２】
まず、ステップＳ１００で、動画像生成部５０が、オブジェクトの立体形状と、移動経路を含む平面の角度の初期値と、移動速度の初期値とを設定する。そして、ステップＳ１０２において、動画像生成部５０が、仮想空間内の予め定めた閉じた移動経路に沿ってオブジェクトを繰り返し移動させたときの様子を表す動画像を生成する処理を開始する。
【００７３】
ステップＳ１０４では、動き検出部５４が、生成した動画像に対して動き検出を行って、今のフレームと前のフレームの変化を求める。
【００７４】
ステップＳ１０６では、信号処理部５６が、動き検出の結果に応じたノート信号を生成し、音楽情報生成部４６へ出力する。
【００７５】
そして、ステップＳ１０８では、環境検出センサ２０からの出力信号を取得（サンプリング）したか否かを判定する。環境検出センサ２０からの出力信号を取得した場合は、ステップＳ１１０に進み、環境検出センサ２０からの出力信号を取得していない場合は、ステップＳ１１２に進む。
【００７６】
ステップＳ１１０では、動き制御部５２が、環境検出センサ２０の出力信号に基づいて、生成する動画像における、オブジェクトの移動速度、移動経路、又は大きさを変化させるように動画像生成部５０を制御する。
【００７７】
そして、ステップＳ１１２において、搭乗者からの停止指示があったか否かを判定する。停止指示があればルーチンを終了し、停止指示が無ければステップＳ１０４に戻って、ステップＳ１０４からステップＳ１１０までの手順を繰り返す。
【００７８】
＜自動作曲処理＞
次に、音楽情報生成部３０のＣＰＵ３０Ａにより実行される「自動作曲処理」について説明する。「自動作曲処理」は、操作部３２を介して搭乗者からの開始指示があると開始される。図１４は「自動作曲処理」の手順の一例を示すフローチャートである。
【００７９】
まず、ステップＳ１２０で、環境検出センサ２０からの出力信号を取得（サンプリング）したか否かを判定する。出力信号を取得した場合は、ステップＳ１２４に進み、出力信号を取得していない場合は、ステップＳ１２０に戻り判定を繰り返す。
【００８０】
ステップＳ１２４では、信号処理部４４が、環境検出センサ２０からの出力信号であるカメラ映像の全体及び特定の部分に対して動き検出を行う。
【００８１】
ステップＳ１２６では、信号処理部４４が、動き検出の結果に基づいて、ノート信号を生成する。
【００８２】
次に、ステップＳ１２８で、オブジェクト移動音楽生成処理の上記ステップＳ１０６で生成されたノート信号、及び上記ステップＳ１２６で生成されたノート信号の各々から音楽情報を生成する。
【００８３】
次に、ステップＳ１３０で、上記ステップＳ１２８で生成された各音楽情報を合成して、音楽出力部６０に出力する。次に、ステップＳ１３２で、搭乗者からの停止指示があったか否かを判定する。停止指示があればルーチンを終了し、停止指示が無ければステップＳ１２０に戻って、ステップＳ１２０からステップＳ１３０までの手順を繰り返す。
【００８４】
以上説明したように、第１の実施の形態に係る音楽生成装置によれば、仮想空間内で所定の３次元形状のオブジェクトを、予め定めた閉じた移動経路に沿って繰り返し移動させたときの様子を表す動画像を生成する際に、車両前方の画像に基づいて、生成する動画像における、オブジェクトの移動又は大きさを変化させ、動画像から動き検出を行った結果に応じたノート信号を生成することにより、規則性の中にランダム性がある音楽を生成することができる。
【００８５】
また、基本的な規則に従って音がなる仕組みを用いると共に、外部環境パラメータやＣＡＮ情報によって規則が変化するようにすることで、規則性を持ちながら変化に富むノート信号を作ることができる。また、このノート信号を、自動作曲のベースやドラムの音に当てはめると、曲調を変えることができる。
【００８６】
また、映像を白黒にして、現在のフレームと前のフレームとの差を検出する動き検出を行い、動き検出の結果を示す値を音のノート信号に当てはめる。従来技術では、カメラ映像だけを使って動き検出を行っていたが、本実施の形態では、カメラ映像の代わりに、オブジェクトを規則的に移動させた様子を表す動画像を利用する。あらかじめ、オブジェクトの動き方（パターン）を決めておき、これに従ってオブジェクトを移動させる。このとき、移動する速さや、移動経路を含む平面の回転角や、オブジェクトの大きさを、環境パラメータやＣＡＮ情報で変化させる。これにより、定まった基本的な動きを持ちながら、状況に応じた音が鳴ることになり、カオス的となる。従来技術では、ノート信号に一定の規則を持たせることができなかったが、本実施の形態では、音楽を聞く人に、一定の規則性を感じさせることができる。また、規則に変化を与えるため、曲調が変わったように感じさせることができる。
【００８７】
また、従来技術を用いた自動作曲では、カメラ映像の動き検出やセンサ信号からノート信号を作っていた。このため、特徴のあるリズムを連続したり、似たような音を繰り返し鳴らす、といったことができなかった。スケールを変えることで曲調を変えることをしていたが、リズムを変えることで曲調を変えることができていなかった。本実施の形態では、動画像に写るオブジェクトの移動を制御することにより、聞きたいリズムの自動作曲を実現することができる。
【００８８】
また、動画像に写るオブジェクトとその規則的な変化の設定によって、リズムに規則性が生まれる。常に同じであると飽きるので、外部環境やＣＡＮ情報で、動きに変化を付けることにより、飽きさせない音楽を生成することができる。
【００８９】
＜第２の実施の形態＞
＜音楽生成装置＞
次に、第２の実施の形態に係る音楽生成装置について説明する。なお、第２の実施の形態に係る音楽生成装置は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
【００９０】
第２の実施の形態では、複数のオブジェクトが移動する様子を表す動画像を生成している点が、第１の実施の形態と異なっている。
【００９１】
第２の実施の形態に係る動画像生成部５０は、図１５に示すように、複数のオブジェクト７０を用いて、オブジェクト毎に予め定めた閉じた移動経路に沿って当該オブジェクトを繰り返し移動させたときの様子を表す動画像を生成する。
【００９２】
ここで、２つの異なる動きをするオブジェクトを組み合わせたときのオブジェクトの制御原理について説明する。
【００９３】
本実施の形態では、周囲に障害物が少なく環境パラメータが小さい時に、２つのオブジェクトの移動経路を含む平面が直交するように設定する。これは、２つのオブジェクトが同じ平面で動くことを避けるためである。
【００９４】
例えば、一方のオブジェクトの移動経路を含む平面として、オブジェクトを奥行方向に移動させるように移動経路を含む平面を設定する。この場合は、奥に位置するときオブジェクトは小さく、動き検出の値が小さくなる。一方、オブジェクトが手前に位置するときオブジェクトは大きくなり、動き検出の値が大きくなる。これにより、オブジェクトが手前にくるタイミングで、ドン、ドン、ドン、というように、音をならすようにノート信号が生成される。
【００９５】
また、他方のオブジェクトの移動経路を含む平面として、画像平面に平行な平面を設定する。この場合は、常に動き検出の変化はあるが、その変化は一定であるため、低いトーンが連続して鳴るようにノート信号を生成する。
【００９６】
このように、２つのオブジェクトの移動経路を含む平面が直交するように設定することにより、異なる特徴を持つノート信号を生成できる。
【００９７】
また、移動速度の設定についても同様に２つのオブジェクトで異なるように設定する。例えば、外部環境に変化が乏しい状態で、オブジェクトの動きが無い場合（前のフレームと後のフレームとの差が小さい場合）には、音はならない。これを防ぐために、一つのオブジェクトについては複雑さが低いとき（前のフレームと後のフレームとの差が小さいとき）に速く動くように移動速度を制御する。それだけでは、複雑さが増した時、音がしにくくなるので、もう一方のオブジェクトについては複雑さが高いとき（前のフレームと後のフレームとの差が大きいとき）に動きが速くなるように移動速度を制御する。このように、逆方向に変化させることを組み合わせることにより、常に音が出るように、ノート信号を生成できる。
【００９８】
以上説明した原理に従って、本実施の形態では、動画像生成部５０が、オブジェクト毎に、当該オブジェクトの立体形状と、移動経路を含む平面の角度の初期値と、移動速度の初期値とを設定する。
【００９９】
また、動き制御部５２が、環境検出センサ２０の出力信号から得られる動き検出の値、複雑さパラメータ、及びＲＧＢの値に基づいて、生成する動画像における、各オブジェクトの移動速度、移動経路、及び大きさを変化させるように動画像生成部５０を制御する。
【０１００】
なお、第２の実施の形態に係る音楽生成装置の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。
【０１０１】
以上説明したように、第２の実施の形態に係る音楽生成装置によれば、複数のオブジェクトを用いて、仮想空間内で、オブジェクト毎に予め定めた閉じた移動経路に沿って当該オブジェクトを繰り返し移動させたときの様子を表す動画像を生成する際に、車両前方の画像に基づいて、生成する動画像における、各オブジェクトの移動又は大きさを変化させ、動画像から動き検出を行った結果に応じたノート信号を生成することにより、規則性の中にランダム性がある音楽を生成することができる。
【０１０２】
＜変形例＞
なお、上記各実施の形態で説明した音楽生成装置の構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。
【０１０３】
例えば、オブジェクトが移動する様子を表す動画像を表示させるようにしてもよい。このように、オブジェクトの表示がインターフェースとして見えると分かりやすい。
【０１０４】
また、オブジェクトを表す動画像の動き検出の結果から生成されたノート信号と、自動作曲により生成されたノート信号を組み合わせて、音楽を生成する場合を例に説明したが、これに限定されるものではなく、オブジェクトを表す動画像の動き検出の結果から生成されたノート信号のみから音楽を生成してもよい。この場合には、オブジェクトを表す動画像の動き検出の結果から生成されたノート信号を用いて、ピアノ、ベース、ドラム等複数の楽器の音を作ってもよい。
【０１０５】
また、環境検出センサの出力信号から求めた情報（複雑さパラメータ、RGB）を用いて、オブジェクトの移動速度、大きさ、及び移動経路の含む平面を変化させる場合を例に説明したが、これに限定されるものではなく、ＣＡＮ情報（車両の速度、操舵角、アクセル開度等）やセンサ情報（加速度等）のような車両情報を用いて、オブジェクトの移動速度、大きさ、及び移動経路の含む平面を変化させるようにしてもよい。
【符号の説明】
【０１０６】
１０   音楽生成装置
１８   速度センサ
２０   環境検出センサ
３０   音楽情報生成部
４４   信号処理部
４６   音楽情報生成部
４８   音楽情報合成部
５０   動画像生成部
５２   動き制御部
５４   動き検出部
５６   信号処理部
６０   音楽出力部
【図１】
2019049609.tif 000003
【図２】
2019049609.tif 000004
【図３】
2019049609.tif 000005
【図４】
2019049609.tif 000006
【図５】
2019049609.tif 000007
【図６】
2019049609.tif 000008
【図７】
2019049609.tif 000009
【図８】
2019049609.tif 000010
【図９】
2019049609.tif 000011
【図１０】
2019049609.tif 000012
【図１１】
2019049609.tif 000013
【図１２】
2019049609.tif 000014
【図１３】
2019049609.tif 000015
【図１４】
2019049609.tif 000016
【図１５】
2019049609.tif 000017