(57)【要約】【課題】利用者の意図を反映させつつ、利用者自身にも予想できない楽曲を自動で生成する技術の提供。【解決手段】音を示す音情報の選択を受け付ける音情報受付手段と、時間軸上での発音タイミングの選択を受け付けるタイミング受付手段と、前記音情報が示す音と特徴が類似する類似音を前記発音タイミングにおいて出力する出力音制御手段と、を備える出力音制御装置を構成する。【選択図】図１
2015169720.tif 000002
【特許請求の範囲】
【請求項１】
音を示す音情報の選択を受け付ける音情報受付手段と、
時間軸上での発音タイミングの選択を受け付けるタイミング受付手段と、
前記音情報が示す音と特徴が類似する類似音を前記発音タイミングにおいて出力する出力音制御手段と、
を備える出力音制御装置。
【請求項２】
前記音情報受付手段は、
複数の前記音情報を取得し、
前記タイミング受付手段は、
複数の前記音情報毎に時間軸上での前記発音タイミングの選択を受け付けるとともに、
複数の前記音情報が示す各音に特徴が類似する複数の前記類似音毎に当該類似音を変化させる変化周期を受け付け、
前記出力音制御手段は、
前記変化周期で複数の前記類似音を変化させて前記発音タイミングにおいて出力する、
請求項１に記載の出力音制御装置。
【請求項３】
前記タイミング受付手段は、
前記発音タイミングでの発音回数によって指定された前記変化周期を受け付ける、
請求項１または請求項２のいずれかに記載の出力音制御装置。
【請求項４】
音を示す音情報の選択を受け付ける音情報受付機能と、
時間軸上での発音タイミングの選択を受け付けるタイミング受付機能と、
前記音情報が示す音と特徴が類似する類似音を前記発音タイミングにおいて出力する出力音制御機能と、
をコンピュータに実現させる出力音制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音を出力する出力音制御装置およびプログラムに関する。
【背景技術】
【０００２】
従来、音楽を生成するための各種の装置が開発されている。例えば、特許文献１においては、Ｘ方向とＹ方向とに２次元配列された複数のキースイッチを備える演奏装置であって、操作されたキースイッチのＸ方向にタイミング、Ｙ方向に楽音の音高や外部から取り込んだオーディオ信号を割り当て、時間の経過に従ってＹ方向に割り当てた音高やオーディオ信号を順次発音させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２９２８１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術においては、キースイッチの座標位置等によって音高を指定する必要があるため、利用者自身の意図通りに音を調整することができる。また、取り込んだオーディオ信号を発音タイミングごとに毎回変更して割り当てることで、全くランダムな演奏をさせることもできる。しかし、前者においては利用者自身の指示の通りにしか音を調整できないため、生成される楽曲は利用者自身が予想できるような楽曲となってしまう。また、後者においては、完全にランダムな演奏となるため、利用者の意図が全く反映されない。
本発明は、前記課題にかんがみてなされたもので、利用者の意図を反映させつつ、利用者自身にも予想できない楽曲を自動で生成する技術の提供を目的とする。
【課題を解決するための手段】
【０００５】
上述の目的を達成するため、音を示す音情報の選択を受け付ける音情報受付手段と、時間軸上での発音タイミングの選択を受け付けるタイミング受付手段と、音情報が示す音と特徴が類似する類似音を発音タイミングにおいて出力する出力音制御手段と、を備える出力音制御装置を構成する。
【０００６】
すなわち、出力音制御装置は、音情報の選択を受け付け、時間軸上で選択された発音タイミングで音情報の類似音を出力する。従って、選択された音情報に類似する類似音が選択された発音タイミングで出力される楽曲を自動で生成し、出力することができる。ここで、類似音の元となる音情報と、類似音の発音タイミングは利用者によって選択される。一方、類似音は、利用者自身が選択するのではなく、出力音制御手段が自動で選択する。従って、音情報の類似音は利用者にとって予想できない音となる。このため、出力音制御装置は、利用者の意図を反映させつつ、利用者自身にも予想できない楽曲を自動で生成することができる。
【０００７】
ここで、音情報受付手段は、音を示す音情報の選択を受け付けることができればよく、例えば、表示部に選択可能に表示された音情報を、利用者が入力部（マウス等）によって選択した場合に選択された音情報が受け付けられる構成等を採用可能である。音情報は、予め定義され、出力音制御装置が参照可能な記録媒体に記録されていることが好ましいが、通信インタフェースを介して選択肢となる音情報が取得されても良いし、電子楽器等の操作によって生成された音を示す音情報が取得されて選択肢となってもよい。なお、音情報は、他の音と類似しているか否かを特定できるように定義されていれば良く、ＭＩＤＩ情報、ＯＳＣ（Open Sound Control）情報等の楽音を制御する情報や、デジタルあるいはアナログの音響信号であってもよい。なお、拍にあわせて音が繰り返して発音されるリズムセクションのような楽曲を生成する場合においては、音情報の選択肢には、打楽器の打撃音に近く、音高を感じにくい音である噪音成分が主成分となっている音を示す音情報が選択対象となることが好ましい。
【０００８】
タイミング受付手段は、時間軸上での発音タイミングの選択を受け付けることができればよい。例えば、時間軸上の位置を選択することによって時間軸上での発音タイミングを受け付けることができればよい。この場合、発音タイミングは時間軸上の位置に対応づけて選択可能であれば良く、時間軸上の所定距離毎の位置（拍のタイミング）を選択可能であっても良いし、時間軸上の任意の位置を選択可能であっても良い。従って、例えば、表示部に表示された時間軸上で、利用者が入力部（マウス等）によってタイミングを選択した場合に選択されたタイミングが発音タイミングとして特定される構成等を採用可能である。
【０００９】
出力音制御手段は、音情報が示す音と特徴が類似する類似音を発音タイミングにおいて出力することができればよい。すなわち、音情報が示す音を類似音に置換して発音タイミングにおいて出力することができればよい。類似音は、音情報が示す音と特徴が類似していれば良く、音情報を評価するための指標（非定常成分、周波数成分等）を予め決定するとともに、各指標における評価結果に基づいて音の特徴を特定しておけば、当該特徴を比較することによって音情報が示す音と類似する類似音を特定可能である。
【００１０】
類似音は、音情報と比較される段階で特徴が特定されている音であれば良く、例えば、類似音となり得る音を示す情報と当該音の特徴を示す情報とが対応づけられた情報が予め記録媒体に記録された構成を想定可能である。この構成であれば、出力音制御手段が当該記録媒体を参照して音同士の特徴を比較することにより、音情報が示す音に類似する類似音を特定することができる。
【００１１】
なお、予測できない楽曲が生成される状態を維持するためには、類似音となり得る音が多様であることが好ましい。従って、この意味では、類似音となり得る音は予め多数個定義されていることが好ましく、例えば、出力音制御装置として機能するコンピュータの記録媒体に記録された楽音データの全てまたは一部を予め解析するなどして、類似音となり得る音を示す多数個の情報を生成しておくことが好ましい。
【００１２】
音情報が示す音の特徴と、他の音の特徴が類似しているか否かの判定は、種々の手法によって実施可能であり、例えば、比較対象の２個の音の特徴を共通の指標で評価し、評価された結果を比較すれば、特徴が類似するか否かを各指標について評価することができる。なお、音情報が示す音に類似する音は複数個存在し得るため、類似音が複数個存在する場合、異なる発音タイミングにおいて異なる類似音を出力することで、発音タイミングを維持しながら類似音が変化する楽曲が生成されても良い。
【００１３】
むろん、類似音が複数個存在する場合、利用者が出力対象の類似音を選択する構成であっても良いし、周期的に類似音が変化する構成であっても良いし、ランダムに類似音が変化する構成であっても良い。いずれにしても、出力される類似音が時間の経過に応じて変化する構成であれば、音情報が示す１個の音を選択し、発音タイミングを選択するのみで、多様に変化する楽曲を生成することができる。
【００１４】
さらに、生成される楽曲を多様化するためには、類似音に置換される元となる音が複数個であることが好ましい。例えば、音情報受付手段が複数の音情報を取得し、タイミング受付手段が複数の音情報毎に時間軸上での発音タイミングの選択を受け付ける構成とする。この構成によれば、複数の音情報が示す各音に類似する複数の類似音が個別に設定された発音タイミングで発音する楽曲を生成することができる。従って、複数のパートによって構成される、利用者自身にも予想できない楽曲を自動で生成することができる。
【００１５】
なお、この構成において、さらに、タイミング受付手段が、複数の音情報が示す各音に特徴が類似する複数の類似音毎に当該類似音を変化させる変化周期を受け付け、出力音制御手段が、各類似音の変化周期で各類似音を変化させて発音タイミングにおいて出力する構成を採用しても良い。この構成においては、複数の類似音のそれぞれの変化周期を独立して変化させることができる。従って、複数の類似音のそれぞれが互いに異なる周期で変化していく、予想外の変化をする楽曲を自動で生成することが可能になる。
【００１６】
変化周期は、類似音を切り替えるタイミングを指定する周期であり、時間的に一定であっても良いし、時間に応じて変化しても良い。また、変化周期は、発音タイミングでの発音回数によって指定されてもよい。例えば、Ｎ回の発音回数が変化周期として指定されている場合、類似音がＮ回発音される度に、類似音が他の音に変化する構成となる。一般に、楽曲は一定期間の単位の繰り返しによって構成される（例えば、１６分音符１６個の長さである１小節の繰り返し等）。従って、類似音がＮ回発音される度に、類似音が他の音に変化する構成によれば、楽曲を構成する一定期間の単位の周期と異なる周期で類似音を変化させることができる。従って、音が多様なタイミングで変化する楽曲を自動で生成することができる。
【００１７】
むろん、変化周期は、時間軸における一定の長さの期間であっても良い。この構成によれば、楽曲を構成する一定期間の単位の周期（１小節等）に連動した周期で類似音を変化させることもできるし、楽曲を構成する一定期間の単位の周期に連動しないように類似音を変化させることもできる。後者は、例えば、楽曲を構成する一定期間の単位の周期が変化周期の倍数にならないように当該変化周期を設定することによって実現可能である。
【図面の簡単な説明】
【００１８】
【図１】（１Ａ）は本発明の一実施形態にかかる出力音制御装置のブロック図、（１Ｂ）はユーザインタフェースの例を示す図である。
【発明を実施するための形態】
【００１９】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）出力音制御装置の構成：
（１−１）ユーザインタフェースの構成：
（１−２）出力音を示すデータの生成：
（２）他の実施形態：
【００２０】
（１）出力音制御装置の構成：
図１Ａは本発明の一実施形態にかかる出力音制御装置１０の主要部を示すブロック図である。出力音制御装置１０は、例えばコンピュータ等で構成されても良いし、携帯端末によって構成されても良いし、電子楽器によって構成されても良い。出力音制御装置１０は、制御部２０と記録媒体３０と操作部４０と表示部５０と音出力部６０とを備えている。制御部２０は、図示しないインタフェース（バス等）で記録媒体３０、操作部４０、表示部５０、音出力部６０と接続されており、制御部２０と各部とで情報の授受を行うことができる。
【００２１】
また、制御部２０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等のプログラム実行環境を備えており、記録媒体３０やＲＯＭに記憶されたプログラムを実行することができる。本実施形態において制御部２０は、このプログラムの一つとして出力音制御プログラム２１を実行することができる。
【００２２】
操作部４０は、利用者から各種の指示や各種の情報を受け取るための入力手段であり、各種の操作子により構成されている。出力音制御装置１０がコンピュータによって構成される態様では、キーボード、マウス等の入力部等によって操作部４０を構成可能である。表示部５０は、出力音制御装置１０の動作状態や音情報の内容、利用者に対するメッセージ等を表示するための装置であり、例えば液晶ディスプレイパネルとその駆動回路により構成される。
【００２３】
音出力部６０は、後述する音情報や音素片情報で構成されるデジタル信号をアナログ信号に変換するＤ／Ａ変換器と、このアナログ信号を増幅するアンプと、このアンプの出力信号を音として出力するスピーカー等により構成されている。例えば、音情報や音素片情報が音高や打楽器などの音源等を示す情報であれば、音出力部６０は、指定された音高や音源に応じた音の波形を図示しない音源部によって生成し、生成した波形の音を出力する。音情報や音素片情報が音の波形情報であれば、音出力部６０は、当該波形情報が示す波形の音を出力する。なお、出力音制御装置１０を携帯端末として実現する場合には、スピーカーの代わりにヘッドホン端子を設けてもよい。
【００２４】
記録媒体３０は、各種のプログラムやデータベース等の情報を記憶するための記憶装置であり、ＨＤＤ（ハードディスクドライブ）やＥＥＰＲＯＭ（Electronic Erasable Programmable Read Only Memory）等により構成される。本実施形態において記録媒体３０には、予め音情報３０ａおよび音素片情報３０ｂが記録される。音情報３０ａは、所定の順序で音を再生できるように定義されていれば良く、時間軸上の位置（例えば、音の開始時点からの経過時間）に音が対応づけられた情報である。音は種々の態様で特定可能であり、音響信号であってもよいし、音高、音の長さ、強さ、打楽器などの音源等を示す情報であってもよい。
また、音情報３０ａは、任意の長さの音を示す情報で構成可能であるが、本実施形態は時間軸上に周期的に並ぶ拍の位置が音の発生タイミングとして選択される構成（詳細は後述）であるため、拍の長さの最大値より短い長さの音を示す音情報３０ａで構成される。
【００２５】
音素片情報３０ｂは、所定の長さの音を示す情報に各音の特徴を示す特徴量が対応づけられた情報である。本実施形態において制御部２０は、図示しない音素片情報生成プログラムにより、記録媒体３０に記録された楽音データから音素片情報３０ｂを生成することができる。すなわち、制御部２０は、音素片情報生成プログラムの処理により、記録媒体３０を参照して楽音データを検索し、検索された楽音データが示す音を所定の長さ毎の音に分割する。なお、音素片情報３０ｂも拍の長さの最大値より短い長さの音を示す情報として定義されるため、ここでは、拍の長さの最大値より短い長さとなるように分割がなされる。さらに、制御部２０は、分割された音のそれぞれに基づいて既定の解析を行い、音の特徴を示す特徴量を取得する。
【００２６】
さらに、制御部２０は、各音の特徴量が予め決められた基準を満たすか否かを判定することにより、各音が所定の特徴であるか否かを判定する。そして、制御部２０は、所定の特徴であると判定された音を示す情報に特徴量を対応づけて音素片情報３０ｂを定義する。本実施形態においては、このような処理により、記録媒体３０に記録された多数の楽音データから予め音素片情報３０ｂが抽出され、記録媒体３０に記録される。従って、本実施形態においては、予め多数の音素片情報３０ｂが記録媒体３０に記録された状態となっている。
【００２７】
なお、特徴量としては、種々の量を採用可能であり、音声の特徴を示す特徴量や音楽を構成する音の特徴を示す特徴量等が挙げられる。前者としては、例えば、音素片の非定常成分、ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）、瞬時パワーの時間的変化率、音素片の定常成分の最低周波数、音素片の定常成分の最低周波数の軌跡形状、音素片のフォルマント、線形予測係数、偏自己相関係数、線スペクトル対係数、フィルタバンク等が挙げられる。後者としては、例えば、音高と音量との組み合わせを示すＨＰＣＰ（Harmonics Pitch Class Profile）、所定の周波数を下回る音を対象としたＨＰＣＰであるＬＰＦ-ＨＰＣＰ（Low Pass Filter-HPCP）、素片内の楽音の音量（エネルギの平均値）、スペクトル重心（スペクトルセントロイド）、テンポ、単位時間内の音高等の変化度、クロマベクトル等が挙げられる。また、音情報３０ａは音を示していれば良く、任意の形式で定義可能であるため、音素片情報３０ｂが音情報３０ａとして使用される構成であっても良い。
【００２８】
さらに、本実施形態において、音素片情報３０ｂは複数の指標によって分類され、分類ごとに管理されている。すなわち、音素片情報３０ｂには、当該音素片情報３０ｂの生成元を示すデータベース名称（例えば、楽音のジャンル名や、楽音を作成または演奏したアーティスト名等）が対応づけられている。図１Ａにおいては、音素片情報３０ｂのデータベース名称をＤＢ１，ＤＢ２として例示している。また、音素片情報３０ｂには、当該音素片情報３０ｂが示す音の特徴量を示すカテゴリ名称が対応づけられている。従って、音素片情報３０ｂは、複数のデータベース名称に分類され、各データベース名称に属する音素片情報３０ｂとして複数のカテゴリ名称の音素片情報３０ｂが存在し得る状態で記録媒体３０に記録される。なお、各カテゴリ名称の音素片情報３０ｂは、複数個存在し得る。
【００２９】
さらに、本実施形態においては、出力音制御プログラム２１により、音情報３０ａが示す音を類似音に置換して出力する処理を制御部２０が実行する。この処理を制御部２０に実行させるため、出力音制御プログラム２１は、音情報受付部２１ａとタイミング受付部２１ｂと出力音制御部２１ｃとを備えている。
【００３０】
（１−１）ユーザインタフェースの構成：
図１Ｂは、出力音制御プログラム２１が実行された場合に表示部５０に表示されるユーザインタフェースの例を示す図である。この例において、ボックスＢ1は発音タイミングの選択を受け付けるためのユーザインタフェースであり、左から右の方向が時間の進行方向である。また、ボックスＢ1においては、複数の音情報３０ａ毎に発音タイミングを設定することができる。図１Ｂに示すユーザインタフェースにおいては、複数のパートＡ，Ｂ，Ｃに音情報３０ａを対応づけ、異なる位置に表示された時間軸上で各パートにおける発音タイミングを設定することができる。なお、各パートＡ，Ｂ，Ｃに対応する時間軸は縦方向に異なる位置に表示されているが、各軸上で同一の縦線上にある位置は同一のタイミングを示している。従って、本例にかかるユーザインタフェースにおいては、同一タイミングで発音し得る異なるパートについて発音タイミングを選択することができる。
【００３１】
音情報受付部２１ａは、音情報３０ａの選択を受け付ける機能を制御部２０に実現させるプログラムモジュールである。本実施形態において制御部２０は、表示部５０に制御信号を出力し、図示しないユーザインタフェースによって音情報３０ａのアイコンを選択肢として一覧表示させる（例えば、ＯＳが提供するファイルの一覧表示プログラムによって音情報３０ａのアイコンを選択肢として表示する）。
【００３２】
図１Ｂに示す例において制御部２０は、操作部４０としてのマウスの出力信号を監視し、音情報３０ａのアイコンをドラッグし、所定のドロップ位置にドロップする操作が行われたことを受け付けると、当該アイコンの音情報３０ａが選択されたことを受け付ける。より具体的には、図１Ｂに示すユーザインタフェースにおいては、パートＡ，Ｂ，Ｃの音情報３０ａのそれぞれについて各種のパラメータを指定するためのボックスＢA，ＢB，ＢCが設けられており、各ボックスＢA，ＢB，ＢC内にドロップ位置ＰDが設けられている。制御部２０は、操作部４０の出力信号に基づいて任意の音情報３０ａを示すアイコンがドロップ位置ＰDにドロップされたことを認識すると、ドロップされた音情報３０ａが選択されたことを受け付ける。また、制御部２０は、ドロップ位置ＰDが存在するボックスＢA，ＢB，ＢCを特定し、ドロップ位置ＰDがボックスＢAに存在するのであれば、選択された音情報３０ａにパートＡを対応づける。また、ドロップ位置ＰDがボックスＢBに存在するのであれば、制御部２０は、選択された音情報３０ａにパートＢを対応づけ、ドロップ位置ＰDがボックスＢCに存在するのであれば、選択された音情報３０ａにパートＣを対応づける。
【００３３】
タイミング受付部２１ｂは、時間軸上での発音タイミングの選択を受け付ける機能を制御部２０に実現させるプログラムモジュールである。本実施形態において制御部２０は、表示部５０に制御信号を出力し、ユーザインタフェース上にボックスＢ1を表示させる。すなわち、制御部２０は、ボックスＢ1内に等間隔で縦線および横線を並べて表示させる。当該ボックスＢ1において、横線は、パートＡ，Ｂ，Ｃのいずれかに対応しており、各パートが対応づけられた音情報３０ａについての時間軸である。縦線は、時間軸上の周期的な位置を示している。図１Ｂにおいて、縦線は全部で１６個であるため、図１Ｂに示すボックスＢ1においては、時間軸上で等間隔に並ぶ１６個の位置を示している。従って、図１Ｂに示すボックスＢ1においては縦線によって１６拍分の時間的位置を示している。
【００３４】
本実施形態において利用者は、ボックスＢ1内に表示された縦線と横線との交点である格子点を操作部４０としてのマウスのポインタで指示することにより、時間軸上での発音タイミングを選択することができる。すなわち、制御部２０は、操作部４０の出力信号に基づいて任意の格子点が指示されたことを認識すると、指示された時間軸上の位置が発音タイミングとして選択されたことを受け付ける。また、この場合、制御部２０は、表示部５０に制御信号を出力し、指示された格子点に黒い丸を重畳表示させる。むろん、制御部２０は、各種の操作によって発音タイミングの選択のキャンセルを受け付けても良い。
【００３５】
以上の構成により、利用者は、所望の音情報３０ａを選択することができ、当該選択された音情報３０ａにパートＡ，Ｂ，Ｃが対応づけられる。そして、利用者は、ボックスＢ1の各パートに対応した時間軸上の格子点を指定することで、パートＡ，Ｂ，Ｃ毎に発音タイミングを選択することができる。このため、利用者は、ユーザインタフェースを利用して、容易に、時間軸上での類似音の発音タイミングを選択することが可能である。
【００３６】
出力音制御部２１ｃは、音情報が示す音と特徴が類似する類似音を発音タイミングにおいて出力する機能を制御部２０に出力させるプログラムモジュールである。具体的には、制御部２０は、出力音制御部２１ｃの処理により、利用者の指定に応じて音情報３０ａが示す音、または当該音に特徴が類似する類似音を選択し、発音タイミングにおいて出力する。
【００３７】
制御部２０は、表示部５０に制御信号を出力し、音情報３０ａから音素片情報３０ｂを選択するためのパラメータを指示する指示部、音の出力開始および音の出力停止を指示するための指示部を表示させる。図１Ｂにおいては、ボックスＢA，ＢB，ＢC内に音情報３０ａから音素片情報３０ｂを選択するためのパラメータを指示する指示部が表示されている。具体的には、図１Ｂに示すユーザインタフェースにおいては、音素片情報３０ｂの選択元となるデータベース名称を指示する指示部ＤDと、音素片情報３０ｂのカテゴリ名称を指示する指示部ＤCと、音素片情報３０ｂをランダムに変化させる際の変化周期を指示する指示部ＤPと、ランダムに音素片情報３０ｂを選択するように指示する指示部ＤRと、利用者による音素片情報３０ｂの指示を受け付ける指示部ＤMとが設けられている（図１Ｂ内ではボックスＢA内の指示部にのみ符号を付してある）。
【００３８】
制御部２０は、操作部４０の出力信号に基づいてこれらに対する利用者の指示を受け付けることができる。すなわち、利用者が指示部ＤD内の三角形をマウスのポインタで指示するたびに、制御部２０は、音素片情報３０ｂに対応づけられたデータベース名称を参照し、ポインタによる指示に同期させてデータベース名称を切り替えて指示部ＤD内に表示する。そして、制御部２０は、指示部ＤD内に表示されたデータベース名称が現在選択されていると見なす。例えば、図１Ｂに示すボックスＢAであれば、データベース名称がＤＢ１である音素片情報３０ｂが類似音の選択元として選択された状態となる。
【００３９】
利用者が指示部ＤC内の三角形をマウスのポインタで指示するたびに、制御部２０は、現在選択されているデータベース名称の音素片情報３０ｂを参照し、当該音素片情報３０ｂに対応づけられたカテゴリ名称を切り替えて指示部ＤC内に表示する。そして、制御部２０は、指示部ＤC内に表示されたカテゴリ名称が現在選択されていると見なす。例えば、図１Ｂに示すボックスＢAであれば、データベース名称ＤＢ１の中のカテゴリｌｏｗ１の音素片情報３０ｂが類似音の選択元として選択された状態となる。
【００４０】
利用者が指示部ＤPのチェックボックスをマウスのポインタで指示する操作（チェック操作）が行われると、制御部２０は、所定の変化周期で音素片情報３０ｂをランダムに変化させる指示が行われたと認識する。また、この場合、利用者は指示部ＤPのチェックボックスに隣接して表示されたダイヤル状のインタフェースをマウスのホイール等で操作することにより、変化周期を特定することができる。すなわち、制御部２０は、マウスのホイール等の指示に同期させてダイヤル状のインタフェースにおける半径部分の回転角を回転させるとともに円周の実線部分を増減させる。さらに、制御部２０は、マウスのホイール等の指示に同期させてダイヤル状のインタフェースに付記された数値を増減させる。
【００４１】
そして、制御部２０は、指示部ＤPに付記された数値を類似音の変化周期であると見なす。なお、当該変化周期を示す数値は、発音タイミングでの類似音の発音回数を示している。例えば、図１Ｂに示すボックスＢAにおいて、指示部ＤPのチェックボックスがチェックされた状態であれば、表示された４が周期となる。この場合、４回発音が行われる度に類似音が変化するため、図１Ｂに示すボックスＢ1内の黒い丸のように発音タイミングが指示されているのであれば、パートＡに対応する音情報３０ａが示す音に類似する類似音は期間Ｔ1と期間Ｔ2とで異なる音となる。なお、この例において、変化周期の最大値は１６であり、ボックスＢ1内に表示された横方向の格子点の数と同一である。
【００４２】
利用者が、指示部ＤRのボタンをマウスのポインタで指示する操作が行われると、制御部２０は、乱数によって特定された番号を指示部ＤMに表示する。なお、番号は、音情報３０ａが示す音に特徴が類似する順序に対応しており、音情報３０ａが示す音に最も特徴が類似する音を示す音素片情報３０ｂには番号１が対応づけられる。また、番号０は、音情報３０ａを音素片情報３０ｂで置換せずに出力させることを示している。当該番号の付与についての詳細は後述する。
【００４３】
さらに、利用者が、指示部ＤM内の三角形をマウスのポインタで指示するたびに、制御部２０は、指示部ＤM内の番号を増減させる。そして、制御部２０は、指示部ＤM内に表示された番号が、音情報３０ａが示す音に特徴が類似する音を示す音素片情報３０ｂであると見なす。例えば、図１Ｂに示すボックスＢAにおいては、指示部ＤMに番号１が表示されている状態であるため、この状態は指示部ＤRによってランダムに番号１が特定された状態または指示部ＤMによって利用者が番号１を指定した状態である。そして、番号１は音情報３０ａが示す音に最も特徴が類似する音を示す音素片情報３０ｂに対応づけられる番号であるため、図１Ｂに示すボックスＢAによれば、データベース名称ＤＢ１の中のカテゴリ名称ｌｏｗ１の音素片情報３０ｂの中で最も音情報３０ａに類似する音を示す音素片情報３０ｂが選択された状態となる。
【００４４】
なお、図１Ｂに示す例において、指示部ＤPによる指示と、ＤR，ＤMによる指示はいずれかのみ有効になるように構成されている（例えば、指示部ＤPのチェックボックスがチェックされると他の指示部ＤR，ＤMがグレーアウトして指示を行えなくなる等）。
【００４５】
（１−２）出力音を示すデータの生成：
以上のようなユーザインタフェースによって、音情報３０ａから音素片情報３０ｂを選択するためのパラメータが指示された状態で、音の出力指示（図１Ｂに示すボタンＢsによる指示）が行われると、制御部２０は、当該パラメータに基づいて出力すべき音を示すデータを生成する。
【００４６】
このために、出力音制御部２１ｃは、類否判定部２２ａと素片選択部２２ｂとデータ生成部２２ｃとを備えている。類否判定部２２ａは、音情報受付部２１ａの処理によって選択された音情報３０ａが示す音と音素片情報３０ｂが示す音との類比を判定する機能を制御部２０に実現させるプログラムモジュールである。
【００４７】
すなわち、制御部２０は、類否判定部２２ａの処理により、音情報受付部２１ａの処理で受け付けた音情報３０ａを特定し、当該音情報３０ａの特徴量を取得する。すなわち、制御部２０は、音素片情報３０ｂを生成する際に実行した解析と同様の解析を音情報３０ａについて実行し、音情報３０ａが示す音の特徴量を取得する。さらに、制御部２０は、類否判定部２２ａの処理により、ユーザインタフェースによって指定されたデータベース名称を参照し、ユーザインタフェースによって指定されたカテゴリ名称の音素片情報３０ｂを参照する。また、制御部２０は、各音素片情報３０ｂが示す音に対応づけられている特徴量を取得する。
【００４８】
さらに、制御部２０は、類否判定部２２ａの処理により、音情報３０ａの特徴量と音素片情報３０ｂに対応づけられた特徴量とを比較し、特徴量の差異が小さい音素片情報３０ｂを、音情報３０ａが示すと音と特徴が類似している音を示す音素片情報３０ｂとして特定する。そして、制御部２０は、特徴量の差異が小さいほど類似度が高いとみなし、類似度が高い順に所定の数（例えば、１５個）の音素片情報３０ｂを候補として選択する。なお、制御部２０は、選択された音素片情報３０ｂのそれぞれに対して類似度が高い順に番号１以後の番号を対応づける。音情報受付部２１ａの処理において、音情報３０ａが複数のパートについて選択されていた場合、制御部２０は、各パートについて、類似度が高い音素片情報３０ｂを所定の数だけ選択する。
【００４９】
また、本実施形態においては各音について複数の種類の特徴量が特定されるため、制御部２０は、音情報３０ａが示す音についての複数の種類の特徴量と音素片情報３０ｂが示す音についての複数の種類の特徴量とを総合的に比較することによって両者の差異を特定する。このような比較の手法としては、種々の手法を採用可能である。例えば、制御部２０が、複数の種類の特徴量のそれぞれを成分とする特徴量ベクトルを各音について定義し、各特徴量ベクトル間のコサイン類似度を特定し、コサイン類似度が１に近い所定閾値以上である場合に類似していると判定する構成を採用可能である。また、制御部２０が、各特徴量ベクトル間のcityblock距離に基づいて類似しているか否かを判定しても良いし、正規化した各特徴量ベクトル間のユークリッド距離やマハラノビス距離に基づいて類似しているか否かを判定しても良い。
【００５０】
また、音情報３０ａが示す音の長さと音素片情報３０ｂが示す音の長さが一致していない場合もあり得るが、このように、異なる長さの音の特徴量を比較するためには、種々の構成を採用可能である。例えば、制御部２０が、所定の長さの音の中で特徴量が安定している瞬時の特徴量をサンプリングして比較対象とする構成を採用可能である。また、制御部２０が、所定期間毎の特徴量をサンプリングし、いずれか１個の特徴量または複数個のタイミングでサンプリングされた特徴量の統計値（平均値等）を比較対象とする構成等を採用可能である。さらに、制御部２０が、音情報３０ａが示す音と音素片情報３０ｂが示す音とのそれぞれをフーリエ変換し、周波数空間における特徴量を取得して比較対象とする構成等を採用可能である。なお、比較対象となる特徴量は、複数の種類の特徴量の全てでも良いし、一部でも良い。後者の場合、利用者が、操作部４０によって比較対象となる特徴量を指定しても良いし、予め決められた特徴量が比較対象となってもよい。なお、類否判定部２２ａの処理によって音情報３０ａに類似する所定の数の音素片情報３０ｂを選択する処理は、素片選択部２２ｂによって音素片情報３０ｂが１個選択される前に行われていれば良く、図１Ｂに示すボタンＢsによる音の出力指示が行われる前に実行されても良いし、ボタンＢsによる音の出力指示が行われた後に実行されても良い。
【００５１】
素片選択部２２ｂは、ユーザインタフェースによって指定されたパラメータに従って音情報３０ａが示す音に類似する音を示す音素片情報３０ｂを選択する機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、ユーザインタフェースによって指定されたパラメータに基づいて、音情報３０ａと、類否判定部２２ａの処理により選択された複数の音素片情報３０ｂとの中から出力すべき音を選択する。
【００５２】
データ生成部２２ｃは、音情報３０ａまたは音素片情報３０ｂが示す音を発音タイミングにおいて出力させるためのデータを生成する機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、ユーザインタフェースで指定された音を出力するためのデータを生成する。
【００５３】
本実施形態において、制御部２０は、時間軸上の既定タイミング（図１Ｂに示すボックスＢ1においては、横方向に並ぶ格子点が示す各タイミング）毎に素片選択部２２ｂおよびデータ生成部２２ｃによる処理を実行する。具体的には、図１Ｂに示すユーザインタフェースにおいて指示部ＤPのチェックボックスがチェックされている場合、制御部２０は、素片選択部２２ｂの処理により、ダイヤル状インタフェースで設定された数値で類似音の変化周期を決定し、決定された周期毎に乱数（番号０を含む）を発生させる。そして、制御部２０は、当該乱数に従って音素片情報３０ｂまたは音情報３０ａを選択する。
【００５４】
すなわち、本実施形態においては、発音タイミングでの発音回数によって変化周期が決められるため、制御部２０は、同一音での発音回数をカウントし、変化周期が示す回数の発音が行われると乱数を発生させ、当該乱数が０以外の数値である場合、その値に対応する番号の音素片情報３０ｂを選択し、乱数が０の場合、音情報３０ａを選択する。なお、指示部ＤPによって変化周期が変更されると、制御部２０は、変更後の周期毎に乱数を発生させる。
【００５５】
このように、変化周期毎に乱数によって音素片情報３０ｂまたは音情報３０ａが選択される状態において、制御部２０は、データ生成部２２ｃの処理により、時間軸上の既定タイミングのそれぞれでデータ生成処理を行う。すなわち、制御部２０は、タイミング受付部２１ｂの処理によって指定された発音タイミングを取得し、現在生成中のデータが発音タイミングのデータである場合、素片選択部２２ｂの処理によって選択された音素片情報３０ｂまたは音情報３０ａが示す音を出力するようにデータを生成し、音出力部６０に出力する。現在生成中のデータが発音タイミングのデータでない場合、既定タイミングでミュートを行うデータを生成し、音出力部６０に出力する（データ生成を行わない構成でもよい）。この結果、音出力部６０は、変化周期の回数だけ発音する度に、ランダムに変化する音を出力する。
【００５６】
なお、本実施形態において、ボックスＢ1は時間軸上で１６個の位置を指定可能であり、当該ボックスＢ1で１小節分の発音タイミングを指定可能であるが、１小節分の発音が終了すると、同様の発音タイミングで２小節目以降の発音を繰り返すように決められている。従って、例えば、図１Ｂに示すボックスＢ1のパートＡの発音タイミングにおいて、変化周期が４であるとともに、ランダムに選択された音素片情報３０ｂまたは音情報３０ａの選択順序が音素片情報３０ｂの番号で番号５，２，１１，９，８，４，，，のように決めらたのであれば、制御部２０は、ボックスＢ1の各格子点に相当するタイミングにおいて出力開始から順に、無音，番号５の音，無音，番号５の音，番号５の音，番号５の音，番号２の音，番号２の音，無音，番号２の音，番号２の音，番号１１の音，無音，番号１１の音，番号１１の音，無音という１小節分のデータを生成して音出力部６０に出力する。さらに、制御部２０は、２小節目のデータとして、無音，番号１１の音，無音，番号９の音，番号９の音，番号９の音，番号９の音，番号８の音，無音，番号８の音，番号８の音，番号８の音，無音，番号４の音，番号４の音，無音のように音を出力するデータを生成し、音出力部６０に出力する。この結果、音出力部６０は、指定された変化周期で類似音が変化する音を出力する。
【００５７】
図１Ｂに示すユーザインタフェースにおいて指示部ＤRのボタンが指示されている場合、制御部２０は、素片選択部２２ｂの処理により、乱数（番号０を含む）を発生させ、当該乱数が０以外の数値である場合、その値に対応する番号の音素片情報３０ｂを選択し、乱数が０の場合、音情報３０ａを選択する。この結果、ランダムに音素片情報３０ｂまたは音情報３０ａが選択される状態となる。なお、指示部ＤRのボタンが指示されるたびに、制御部２０は、乱数を発生させて音素片情報３０ｂまたは音情報３０ａを新たに選択する。
【００５８】
このように、指示部ＤRのボタンが指示されるたびに音素片情報３０ｂまたは音情報３０ａがランダムに選択される状態において、制御部２０は、データ生成部２２ｃの処理により、時間軸上の既定タイミングのそれぞれでデータ生成処理を行う。すなわち、制御部２０は、タイミング受付部２１ｂの処理によって指定された発音タイミングを取得し、現在生成中のデータが発音タイミングのデータである場合、素片選択部２２ｂの処理によって選択された音素片情報３０ｂまたは音情報３０ａが示す音を出力するようにデータを生成し、音出力部６０に出力する。現在生成中のデータが発音タイミングのデータでない場合、既定タイミングでミュートを行うデータを生成し、音出力部６０に出力する（データ生成を行わない構成でもよい）。この結果、音出力部６０は、指示部ＤRのボタンが指示されるたびにランダムに変化する音を出力する。
【００５９】
図１Ｂに示すユーザインタフェースにおいて指示部ＤM内で利用者が番号を指定した場合、制御部２０は、素片選択部２２ｂの処理により、指定された番号の音素片情報３０ｂまたは音情報３０ａを選択する。この結果、利用者によって音素片情報３０ｂまたは音情報３０ａが選択された状態となる。なお、指示部ＤMによって利用者が番号を変更するたびに、制御部２０は、指示された番号に対応した音素片情報３０ｂまたは音情報３０ａを新たに選択する。
【００６０】
このように、指示部ＤMによって利用者が番号を変更するたびに指示された番号に対応した音素片情報３０ｂまたは音情報３０ａが選択される状態において、制御部２０は、データ生成部２２ｃの処理により、時間軸上の既定タイミングのそれぞれでデータ生成処理を行う。すなわち、制御部２０は、タイミング受付部２１ｂの処理によって指定された発音タイミングを取得し、現在生成中のデータが発音タイミングのデータである場合、素片選択部２２ｂの処理によって選択された音素片情報３０ｂまたは音情報３０ａが示す音を出力するようにデータを生成し、音出力部６０に出力する。現在生成中のデータが発音タイミングのデータでない場合、既定タイミングでミュートを行うデータを生成し、音出力部６０に出力する（データ生成を行わない構成でもよい）。この結果、音出力部６０は、指示部ＤMによって利用者が番号を変更するたびに変化する音を出力する。
【００６１】
なお、音情報受付部２１ａの処理において、音情報３０ａが複数のパートについて選択されていた場合、制御部２０は、各パートについて、音素片情報３０ｂまたは音情報３０ａを選択し、各パートの発音タイミングで音を出力するデータを生成する。この結果、音出力部６０から、複数のパートの類似音（または音情報３０ａが示す音）が指定された発音タイミングで出力される。以上のような音の出力は、制御部２０が発音の停止指示を受け付けるまで（図１に示すボタンＢRによる指示が行われるまで）継続される。むろん、制御部２０は、データ生成部２２ｃの処理によって生成されたデータを記録媒体３０等に記録し、後に再利用できるように構成しても良い。また、上述の処理は一例であり、素片選択部２２ｂ、データ生成部２２ｃによる処理は種々のタイミングで実行可能である。例えば、制御部２０が１小節分のデータを作成して出力し、１小節分の音の出力が行われている過程において２小節分のデータを作成して出力する構成等を採用可能である。
【００６２】
以上の構成において、制御部２０は、音情報３０ａの選択を受け付け、時間軸上で選択された発音タイミングで音情報３０ａの類似音を出力する。従って、選択された音情報３０ａに類似する類似音が時系列で出力される楽曲を自動で生成し、出力することができる。そして、本実施形態において類似音は、利用者自身が選択するのではなく、利用者自身が選択したパラメータによって制御部２０が自動で選択する。従って、音情報３０ａの類似音は利用者にとって予想できない音となる。このため、制御部２０は、利用者の意図を反映させつつ利用者自身にも予想できない楽曲を自動で生成することができる。
【００６３】
さらに、本実施形態において利用者は、指示部ＤPによって、パートＡ，Ｂ，Ｃのそれぞれについて類似音の変化周期を決定するパラメータを指定することができる。このため、複数の類似音のそれぞれの変化周期を独立して変化させることができる。従って、複数の類似音のそれぞれが互いに異なる周期で変化していく、予想外の変化をする楽曲を自動で生成することが可能になる。
【００６４】
さらに、本実施形態においては、類似音の変化周期が発音タイミングでの発音回数によって指定されるため、発音タイミングの設定周期である１小節と異なる周期で類似音を変化させることができる。従って、音が多様なタイミングで変化する楽曲を自動で生成することができる。例えば、図１Ｂに示すボックスＢ1のパートＡの発音タイミングにおいて、変化周期が４であるとともに乱数によって番号５，２，１１，９，８，４，，，のように音素片情報３０ｂの選択順序が決められている例においては、上述の様に１小節目と２小節目で類似音が変化するタイミングが異なる（例えば、１小節目では７個目の発音タイミングで番号５の音から番号２の音に切り替わるのに対し、２小節目では８個目の発音タイミングで番号９の音から番号８の音に切り替わる）ため、音の変化を予想しがたい楽曲を自動で生成することが可能である。
【００６５】
（２）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、出力音制御装置が複数個の装置によって構成されても良く、音情報受付部２１ａ、タイミング受付部２１ｂ、出力音制御部２１ｃのうちの一部のモジュールを実行可能なコンピュータと他のモジュールを実行可能なコンピュータがネットワークに接続され、ネットワークを介して音情報３０ａや制御指示等を授受することで、これらのコンピュータが出力音制御装置として機能する構成であってもよい。むろん、コンピュータの台数は２台に限定されず、３台以上であっても良い。
【００６６】
さらに、図１Ｂに示すユーザインタフェースは一例であり、他にも各種の例を採用可能である。例えば、音情報３０ａの選択はドラッグアンドドロップ操作に限定されず、リストから選択する構成や、プルダウンメニューで指定する構成等であっても良い。また、発音タイミングを選択するための時間軸は曲線で表現されていても良い。さらに、変化周期や音素片情報３０ｂを指定するための構成も各種の構成を採用可能である。例えば、変化周期をランダムに変更させる構成を採用してもよく、その場合、パート毎に異なる乱数値を発生させてもよい。
【００６７】
また、類似音の変化周期は、類似音の発音回数での指定に限定されず、例えば、時間軸における一定の長さの期間であっても良い。例えば、図１Ｂに示すボックスＢ1における時間軸上の格子点の数で変化周期を指定しても良い。この構成において、変化周期が４である場合、発音すべき音がいくつあるかにかかわらず４格子進むごとに乱数を発生させる。また、変化周期を発音回数で指定するモードと時間軸上の格子点の数で指定するモードの２モードを有し、いずれかを利用者の指示により切り替えられるようにしてもよい。
【００６８】
さらに、音素片情報３０ｂの分類は上述の分類に限定されないし、分類が行われていない状態であっても良い。さらに、音情報３０ａに対応づけられるパートは３個に限定されず、１個、２個、４個以上であっても良い
【００６９】
なお、ユーザインタフェースにおいては、既に説明した機能と異なる機能を実現する部位を備えていても良い。図１Ｂに示す例においては、出力音全ての音量を調整するためのマスターボリューム調整部や、テンポ（ＢＰＭ）を調整する調整部等が設けられている。また、ボックスＢA，ＢB，ＢCのそれぞれにはパート毎にミュートするためのミュート指定部、パート毎の音量を調整するためのボリューム調整部、パート毎の音の早さ（１より小さい値であれば音を短くする等）を調整するためのスピード調整部が設けられている。
【符号の説明】
【００７０】
１０…出力音制御装置、２０…制御部、２１…出力音制御プログラム、２１ａ…音情報受付部、２１ｂ…タイミング受付部、２１ｃ…出力音制御部、２２ａ…類否判定部、２２ｂ…素片選択部、２２ｃ…データ生成部、３０…記録媒体、３０ａ…音情報、３０ｂ…音素片情報、４０…操作部、５０…表示部、６０…音出力部
【図１】
2015169720.tif 000003