(57)【特許請求の範囲】
【請求項１】
楽曲を区分した各素片の楽音データと前記各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、
主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定手段と、
類否指標値が類似を示す複数の副素片を前記各主素片について順次に選択する選択手段と、
前記各主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工手段と、
前記主素片の特徴量と前記選択手段が当該主素片について選択した複数の副素片の各々の特徴量とを示す図表を表示装置に表示する表示制御手段と
を具備する楽曲加工装置。
【請求項２】
楽曲を区分した各素片の楽音データと前記各素片の音響的な複数の特徴量とを複数の楽曲の各々について記憶する記憶手段と、
主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との前記複数の特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定手段と、
類否指標値が類似を示す副素片を前記各主素片について順次に選択する選択手段と、
前記各主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工手段と、
前記主素片の特徴量と前記選択手段が当該主素片について選択した副素片の特徴量とを示す図表を前記複数の特徴量の各々について個別に表示装置に表示する表示制御手段と
を具備する楽曲加工装置。
【請求項３】
利用者からの指示に応じて特徴量毎に第１調整値を可変に設定する第１設定手段を具備し、
前記類否算定手段は、前記第１調整値に応じた前記各特徴量についての重み付けを含む演算によって、前記主素片と前記副素片との類否指標値を算定する
請求項２の楽曲加工装置。
【請求項４】
前記第１設定手段は、素片の同種の特性を示す複数の特徴量の各々の第１調整値を同値に設定する
請求項３の楽曲加工装置。
【請求項５】
前記類否算定手段は、主素片の複数の特徴量のうち利用者が選択した特徴量を、利用者が指示した数値に置換して、類否指標値を算定する
請求項２の楽曲加工装置。
【請求項６】
楽曲を区分した各素片の楽音データと前記各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、
利用者からの指示に応じて楽曲毎に第２調整値を可変に設定する第２設定手段と、
主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する手段であって、前記各副素片が属する楽曲について設定された第２調整値に応じて変化するように前記主素片と当該副素片との類否指標値を算定する類否算定手段と、
類否指標値が類似を示す副素片を前記各主素片について順次に選択する選択手段と、
前記各主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工手段と、
前記主素片の特徴量と前記選択手段が当該主素片について選択した副素片の特徴量とを示す図表を表示装置に表示する表示制御手段と
を具備する楽曲加工装置。
【請求項７】
楽曲を区分した各素片の楽音データと前記各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、
主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定処理と、
類否指標値が類似を示す複数の副素片を前記各主素片について順次に選択する選択処理と、
前記各主素片の楽音データを、前記選択処理で当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工処理と、
前記主素片の特徴量と前記選択処理にて当該主素片について選択した複数の副素片の各々の特徴量とを示す図表を表示装置に表示する表示制御処理と
を実行させるプログラム。
【請求項８】
楽曲を区分した各素片の楽音データと前記各素片の音響的な複数の特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、
主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との前記複数の特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定処理と、
類否指標値が類似を示す副素片を前記各主素片について順次に選択する選択処理と、
前記各主素片の楽音データを、前記選択処理で当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工処理と、
前記主素片の特徴量と前記選択処理にて当該主素片について選択した副素片の特徴量とを示す図表を前記複数の特徴量の各々について個別に表示装置に表示する表示制御処理と
を実行させるプログラム。
【請求項９】
楽曲を区分した各素片の楽音データと前記各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、
利用者からの指示に応じて楽曲毎に第２調整値を可変に設定する第２設定処理と、
主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する処理であって、前記各副素片が属する楽曲について設定された第２調整値に応じて変化するように前記主素片と当該副素片との類否指標値を算定する類否算定処理と、
類否指標値が類似を示す副素片を前記各主素片について順次に選択する選択処理と、
前記各主素片の楽音データを、前記選択処理で当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工処理と、
前記主素片の特徴量と前記選択処理にて当該主素片について選択した副素片の特徴量とを示す図表を表示装置に表示する表示制御処理と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲を加工する技術に関する。
【背景技術】
【０００２】
例えばディスクジョッキ（ＤＪ）は、複数の楽曲を途切れなく連結しながら次々に再生する。このような再生を実現するために、例えば特許文献１には、相前後する各楽曲の拍位置が合致するように各々の再生の時期を制御することで複数の楽曲を円滑に連結する技術が開示されている。
【特許文献１】特開２００３−１０８１３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、複数の楽曲から自然で洗練された雰囲気の楽曲を編成するためには、楽曲を再生する時期の調整に加えて適切な楽曲の選択が重要な要件となる。すなわち、特許文献１の技術のように単純に各楽曲の拍位置を合致させたとしても、例えば各楽曲の音楽的な特徴が大幅に相違するような場合には聴感上において自然な楽曲を編成することができない。以上の事情を背景として、本発明は、複数の楽曲から違和感のない楽曲を生成するという課題の解決をひとつの目的としている。
【課題を解決するための手段】
【０００４】
以上の課題を解決するために、本発明に係る楽曲加工装置が採用する構成を説明する。
【０００５】
以下に例示する構成においては、主素片との類否指標値に応じて選択された副素片が当該主素片の加工に使用されるから、利用者が各楽曲の類似性や調和性を把握していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能である。また、主素片の特徴量と副素片の特徴量とを示す図表が表示装置に表示されるから、当該図表を視認することで利用者は主楽曲および副楽曲の各々の特徴量の大小を直感的に把握できる。
【０００６】
本発明の好適な態様において、素片は、例えば、楽曲の拍に同期した時点で楽曲を区分した区間である。より具体的には、ひとつまたは複数の拍を単位として楽曲を区分した区間や相前後する各拍の間隔を複数に区分した区間（例えば1/2拍や1/4拍に相当する時間長の区間）が素片とされる。本態様によれば、拍に同期した時点で楽曲を区分した区間が素片とされるから、主楽曲のリズム感を維持しながら自然な楽音を生成することができる。もっとも、楽曲の拍とは非同期に画定された区間を素片としてもよい。
【０００７】
本発明の第１態様に係る楽曲加工装置は、楽曲を区分した各素片の楽音データと前記各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定手段と、類否指標値が類似を示す複数の副素片を前記各主素片について順次に選択する選択手段と、前記各主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工手段と、前記主素片の特徴量と前記選択手段が当該主素片について選択した複数の副素片の各々の特徴量とを示す図表を表示装置に表示する表示制御手段とを具備する。以上の態様によれば、選択手段が各主素片について複数の副素片を選択するから、ひとつの副素片のみが選択される構成と比較して多様な楽音を生成することができる。また、表示装置に表示された図表を確認することで利用者は主素片と各副素片との特徴量の大小を容易に把握できる。
【０００８】
本発明の第２態様に係る楽曲加工装置は、楽曲を区分した各素片の楽音データと前記各素片の音響的な複数の特徴量とを複数の楽曲の各々について記憶する記憶手段と、主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との前記複数の特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定手段と、類否指標値が類似を示す副素片を前記各主素片について順次に選択する選択手段と、前記各主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工手段と、前記主素片の特徴量と前記選択手段が当該主素片について選択した副素片の特徴量とを示す図表を前記複数の特徴量の各々について個別に表示装置に表示する表示制御手段とを具備する。以上の態様によれば、複数の特徴量に基づいて主素片と副素片との類否が判定されるから、特徴量が１種類である構成と比較して、主楽曲との類似度が充分に高い楽曲を容易に生成できるという利点がある。
【０００９】
本発明の好適な態様に係る楽曲加工装置は、利用者からの指示に応じて特徴量毎に第１調整値を可変に設定する第１設定手段を具備し、類否算定手段は、第１調整値に応じた各特徴量についての重み付けを含む演算によって、主素片と副素片との類否指標値を算定する。以上の態様によれば、類否指標値の算定に際して各特徴量について第１調整値に応じた重み付けが実行されるから、選択部による選択で優先されるべき特徴量を利用者が適宜に選択できるという利点がある。
【００１０】
さらに具体的な態様において、第１設定手段は、素片の同種の特性を示す複数の特徴量の各々の第１調整値を同値に設定する。以上の態様によれば、同種の特性を示す複数の特徴量の各々の第１調整値を個別に調整する煩雑な操作が不要となる。もっとも、同種の特性を示す各特徴量の第１調整値を個別に調整する構成も好適である。
【００１１】
本発明の好適な態様において、類否算定手段は、主素片の複数の特徴量のうち利用者が選択した特徴量を、利用者が指示した数値に置換して、類否指標値を算定する。以上の態様によれば、楽曲加工装置の生成する楽曲の曲調を利用者が精緻に調整できるという利点がある。
【００１２】
本発明の第３態様に係る楽曲加工装置は、楽曲を区分した各素片の楽音データと前記各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、利用者からの指示に応じて楽曲毎に第２調整値を可変に設定する第２設定手段と、主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する手段であって、前記各副素片が属する楽曲について設定された第２調整値に応じて変化するように前記主素片と当該副素片との類否指標値を算定する類否算定手段と、類否指標値が類似を示す副素片を前記各主素片について順次に選択する選択手段と、前記各主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工手段と、前記主素片の特徴量と前記選択手段が当該主素片について選択した副素片の特徴量とを示す図表を表示装置に表示する表示制御手段とを具備する。以上の態様においては、第２設定手段が設定する第２調整値に応じて類否指標値が楽曲毎に調整される。すなわち、各楽曲の副素片が主楽曲の加工に使用される頻度が第２調整値に応じて増減する。したがって、利用者の意図に合致した多様な楽曲を生成することが可能となる。
【００１３】
本発明に係る楽曲加工装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムによっても、本発明に係る楽曲加工装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。
【発明を実施するための最良の形態】
【００１４】
＜Ａ：第１実施形態＞
図１は、本発明のひとつの形態に係る楽曲加工装置の構成を示すブロック図である。本形態の楽曲加工装置１００は、複数の楽曲を利用してひとつの楽曲（以下「主楽曲」という）を加工する装置である。図１に示すように、楽曲加工装置１００は、制御装置１０と記憶装置３０とを具備するコンピュータシステムで実現される。
【００１５】
制御装置１０は、プログラムの実行によって様々な処理を実行するとともに楽曲加工装置１００の各要素を制御する。記憶装置３０は、制御装置１０が実行するプログラムや制御装置１０が使用する各種のデータを記憶する。半導体記憶装置や磁気記憶装置といった公知の記録媒体が記憶装置３０として任意に採用される。図１に示すように、記憶装置３０は、複数の楽曲の各々について楽曲データを記憶する。
【００１６】
図２は、楽曲の構成を示す概念図である。楽曲内には区間Ｓが画定される。区間Ｓは、例えば、楽曲のなかの特徴的な区間（例えばサビの区間）を含む複数の小節で構成される部分であり、例えば利用者が入力装置４２を操作することで楽曲中に始点と終点とを設定することで画定される。ただし、区間Ｓの選定の仕方や区間Ｓの時間長は任意である。例えば、楽曲の全部をひとつの区間Ｓとしてもよいし、ひとつの楽曲から複数の区間Ｓを抽出してもよい。
【００１７】
図２に示すように、区間Ｓは、楽曲の拍点（ビート）に同期した時点を境界として複数の区間（以下「素片」という）Ｐに区分される。例えば、ひとつまたは複数の拍に相当する区間やひとつの拍を複数に等分した区間（すなわち1/2拍や1/4拍に相当する区間）が素片Ｐとされる。もっとも、拍点とは無関係に素片Ｐを画定してもよい。
【００１８】
図１に示すように、ひとつの楽曲の楽曲データは、当該楽曲の区間Ｓに属する複数の素片Ｐの各々について、当該素片Ｐに属する楽音の波形を表す楽音データＡと、当該素片Ｐの音響的・音楽的な特徴を反映したＮ種類の特徴量Ｆ（Ｆ1〜ＦN）とを含む（Ｎは自然数）。なお、各特徴量Ｆの具体例については後述する。本形態では総ての楽曲データをひとつの記憶装置３０に格納するが、複数の楽曲データが複数の記憶装置に分散して記憶された構成や、各楽曲の楽音データＡと特徴量Ｆ1〜ＦNとが別個の記憶装置に格納された構成も採用される。
【００１９】
図１に示すように、制御装置１０には入力装置４２と表示装置４４と放音装置４６とが接続される。入力装置４２は、利用者が楽曲加工装置１００に対する指示を入力するための機器（例えばマウスやキーボード）である。例えば、利用者は、入力装置４２を適宜に操作することで、楽曲加工装置１００による処理の対象となるＭ個（Ｍは自然数）の楽曲を指定するとともにＭ個の楽曲のなかから主楽曲を選択する。表示装置４４は、制御装置１０による制御のもとに画像を表示する。
【００２０】
放音装置４６は、制御装置１０から順次に出力される楽音データＡに基づいて放音する。例えば、放音装置４６は、楽音データＡからアナログの信号を生成するＤ／Ａ変換器と、Ｄ／Ａ変換器が出力する信号を増幅する増幅器と、増幅器が出力する信号に応じた音波を出力する放音機器（スピーカやヘッドホン）とを含む。
【００２１】
次に、制御装置１０の具体的な機能を説明する。図１に示すように、制御装置１０は、記憶装置３０に格納されたプログラムを実行することで複数の要素（類否算定部１２，選択部１４，加工部１６，表示制御部１８，第１設定部２１，第２設定部２２）として機能する。なお、制御装置１０の各要素は、楽音の処理に専用されるＤＳＰなどの電子回路によっても実現される。また、制御装置１０は、複数の集積回路に分散して実装されてもよい。
【００２２】
類否算定部１２は、主楽曲を構成する複数の素片Ｐの各々（以下「主素片Ｐm」という）について、Ｍ個の楽曲（主楽曲を含む）における当該主素片Ｐm以外の素片（以下「副素片Ｐs」という）の特徴量Ｆ1〜ＦNと主素片Ｐmの特徴量Ｆ1〜ＦNとの類否の指標となる類否指標値Ｒを副素片Ｐs毎に算定する。選択部１４は、主楽曲の各主素片Ｐmについて、当該主素片Ｐmとの間の類否指標値Ｒが類似を示す所定個（本形態では４個）の副素片Ｐsを選択する。例えば、類否指標値Ｒの示す類似の程度が高い順番に上位４個の副素片Ｐsが選択される。
【００２３】
加工部１６は、主楽曲における配列の順番で各主素片Ｐmを順次に選択し、当該主素片Ｐmの楽音データＡを、選択部１４が当該主素片Ｐmについて選択した所定個の副素片Ｐsの楽音データＡに置換したうえで順次に出力する。さらに詳述すると、加工部１６は、第１に、選択部１４が選択した各副素片Ｐsの楽音データＡを記憶装置３０から取得し、第２に、主素片Ｐmと略同等の時間長となるように各副素片Ｐsの楽音データＡを時間軸に沿って圧伸する。楽音データＡの圧伸には、楽音の音高を変化させずに時間長を調整する公知の技術が任意に採用される。第３に、加工部１６は、圧伸後の各副素片Ｐsの楽音データＡを加算したうえで放音装置４６に順次に出力する。したがって、主楽曲の各主素片Ｐmの楽音に代えて、音響的な特徴が当該主素片Ｐmに類似する他の副素片Ｐsの楽音が放音装置４６から再生される。主楽曲の区間Ｓのうち最後の主素片Ｐmについて処理が完了すると、加工部１６は、当該区間Ｓの最初の主素片Ｐmから順番に以上の加工を繰返す。
【００２４】
表示制御部１８は、表示装置４４に各種の画像を表示させる手段である。本形態の表示制御部１８は、図３の状態画面４４１や図５の操作画面４４２を楽曲加工装置１００の動作中に継続的に表示装置４４に表示させる。
【００２５】
図３に示す状態画面４４１は、主素片Ｐmと選択部１４が当該主素片Ｐmについて選択した４個の副素片Ｐsとの各々について特徴量Ｆ1〜ＦNの大小を表示するための画面であり、特徴量Ｆ1〜ＦNの各々に対応するＮ個の単位領域Ｕ（Ｕ1〜ＵN）が配置される。状態画面４４１は、主楽曲のうち副素片Ｐsに応じた加工の対象となる主素片Ｐmが順次に選択されるたびに（すなわち主楽曲の進行に伴なって）、当該主素片Ｐmの特徴量Ｆ1〜ＦNと各副素片Ｐsの特徴量Ｆ1〜ＦNとに応じて順次に更新される。
【００２６】
図３の状態画面４４１に例示された各特徴量Ｆの具体的な内容を以下に説明する。特徴量Ｆ1として単位領域Ｕ1に表示される音響エネルギ（Energy）は、各素片Ｐ内の楽音（音波）のエネルギである。特徴量Ｆ2として単位領域Ｕ2に表示される低域音響エネルギ比（Energy Band Ratio Bass）は、素片Ｐの音響エネルギの総和に対する100Hz以下の成分の音響エネルギの相対比である。特徴量Ｆ3として単位領域Ｕ3に表示される中域音響エネルギ比（Energy Band Ratio Middle）は、素片Ｐの音響エネルギの総和に対する中間域の成分の音響エネルギの相対比である。また、特徴量Ｆ4として単位領域Ｕ4に表示されるスペクトル重心（Spectral Centroid）は、素片Ｐ内の楽音のパワースペクトルにおける幾何学的な重心に相当する周波数である。
【００２７】
ＰＣＰ（Pitch Class Profile）は、素片Ｐの楽音のパワースペクトルを１オクターブに相当する周波数帯域毎に区分して各々を重ね合わせたスペクトル（オクターブプロファイル）において、各音階に対応した周波数帯域（以下「ピッチクラス」という）毎の強度（例えば当該ピッチクラスにおけるピークの強度）である。ひとつのピッチクラスにおける強度がひとつの特徴量Ｆに相当する。本形態においては、１オクターブの周波数帯域のうち半音に相当する１２個の周波数帯域の各々をさらに３等分した周波数帯域をピッチクラスとする。したがって、ＰＣＰは、３６個の特徴量Ｆ5〜Ｆ40として単位領域Ｕ5〜Ｕ40に表示される。なお、ＰＣＰについては特開2000-298475号公報に詳述されている。
【００２８】
ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）は、素片Ｐの楽音の音響的な特性を複数（本形態では１３個）の数値で表現する。ＭＦＣＣのひとつの数値がひとつの特徴量Ｆに相当する。すなわち、ＭＦＣＣは、１３個の特徴量Ｆ41〜Ｆ53として単位領域Ｕ41〜Ｕ53に表示される。
【００２９】
図４は、特徴量Ｆi（ｉ＝１〜Ｎ）に対応する単位領域Ｕiを拡大した模式図である。単位領域Ｕ1〜ＵNの各々は、縦方向に配列する第１領域５１と第２領域５２とを含む。単位領域Ｕiの第１領域５１には、主素片Ｐmの特徴量Ｆiと選択部１４が当該主素片Ｐmについて選択した４個の副素片Ｐsの各々の特徴量Ｆiとを示す図表が配置される。本形態の第１領域５１には、各素片Ｐの特徴量Ｆiが棒グラフとして表示される。すなわち、主素片Ｐmの特徴量Ｆiに応じて長さが選定された白色の縦線５１１と、各副素片Ｐsの特徴量Ｆiに応じて長さが選定された色付き（例えば赤色）の４本の縦線５１２とが横方向に配列される。
【００３０】
単位領域Ｕiの第２領域５２には操作子（スライダ）５２１が配置される。利用者は、入力装置４２を適宜に操作する（例えばマウスをドラッグする）ことで、単位領域Ｕi毎（特徴量Ｆi毎）に独立して操作子５２１を上下に移動することができる。また、利用者は、入力装置４２に所定の操作を付与する（例えば特定のキーを押下しながらマウスをドラッグする）ことで、同種の特性を示す各特徴量Ｆに対応した複数の操作子５２１を一括的に同じ位置に移動することが可能である。例えば、ＰＣＰに対応する３６個の単位領域Ｕ5〜Ｕ40の各操作子５２１は、単位領域Ｕ5〜Ｕ40のなかの何れかの操作子５２１を適宜に操作することで一斉に同じ位置に移動する。
【００３１】
図１の第１設定部２１は、特徴量Ｆ1〜ＦNの各々について調整値Ｘ（Ｘ1〜ＸN）を設定する。さらに詳述すると、第１設定部２１は、状態画面４４１における単位領域Ｕiの操作子５２１の位置に応じて（すなわち利用者からの指示に応じて）特徴量Ｆiの調整値Ｘiを設定する。調整値Ｘiは、操作子５２１の位置に応じて連続的に変化する。また、同種の特徴量Ｆに対応する複数の操作子５２１が一括的に操作されると、第１設定部２１は、各特徴量Ｆに対応した複数の調整値Ｘを同値に設定する。例えば、単位領域Ｕ5〜Ｕ40の各操作子５２１が一括的に操作された場合、ＰＣＰを表す複数の特徴量Ｆ5〜Ｆ40に対応した調整値Ｘ5〜Ｘ40は、各操作子５２１の位置に応じた共通の数値に設定される。
【００３２】
次に、図５は、操作画面４４２の具体例を示す模式図である。図５に示すように、操作画面４４２には、利用者が選択したＭ個（本形態では８個）の楽曲の名称（Name）と、Ｍ個の楽曲の各々に対応するＭ個の操作子（スライダ）５６とが配置される。利用者は、入力装置４２を適宜に操作することで、楽曲毎に独立して操作子５６を上下に移動することができる。図１の第２設定部２２は、Ｍ個の楽曲の各々について、操作画面４４２のうち当該楽曲に対応する操作子５６の位置に応じた調整値Ｙを個別に設定する。例えば、調整値Ｙは、操作子５６が下端にある場合にゼロに設定され、操作子が上端に接近するほど増加する。
【００３３】
次に、図１の類否算定部１２の具体的な構成を説明する。類否算定部１２は、第１演算部１２１と第２演算部１２２とで構成される。第１演算部１２１は、各主素片Ｐmについて、類否指標値Ｒの基礎となる基礎指標値Ｒ0をＭ個の楽曲の副素片Ｐs毎に算定する。基礎指標値Ｒ0は、類否指標値Ｒと同様に、主素片Ｐmと副素片Ｐsとの特徴量Ｆ1〜ＦNの類否の指標となる数値である。
【００３４】
さらに詳述すると、第１演算部１２１は、調整値Ｘiが大きい特徴量Ｆiほど基礎指標値Ｒ0に対する寄与度（影響度）が増大するように主素片Ｐmと副素片Ｐsとの基礎指標値Ｒ0を算定する。すなわち、第１演算部１２１は、特徴量Ｆiについて調整値Ｘiに応じた重み付けを実行したうえで基礎指標値Ｒ0を算定する。例えば、主素片Ｐmの特徴量Ｆiと副素片Ｐsの特徴量Ｆiとの相違が拡大するほど増加する指標値Δiを定義すると、基礎指標値Ｒ0は、以下の式(1)で表現される距離Ｄの逆数として算定される。
Ｄ＝（Ｘ1・Δ1＋Ｘ2・Δ2＋Ｘ3・Δ3＋……＋ＸN・ΔN）１/２  ……(1)
【００３５】
指標値Δｉは、例えば、主素片Ｐmの特徴量Ｆiと副素片Ｐsの特徴量Ｆiとの差分値の２乗である。すなわち、基礎指標値Ｒ0は、特徴量Ｆ1〜ＦNを座標値として主素片Ｐmおよび副素片Ｐsの各々についてＮ次元空間に特定される各座標間の距離（ユークリッド距離）を、特徴量Ｆiについて調整値Ｘiに応じた重み付けした場合の距離Ｄの逆数として定義される。したがって、主素片Ｐmと副素片Ｐsとは、両者間の基礎指標値Ｒ0が大きいほど音響的な特徴が類似する。
【００３６】
第２演算部１２２は、副素片Ｐs毎に算定された基礎指標値Ｒ0を、当該副素片Ｐsの属する楽曲について第２設定部２２が設定した調整値Ｙに応じて調整することで類否指標値Ｒを算定する。さらに詳述すると、第２演算部１２２は、ひとつの楽曲の各副素片Ｐsについて算定された基礎指標値Ｒ0と、第２設定部２２が当該楽曲について設定した調整値Ｙとの乗算値を類否指標値Ｒとして算定する。
【００３７】
以上に説明したように、主楽曲の各主素片Ｐmの楽音データＡは、音響的な特徴が当該主素片Ｐmに類似する複数の副素片Ｐsに応じて加工（置換）される。したがって、利用者が各楽曲の類似性や調和性について熟知していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能である。また、各楽曲が拍単位で素片Ｐに区分されるとともに、選択部１４の選択した副素片Ｐsが主素片Ｐmの時間長に調整されたうえで主素片Ｐmの加工に使用されるから、主楽曲のリズム感が損なわれることもない。
【００３８】
また、主素片Ｐmの特徴量Ｆiと選択部１４が選択した複数の副素片Ｐsの各々の特徴量Ｆiとが状態画面４４１に図表として表示されるから、利用者は、状態画面４４１を視認することで主素片Ｐmおよび各副素片Ｐsの特徴量Ｆiを直感的に把握できる。特に、主素片Ｐmの特徴量Ｆiの縦線５１１と副素片Ｐsの特徴量Ｆiの縦線５１２とが別の態様（色彩）で表示されるから、主素片Ｐmの特徴量Ｆiと各副素片Ｐsの特徴量Ｆiとの大小を利用者が容易に確認できるという利点がある。
【００３９】
さらに、特徴量Ｆ1〜ＦNの各々の調整値Ｘ1〜ＸNが利用者による指示に応じて可変に設定されるから、主素片Ｐmと副素片Ｐsとの類否の判定にて優先されるべき特徴量Ｆを利用者が選択できる。したがって、利用者の意図した曲調の楽曲を容易に編成することが可能である。例えば、ＰＣＰは楽音の和声感（ハーモニー）を反映するから、ＰＣＰ（特徴量Ｆ5〜Ｆ40）に関する調整値Ｘ5〜Ｘ40を増加させるほど、和声感が主楽曲に類似する副素片Ｐsを選択部１４が選択する可能性（換言すると和声感が主楽曲に類似する楽曲が再生される可能性）が高まる。あるいは、ＭＦＣＣは楽音の音色を反映するから、ＭＦＣＣ（特徴量Ｆ41〜Ｆ53）に関する調整値Ｘ41〜Ｘ53を増加させるほど、音色が主楽曲に類似する副素片Ｐsを選択部１４が選択する可能性が高まる。また、状態画面４４１における操作子５２１の移動によって各特徴量Ｆの調整値Ｘが設定されるから、優先される特徴量Ｆを利用者が直感的に把握できるという利点もある。
【００４０】
さらに、ＰＣＰやＭＦＣＣといった同種の複数の特徴量Ｆが利用者による操作に応じて一括的して同値に設定され得る。したがって、ＰＣＰやＭＦＣＣについて各特徴量Ｆを個別に設定するといった煩雑な作業を不要とすることができる。一方、同種の複数の特徴量Ｆの各々を個別に設定することも可能であるから、各調整値Ｘを細かく設定したいという利用者にとって利便性が損なわれることもない。
【００４１】
また、類否指標値Ｒは調整値Ｙに応じて楽曲毎に調整されるから、調整値Ｙが大きい数値に設定された楽曲の副素片Ｐsほど、選択部１４によって選択される可能性（頻度）が高くなる。すなわち、入力装置４２に対する操作によって特定の楽曲の調整値Ｙを増減させることで、主素片Ｐmが当該楽曲の副素片Ｐsに置換される頻度が増減する。したがって、調整値Ｙが固定された構成（あるいは基礎指標値Ｒ0が類否指標値Ｒとして選択部１４に出力される構成）と比較して、利用者の意図に沿った多様な楽曲を編成することが可能である。しかも、操作画面４４２における各操作子５６の移動によって各楽曲の調整値Ｙが可変に設定されるから、優先的に出力される楽曲を利用者が直感的に把握できるという利点もある。
【００４２】
＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、本形態において作用や機能が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
【００４３】
図６は、状態画面４４１の具体例を示す模式図である。状態画面４４１は、第１実施形態と同様に、特徴量Ｆ1〜ＦNに対応するＮ個の単位領域Ｕ1〜ＵNを含む。図７は、ひとつの単位領域Ｕiを拡大した模式図である。図７に示すように、単位領域Ｕiは、第１実施形態と同様の第１領域５１および第２領域５２に加えて第３領域５３を含む。第３領域５３には操作子（スライダ）５３１が配置される。利用者は、楽曲の再生中に入力装置４２を適宜に操作することで、単位領域Ｕi毎（特徴量Ｆi毎）に独立して操作子５３１を上下に移動することができる。
【００４４】
第１設定部２１は、第２領域５２の操作子５２１の位置に応じて調整値Ｘiを設定するとともに、第３領域５３の操作子５３１の位置に応じて特徴量Ｆiについて指示値Ｚiを設定する。各操作子５３１を独立に移動する操作のほかに、同種の特性に対応した複数の操作子５３１を一括して移動する操作が可能な点は操作子５２１と同様である。
【００４５】
図６に示すように、各単位領域Ｕiの近傍には操作子５４（ボタン）が配置される。ただし、同種の特性（例えばＰＣＰやＭＦＣＣ）を表す複数の特徴量Ｆについては、当該特徴量Ｆに対応する複数の単位領域Ｕiに対してひとつの操作子５４が配置される。
【００４６】
何れかの操作子５４が操作されると、表示制御部１８は、図６に示す選択画像５５を表示する。選択画像５５は、類否指標値Ｒ（基礎指標値Ｒ0）の算定の方法を利用者が選択するための画像である。選択画像５５には複数の選択肢が配列される。利用者は、入力装置４２を適宜に操作することで、ひとつの特徴量Ｆまたは同種の特性を示す複数の特徴量Ｆについて、何れかの選択肢を選択することができる。選択画像５５は、「Euclid（ユークリッド距離）」と「Cosine（余弦）」と「Ignore（無視）」と「Replace（置換）」とを選択肢として含む。
【００４７】
「Euclid」が選択されたひとつまたは複数の特徴量Ｆについて、第１演算部１２１は、第１実施形態と同様の方法（式(1)）で主素片Ｐmと副素片Ｐsとの距離Ｄを算定し、当該距離Ｄの逆数を指標値ｒ1として選定する。各主素片Ｐmについて副素片Ｐs毎に指標値ｒ1が算定される。
【００４８】
「Cosine」が選択された複数の特徴量Ｆについて、第１演算部１２１は、主素片Ｐmの当該各特徴量Ｆを要素とするベクトルと副素片Ｐsの当該各特徴量Ｆを要素とするベクトルとの仰角θの余弦cosθを指標値ｒ2として副素片Ｐs毎に算定する。例えば、ＰＣＰを表す複数の特徴量Ｆ5〜Ｆ40について「Cosine」が選択された場合、第１演算部１２１は、主素片Ｐmの特徴量Ｆ5〜Ｆ40で定義される３６次元のベクトルと副素片Ｐsの特徴量Ｆ5〜Ｆ40で定義されるベクトルとに基づいて指標値ｒ2を算定する。主素片Ｐmの各特徴量Ｆと副素片Ｐsの各特徴量Ｆとが類似するほど（両ベクトルの仰角θが小さいほど）余弦cosθは大きい数値となるから、指標値ｒ1（距離Ｄ）と同様に、指標値ｒ2は主素片Ｐmと副素片Ｐsとの類否の指標となる。なお、余弦cosθを選定するためには複数の特徴量Ｆが必要である。したがって、ひとつで素片Ｐの特性を表す特徴量Ｆ（音響エネルギやスペクトル重心）については「Cosine」の選択が禁止される。
【００４９】
「Ignore」が選択された各特徴量Ｆについては基礎指標値Ｒ0の算定に際して無視される。すなわち、第１演算部１２１は、主素片Ｐmおよび副素片Ｐsの何れについても当該特徴量Ｆをゼロに設定して、基礎指標値Ｒ0を算定する。なお、「Ignore」が選択された特徴量Ｆiについて調整値Ｘiを強制的にゼロに設定する構成でもよい。
【００５０】
「Replace」が選択されたひとつまたは複数の特徴量Ｆについて、第１演算部１２１は、主素片Ｐmの特徴量Ｆiを、当該特徴量Ｆiについて利用者が指示した指示値Ｚi（すなわち単位領域Ｕiの操作子５３１の位置に応じた数値）に置換する。副素片Ｐsの特徴量Ｆは置換されない。第１演算部１２１は、「Replace」が選択された複数の特徴量Ｆについて、各副素片Ｐsと置換後の主素片Ｐmとの距離Ｄを第１実施形態と同様の方法（式(1)）で算定し、当該距離Ｄの逆数を指標値ｒ3として選定する。なお、「Replace」が選択された複数の特徴量Ｆについて、「Cosine」が選択された場合と同様に、副素片Ｐsと置換後の主素片との余弦cosθを指標値ｒ3として算定してもよい。
【００５１】
第１演算部１２１は、指標値ｒ1と指標値ｒ2と指標値ｒ3とに基づいて基礎指標値Ｒ0を算定する。第１実施形態と同様に、主素片Ｐmと副素片Ｐsとが類似するほど（すなわち、各指標値（ｒ1，ｒ2，ｒ3）が増加するほど）基礎指標値Ｒ0が増加するように、各主素片Ｐmについて副素片Ｐs毎に基礎指標値Ｒ0が算定される。以後の動作は第１実施形態と同様である。
【００５２】
以上に説明したように、本形態においては、基礎指標値Ｒ0（さらには類否指標値Ｒ）の算定の方法が変更されるから、各特徴量Ｆと基礎指標値Ｒ0の算定の方法とについて多様な組合せを試行的に選択することで、利用者の意図に正確に合致した楽曲を生成することが可能となる。
【００５３】
＜Ｃ：変形例＞
以上の各形態には以下に例示するような様々な変形を加えることができる。なお、以下の例示から２以上の態様を任意に選択して組合わせてもよい。
【００５４】
（１）変形例１  
以上の各形態においては、主楽曲の各主素片Ｐmを必ず副素片Ｐsに置換したが、主素片Ｐmの楽音も再生され得る構成としてもよい。例えば、ひとつの主素片Ｐmについて副素片Ｐs毎に算定された複数の類否指標値Ｒのなかの最大値が所定の閾値を下回る場合（主素片Ｐmに充分に類似する副素片Ｐsが存在しない場合）、選択部１４は、当該主素片Ｐmの楽音データＡを記憶装置３０から取得して放音装置４６に出力する。以上の構成によれば、再生音の曲調が余りに主素片から乖離することが回避される。
【００５５】
また、選択部１４が副素片Ｐsを選択する方法は適宜に変更される。例えば、類否指標値Ｒが最大となるひとつの副素片Ｐsのみを選択部１４が選択する構成や、類否指標値Ｒが閾値を上回る任意の個数の副素片Ｐsを選択部１４が選択する構成も採用される。
【００５６】
（２）変形例２  
以上の各形態においては、主楽曲のうち処理の対象として現に選択されている主素片Ｐm以外の素片Ｐを副素片Ｐsとして選択部１４による選択の候補としたが、Ｍ個の楽曲のうち主楽曲を除外した(Ｍ−１)個の楽曲の各素片Ｐのみを副素片Ｐsとする構成も好適である。同じ楽曲中の各素片Ｐは音響的な特徴が類似する場合が多いから、第１実施形態の構成においては、主素片Ｐmに類似する副素片Ｐsとして主楽曲中の素片Ｐが選択される可能性が高い。一方、選択部１４による選択の対象から主楽曲の素片Ｐを除外する構成によれば、主楽曲以外の楽曲の素片Ｐを利用して多様な楽曲を生成することが可能となる。
【００５７】
（３）変形例３  
以上の各形態においては主素片Ｐmを副素片Ｐsに置換する構成を例示したが、副素片Ｐsに基づいて主素片Ｐmを加工する方法は楽音データＡの置換に限定されない。例えば、主素片Ｐmの楽音データＡと選択部１４が選択した各副素片Ｐsの楽音データＡとを所定の比率で混合して出力してもよい。
【００５８】
（４）変形例４  
類否指標値Ｒを算定する方法は任意である。例えば、以上においては主素片Ｐmと副素片Ｐsとの類似度が高いほど増加する類否指標値Ｒを例示したが、類否指標値Ｒは、主素片Ｐmと副素片Ｐsとの類似度が高いほど減少する数値であってもよい。また、第１演算部１２１が調整値Ｘに応じた調整を実行しない構成や、第２演算部１２２を省略した構成（基礎指標値Ｒ0を類否指標値Ｒとして選択部１４に出力する構成）も採用される。
【００５９】
（５）変形例５  
主素片Ｐmおよび各副素片Ｐsの特徴量Ｆを表示する図表は棒グラフに限定されない。例えば、主素片Ｐmおよび各副素片Ｐsの各特徴量Ｆに応じた位置に点を配置した図表や、各点を直線的に連結した折れ線グラフを採用してもよい。
【００６０】
（６）変形例６  
特徴量Ｆの種類は以上の例示に限定されない。素片Ｐ内の楽音の時間軸上におけるエネルギ分布の重心の位置（Audio Centroid）や、素片Ｐ内の全体にわたる音量の標準偏差（Dynamic Complexity）、周波数が所定値を上回る成分の強度（High Frequency Content）、楽曲（区間Ｓ）に対する素片Ｐの始点の時刻（Region Begin）および終点の時刻（Region End）が採用される。また、ＨＰＣＰ（Harmonic Pitch Class Profile）を特徴量Ｆとしてもよい。ＨＰＣＰは、素片Ｐの楽音のパワースペクトルを１オクターブ毎に区分した複数の周波数帯域の各々における各ピークの強度を重畳して得られる数値列（すなわち、パワースペクトルのピークのみを対象としたＰＣＰ）である。さらに、素片Ｐ内の楽音のスペクトルにおける尖度（Spectral Kurtosis）や歪度（Spectral Skewness）、概略的な傾斜（Spectral Decrease）、分布幅（Spectral Spread）など素片Ｐ内の楽音のパワースペクトルの形状を特徴づける数値を特徴量Ｆとしてもよい。また、以上の形態におけるＰＣＰやＭＦＣＣと同様に複数で素片Ｐのひとつの特性を表す特徴量Ｆとしては、周波数軸上に画定された複数の帯域の各々における強度（Barkbands）や、周波数軸上にメル尺度で画定された複数の周波数帯域（メル周波数帯域）の各々における素片Ｐのエネルギ（ＭＦＣＣの算定時における離散コサイン変換前の数値群）が採用される。また、素片Ｐの特徴量Ｆが１種類のみである構成も採用される。
【００６１】
選択部１４が選択した副素片Ｐsの特徴量Ｆを主素片Ｐmの当該特徴量Ｆに近づける構成も好適である。例えば、選択部１４の選択した副素片Ｐsの音響エネルギ（特徴量Ｆ1）が主素片Ｐmの音響エネルギに近づく（理想的には一致する）ように、当該副素片Ｐsの楽音データＡが表す波形の振幅を増減（例えば所定値を乗算）する構成が採用される。また、副素片Ｐsの楽音の周波数軸上の強度の分布（barkbands）が主素片Ｐmの楽音の強度の分布に近づく（または一致する）ように、当該副素片Ｐsの楽音データＡが表す波形にフィルタ処理（例えばバンドパスフィルタバンクを利用したフィルタ処理）を実行する構成によれば、副素片Ｐsの音色感を主素片Ｐmに近づけることが可能である。
【００６２】
また、選択部１４が選択した副素片Ｐsのピッチを主素片Ｆに近づけて再生する構成も好適である。例えば、各副素片Ｐsと主素片Ｐmとの間でＰＣＰ（またはＨＰＣＰ）対比することで両者間の音程の相違（ズレ）を半音単位で同定し、音程の相違が少ない副素片Ｐsほど選択の可能性が高まるように類否算定部１２が類否指標値Ｒ（基礎指標値Ｒ0）を算定する一方、選択部１４が選択した副素片Ｐsのピッチを主素片Ｐmとの音程の相違に応じて加工部１６が変換（ピッチシフト）して再生する構成も好適に採用される。以上の構成によれば、主素片Ｐmの旋律に近似したピッチに補正された状態で各副素片Ｐsが再生されるから、主楽曲の曲調を充分に維持した再生音を生成することができる。なお、以上においては主素片Ｐmのピッチに合致するように副素片Ｐsのピッチを変換したが、主素片Ｐmのピッチを基準として副素片Ｐsのピッチを任意量だけ変換する構成も採用される。
【図面の簡単な説明】
【００６３】
【図１】本発明の第１実施形態に係る楽曲加工装置の構成を示すブロック図である。
【図２】楽曲の素片について説明するための概念図である。
【図３】状態画面の具体例を示す模式図である。
【図４】単位領域の具体例を示す模式図である。
【図５】操作画面の具体例を示す模式図である。
【図６】本発明の第２実施形態における状態画面の具体例を示す模式図である。
【図７】単位領域の具体例を示す模式図である。
【符号の説明】
【００６４】
１００……楽曲加工装置、１０……制御装置、１２……類否算定部、１２１……第１演算部、１２２……第２演算部、１４……選択部、１６……加工部、１８……表示制御部、２１……第１設定部、２２……第２設定部、３０……記憶装置、４２……入力装置、４４……表示装置、４６……放音装置、４４１……状態画面、４４２……操作画面、Ｕ（Ｕi）……単位領域。
【図１】
0005135982.tif 000002
【図２】
0005135982.tif 000003
【図３】
0005135982.tif 000004
【図４】
0005135982.tif 000005
【図５】
0005135982.tif 000006
【図６】
0005135982.tif 000007
【図７】
0005135982.tif 000008