(57)【要約】【課題】複数の音素材からの検索をより直観的で分かりやすい操作により行えるようにする。【手段】ＣＰＵ２２は、表示部１７の表示領域内にオブジェクトｏｂ−ｉが表示されると、そのオブジェクトｏｂ−ｎに対応させる音素材の検索条件ＳＣ−ｎとその検索結果ＳＲ−ｎをＲＡＭ２３に書き込む。そして、ＣＰＵ２２は、オブジェクトｏｂ−ｉの形態が変化するたび、その形態と対応させて検索条件ＳＣ−ｎを変化させつつ検索を行い、音素材データベース２７，２８と曲データベース２６から得られた検索結果ＳＲ−ｎをＲＡＭ２３に書き込む。【選択図】図１
2010243892.tif 000002
【特許請求の範囲】
【請求項１】
各音素材とそれらの音素材の特徴量を示す複数種類の特徴量データとを対応づけて記憶する記憶手段と、
操作手段と、
表示手段と、
音素材の特徴量の検索条件を示す画像であるオブジェクトを前記表示手段に表示させ、前記操作手段の操作に応じて、前記オブジェクトの形態と前記オブジェクトが示す特徴量の検索条件とを対応させて変化させ、前記記憶手段に記憶された音素材の中から、前記検索条件が示す特徴量に近い特徴量を有する音素材を検索する制御手段と
を具備することを特徴とする音検索装置。
【請求項２】
前記オブジェクトは、音素材の特徴量および要検索数の検索条件を示す画像であり、
前記制御手段は、
前記操作手段の操作に応じて、前記オブジェクトの形態と、前記オブジェクトが示す特徴量および要検索数の検索条件とを対応させて変化させ、前記記憶手段に記憶された音素材の中から、前記検索条件が示す特徴量に近い特徴量を有する音素材を前記検索条件が示す要検索数と同じ数だけ検索する
ことを特徴とする請求項１に記載の音検索装置。
【請求項３】
前記制御手段は、前記操作手段の操作に応じて、前記表示手段の表示領域内におけるオブジェクトを前記表示領域内に複製し、前記表示領域内に複製したオブジェクトが示す検索条件とその複製元のオブジェクトが示す検索条件とを共通に更新する
ことを特徴とする請求項４に記載の演奏装置。
【請求項４】
コンピュータに、
各音素材とそれらの音素材の特徴量を示す複数種類の特徴量データとを対応づけて記憶する記憶手段と、
音素材の特徴量の検索条件を示す画像であるオブジェクトを表示手段に表示させ、操作手段の操作に応じて、前記オブジェクトの形態と前記オブジェクトが示す特徴量の検索条件とを対応させて変化させ、前記記憶手段に記憶された音素材の中から、前記検索条件が示す特徴量に近い特徴量を有する音素材を検索する制御手段と
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音素材の検索を支援する技術に関する。
【背景技術】
【０００２】
断片的な音波形である音素材を集めたデータベースを有し、このデータベースから検索した音素材を繋ぎ合わせたフレーズを曲として演奏する演奏装置がある。この種の演奏装置のデータベースは、複数の種類の音素材とその各々について求めた複数の種類の特徴量とを対応づけたものとなっている。そして、検索者たるユーザが、自らがイメージする音素材の特徴量を検索画面を介して指定すると、その特徴量に近い特徴量をもった音素材がデータベースから検索され、フレーズの構成要素として提示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−１２１１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の演奏装置の検索画面には、検索条件となる特徴量を指定する条件指定欄が各特徴の種類ごとに個別に設けられていることが多かった。このため、検索者たるユーザは、複数の種類の特徴量を検索条件として音素材の検索を行う場合、それらの各々の条件指定欄の入力内容を見ただけでは自らが探している音素材の検索条件がよく分からないという問題があった。
本発明は、このような背景の下に案出されたものであり、複数の音素材を集めたデータベースからの音素材の検索を容易に行えるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、各音素材とそれらの音素材の特徴量を示す複数種類の特徴量データとを対応づけて記憶する記憶手段と、操作手段と、表示手段と、音素材の特徴量の検索条件を示す画像であるオブジェクトを前記表示手段に表示させ、前記操作手段の操作に応じて、前記オブジェクトの形態と前記オブジェクトが示す特徴量の検索条件とを対応させて変化させ、前記記憶手段に記憶された音素材の中から、前記検索条件が示す特徴量に近い特徴量を有する音素材を検索する制御手段とを具備する音検索装置を提供する。
【０００６】
本発明では、制御手段は、表示手段に表示させるオブジェクトの形態とそのオブジェクトが示す検索条件とを連動して変化させる。よって、操作者たるユーザは、オブジェクトの形態を見ればそのオブジェクトについて自らが指定した検索条件を理解することができ、自らのイメージにマッチした音素材の検索を容易に行うことができる。
【０００７】
なお、特許文献１に開示された演奏データ編集装置は、ある時間長分の音素材の複数のパターンを示すアイコンを操作画面であるソングウィンドウに並べて表示し、そのソングウィンドウにおいて選択されたアイコンと対応するパターンを繋ぎ合わせた曲の楽音信号を発生するものである。しかし、この演奏データ編集装置は、複数の音素材のなかから検索条件に適う音素材を検索するものではなく、本発明とはその内容を異にするものである。
【図面の簡単な説明】
【０００８】
【図１】この発明の一実施形態である音検索・演奏装置の構成を示すブロック図である。
【図２】同音検索・演奏装置の音素材データベースのデータ構造図である。
【図３】同音検索・演奏装置の表示部の表示領域内に表示されるエッジ音およびダスト音のオブジェクトを示す図である。
【図４】同表示領域内におけるオブジェクトの形態の変更を指示する操作である。
【図５】同表示領域内におけるオブジェクトの形態の変更を指示する操作である。
【図６】同表示領域内におけるオブジェクトの形態の変更を指示する操作である。
【図７】同表示領域内に表示されるタイムラインを示す図である。
【図８】同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。
【図９】同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。
【図１０】同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。
【図１１】同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。
【図１２】同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。
【図１３】同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。
【図１４】同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。
【図１５】同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照し、この発明の実施の形態を説明する。図１は、この発明の一実施形態である音検索・演奏装置１０の構成を示すブロック図である。この音検索・演奏装置１０は、パーソナルコンピュータに、本実施形態による音検索・演奏プログラム２９をインストールしたものである。ここで、音検索・演奏プログラム２９は、ユーザが行う操作に応じて、曲を構成するのに用いる音素材をデータベースから検索し、この検索した音素材を用いて作曲を行い、作曲した曲を演奏する機能を有しており、いわゆるループシーケンサに類するアプリケーションプログラムである。なお、本実施形態における音素材とは、曲中の１拍に相当する区間の音波形や１拍をさらに区分した区間の音波形である。本実施形態における音検索・演奏プログラム２９は、オブジェクト、タイムラインという既存のループシーケンサにないＧＵＩ（Graphical User Interface）を採用している。本実施形態の特徴は、オブジェクトおよびタイムラインを含むＧＵＩにある。なお、このＧＵＩの詳細については後述する。
【００１０】
図１に示すように、この音検索・演奏装置１０は、インターフェース１１を介してサウンドシステム９１と接続される。この音検索・演奏装置１０における操作部１３は、マウス１４、キーボード１５、およびドラムパッド１６を含む。表示部１７は、たとえば、コンピュータディスプレイである。
【００１１】
制御部２０は、ＣＰＵ２２、ＲＡＭ２３、ＲＯＭ２４、ハードディスク２５を有する。ＣＰＵ２２は、ＲＡＭ２３をワークエリアとして利用しつつ、ＲＯＭ２４やハードディスク２５に記憶されたプログラムを実行する。ＲＯＭ２４は、ＩＰＬ（Initial Program Loader）などを記憶した読み出し専用メモリである。
【００１２】
ハードディスク２５は、曲データベース２６、音素材データベース２７，２８、および音検索・演奏プログラム２９を記憶する。
曲データベース２６は、曲データｍｄ−ｋ（ｋ＝１，２…）を記憶したデータベースである。曲データｍｄ−ｋ（ｋ＝１，２…）は、１曲分の音波形を示すデータである。各曲データｍｄ−ｋ（ｋ＝１，２…）には個別の曲番号ｋが付与されている。
【００１３】
図２は、音素材データベース２７，２８のデータ構造図である。音素材データベース２７は、曲データｍｄ−ｋ（ｋ＝１，２…）に含まれる音素材のうちダスティーな感じの強い各音素材（以下、「ダスト音」と呼ぶ）と各々対応する複数のレコードの集合体である。音素材データベース２８は、曲データｍｄ−ｋ（ｋ＝１，２…）に含まれる音素材のうちアタックが明瞭でエッジ感の強い各音素材（以下、「エッジ音」と呼ぶ）と各々対応する複数のレコードの集合体である。これらの音素材データベース２７，２８は、曲データベース２６の曲データｍｄ−ｋ（ｋ＝１，２…）を特徴量解析プログラム（不図示）によって解析することにより生成されたものである。
【００１４】
より具体的に説明すると、音素材データベース２７において、１つのエッジ音と対応するレコードは、そのエッジ音が含まれている曲データｍｄ−ｋの曲番号ｋ、曲データｍｄ−ｋが示す１曲分の音波形内におけるそのエッジ音を含む区間の始点と終点の時刻ｔS，ｔE、およびそのエッジ音を含む区間の音波形（すなわち、音素材）を解析して得られた以下の６種類の特徴量を各々示す９つのフィールドを有する。
ａ１．低域強度ＰLOW
これは、音素材に含まれる低域の周波数成分の強度である。
ｂ１．中低域強度ＰMID-LOW
これは、音素材に含まれる中低域の周波数成分の強度である。
ｃ１．中高域強度ＰMID-HIGH
これは、音素材に含まれる中高域の周波数成分の強度である。
ｄ１．高域強度ＰHIGH
これは、音素材に含まれる高域の周波数成分の強度である。
ｅ１．ピーク位置ＰTIME
これは、当該波形において振幅がピークとなる時刻を時刻ｔｓを基準とした相対時刻として表わしたものである。
ｆ１．ピーク強度ＰVALUE
これは、音素材におけるピークの振幅である。
【００１５】
同様に、音素材データベース２８において、１つのダスト音と対応するレコードは、そのダスト音が含まれている曲データｍｄ−ｋの曲番号ｋ、曲データｍｄ−ｋが示す１曲分の音波形内におけるそのダスト音を含む区間の始点と終点の時刻ｔS，ｔE、およびそのダスト音を含む区間の音素材を解析して得られた前掲の６種類の特徴量ＰLOW、ＰMID-LOW、ＰMID-HIGH、ＰHIGH、ＰTIME、ＰVALUEを各々示す９つのフィールドを有する。
【００１６】
図１において、音検索・演奏プログラム２９は、オブジェクト管理処理３０、タイムライン管理処理３１、作曲情報管理処理３２、マニュアル演奏処理３３、自動演奏処理３４、検索処理３５、音加工処理３６、操作ログ管理処理３７の８種類の処理をＣＰＵ２２に実行させるプログラムである。図１において、音検索・演奏プログラム２９は、上述したようにオブジェクトおよびタイムラインを含むＧＵＩをユーザに提供する。その概要を説明すると次の通りである。
【００１７】
まず、オブジェクトは、発音させたい音素材の検索条件を表象するパターン画像である。本実施形態において、ユーザは、発音させたい音素材の種類に対応した個数のオブジェクトを作成可能である。オブジェクトの形態は、そのオブジェクトに対応付けられた音素材の検索条件を表す。ユーザは、操作部１３の操作により、オブジェクトに対応付けられた音素材の検索条件を変化させ、かつ、これに対応させてオブジェクトの形態を変化させることが可能である。
【００１８】
次に、タイムラインは、曲に周期的に繰り返し現れる１または複数の音素材の羅列であるフレーズの周期を表象する線画像である。タイムラインは、１小節を表象してもよいし、複数小節を表象してもよい。本実施形態において、フレーズの作曲は、タイムラインと１または複数のオブジェクトを表示部１７に表示させ、タイムラインに１または複数のオブジェクトを帰属させることにより行われる。この場合において、タイムラインに帰属する１または複数のオブジェクトは、タイムラインが表象する１つの周期（フレーズ）内において発音する音素材の検索条件と発音タイミングを指定する。本実施形態において、作曲の際には、複数のタイムラインを使用することも可能である。この場合において、各タイムラインは、作曲対象である曲において、同時進行する複数のフレーズの各々の周期を表象する。また、各タイムラインに、別個のオブジェクトを帰属させてもよいし、各タイムラインに共通のオブジェクトを帰属させることも可能である。
【００１９】
上述したように、音検索・演奏プログラム２９は、オブジェクト管理処理３０、タイムライン管理処理３１、作曲情報管理処理３２、マニュアル演奏処理３３、自動演奏処理３４、検索処理３５、音加工処理３６、操作ログ管理処理３７の８種類の処理をＣＰＵ２２に実行させるプログラムである。ここで、オブジェクト管理処理３０は、操作部１３の操作に応じて、オブジェクトの生成、変更、保存を行う処理である。また、タイムライン管理処理３１は、操作部１３の操作に応じて、タイムラインの生成および変更を行う処理である。また、作曲情報管理処理３２は、表示部１７に表示されるタイムラインおよびオブジェクトのレイアウト情報を曲データとして保存する処理と、保存された曲データに基づいてタイムラインとオブジェクトを表示部１７に再現させる処理とからなる。
【００２０】
また、マニュアル演奏処理３３は、ドラムパッド１６の操作等によるマニュアルトリガに応じて、オブジェクトが表象する検索条件に合致した音素材を発音させる処理である。また、自動演奏処理３４は、表示部１７に表示されたオブジェクトの内容および画面内のレイアウトに関する情報をオブジェクト管理処理３０と共有するとともに、表示部１７に表示されたタイムラインの内容および画面内のレイアウトに関する情報をタイムライン管理処理３１と共有し、表示部１７に表示された１または複数のタイムラインと１または複数のオブジェクトに従って１または複数のフレーズの自動演奏を行う処理である。
【００２１】
検索処理３５は、指定されたオブジェクトに対応付けられた検索条件に従って音素材の検索を行う処理であり、オブジェクト管理処理３０、マニュアル演奏処理３３、自動演奏処理３４においてサブルーチンとして起動される。音加工処理３６は、オブジェクトに対応した音素材を発音する際にその音素材の一部のパラメータを変更する処理であり、自動演奏処理３４においてサブルーチンとして起動される処理である。操作ログ管理処理３７は、オブジェクトやタイムラインの生成、変更等を行う操作部１３の操作ログを記録する処理と、記録した操作ログを読み出して操作ログが示す各操作を再現する処理とからなる。
以上が本実施形態による音検索・演奏装置１０の構成の詳細である。
【００２２】
本実施形態では、曲の材料となる音素材を決定する素材決定作業と、その決定した音素材を１または複数のフレーズの時間軸上にマッピングする素材配置作業とを経て１つの曲が作られる。以下、素材決定作業と素材配置作業における本実施形態の動作を説明する。
【００２３】
（１）素材決定作業
素材決定作業では、ユーザは、音素材の検索タイミングを決める２つの検索設定である第１検索設定と第２検索設定のうち一方を選択し、オブジェクト出現操作、検索条件指定操作、マニュアル演奏操作、オブジェクト保存操作などを行う。第１検索設定は、オブジェクトに対応付けられた検索条件が変化するたびに、曲データベース２６からの音素材の検索を行う検索設定である。第２検索設定は、オブジェクトが示す音素材の発音を行うたびに、それに先立って、曲データベース２６からの音素材の検索を行う検索設定である。
【００２４】
ユーザは、まず、オブジェクト出現操作を行う。オブジェクト出現操作は、オブジェクトｏｂ−ｎ（ｎ＝１，２…）の画像を表示部１７の表示領域内に出現させる操作である。上述したように、オブジェクトｏｂ−ｎは、曲のフレーズを構成する音素材を表象する画像である。オブジェクト出現操作では、過去作成してハードディスク２５に保存したオブジェクトｏｂ−ｎを出現対象として指示することもできるし、音検索・演奏プログラム２９に用意されたデフォルトオブジェクト（予め定められた標準的な検索条件を持ったオブジェクトｏｂ−ｎ）を出現対象として指示することもできる。
【００２５】
また、オブジェクト出現操作では、エッジ音のオブジェクトｏｂ−ｎを出現対象として指示することもできるし、ダスト音のオブジェクトｏｂ−ｎを出現対象として指示することもできる。オブジェクト管理処理３０では、オブジェクト出現操作において指示されたオブジェクトｏｂ−ｎを表示部１７に表示させ、かつ、そのオブジェクトｏｂ−ｎに対応付けられたオブジェクト管理情報をＲＡＭ２３に書き込む。このオブジェクト管理情報は、オブジェクトｏｂ−ｎが示す音素材の検索条件ＳＣ−ｎを構成する特徴量ＰLOW、ＰMID-LOW、ＰMID-HIGH、ＰHIGH、ＰTIME、ＰVALUEと要検索数Ｎｕｍ（１≦Ｎｕｍ）を含む。また、オブジェクト管理情報は、検索条件ＳＣ−ｎを用いた検索により得られた音素材のセットである検索結果ＳＲ−ｎを伴う場合がある。
【００２６】
図３（Ａ）に示すように、エッジ音のオブジェクトｏｂ−ｎは、全体として矩形をなし、矩形の右辺にある縦ストライプ領域５１と、この縦ストライプ領域５１の左側を上下に４等分した４つの横ストライプ領域５２−ｍ（ｍ＝１〜４）とを有している。また、エッジ音のオブジェクトｏｂ−ｎにおいて、横ストライプ領域５２−１および５２−２と、横ストライプ領域５２−３および５２−４には、エッジ音を模擬した上下対称の三角形５５−ｕ，５５−ｄが各々重ねて表示される。ここで、三角形５５−ｕ，５５−ｄの上下の頂点の水平方向における位置は、オブジェクトｏｂ−ｎが表象するエッジ音のピーク位置ＰTIMEを表す。すなわち、この三角形５５−ｕ，５５−ｄの上下の頂点が左側にある程、エッジ音の尖った感じが増し、三角形５５−ｕ，５５−ｄの上下の頂点が右側にある程、エッジ音の尖った感じが鈍ることとなる。また、三角形５５−ｕ，５５−ｄの上下の頂点の高さは、そのピークのピーク強度ＰVALUEを表す。すなわち、三角形５５−ｕ，５５−ｄの上下の頂点が高い程、エッジ音のエッジ感が強くなり、三角形５５−ｕ，５５−ｄの上下の頂点が低い程、エッジ音のエッジ感が弱くなる。  
【００２７】
横ストライプ領域５２−ｍ（ｍ＝１〜４）は、各々の表示色の濃淡がオブジェクトｏｂ−ｎが表象するエッジ音の高域強度ＰHIGH、中高域強度ＰMID-HIGH、中低域強度ＰMID-LOW、低域強度ＰLOWを表す。すなわち、例えば横ストライプ領域５２−１の表示色が濃い場合、エッジ音は高域強度の強い音となり、例えば横ストライプ領域５２−１の表示色が薄くて横ストライプ領域５２−２の表示色が濃い場合には、エッジ音は高域強度よりは中高域強度が強い音となる。ダスト音のオブジェクトｏｂ−ｎは、図３（Ｂ）に示すように、縦ストライプ領域５１と横ストライプ領域５２−ｍ（ｍ＝１〜４）とからなる部分にダスト音を模擬した砂地模様を重ねたような形態をなしている。エッジ音のオブジェクトｏｂ−ｎと同様、横ストライプ領域５２−ｍ（ｍ＝１〜４）は、各々の表示色の濃淡がオブジェクトｏｂ−ｎが表象するダスト音の高域強度ＰHIGH、中高域強度ＰMID-HIGH、中低域強度ＰMID-LOW、低域強度ＰLOWを表す。
【００２８】
ユーザは、オブジェクト出現操作によって表示部１７の表示領域内に一または複数のオブジェクトｏｂ−ｎを表示させた後、オブジェクトｏｂ−ｎを対象として、検索条件指定操作、オブジェクト保存操作などを行うことができる。
【００２９】
検索条件指定操作は、オブジェクトｏｂ−ｎに対応させる音素材の検索条件ＳＣ−ｎを指定する操作である。この検索条件指定操作には次のものがある。
＜エッジ音のピーク位置ＰTIMEおよびピーク強度ＰVALUEを指定する操作＞
この操作では、エッジ音のオブジェクトｏｂ−ｎの三角形５５−ｕ，５５−ｄの形状を操作する。具体的には、ユーザは、図４に示すように、エッジ音のオブジェクトｏｂ−ｎの三角形５５−ｕ，５５−ｄのうち一方（たとえば、三角形５５−ｕとする）の頂点Ｃにマウスポインタｍｐを移動させて左クリックし、そのままマウスポインタｍｐを任意の方向に移動させて左クリックを解除する。ＣＰＵ２２は、オブジェクト管理処理３０では、この操作に応じて、ピーク位置ＰTIMEおよびピーク強度ＰVALUEと三角形５５−ｕ，５５−ｄの形状とを連動させて変化させる。すなわち、三角形５５−ｕ，５５−ｄの各頂点の位置は操作を終えた時点におけるマウスポインタｍｐの位置となり、三角形５５−ｕ，５５−ｄの各頂点のオブジェクトｏｂ−ｎの左辺からの距離は更新後のピーク位置ＰTIMEを、各頂点の高さは更新後のピーク強度ＰVALUEを示すものとなる。
【００３０】
＜エッジ音およびダスト音の高域強度ＰHIGH、中高域強度ＰMID-HIGH、中低域強度ＰMID-LOW、低域強度ＰLOWを指定する操作＞
この場合、ユーザは、図５に示すように、マウスポインタｍｐをオブジェクトｏｂ−ｎの横ストライプ領域５２−ｍ（ｍ＝１〜４）のいずれか（図５の例では領域５２−１）の左側に移動させてキーボード１５の所定のキー（たとえば、Ｓｈｉｆｔキーとする）を押下し、そのままマウスポインタｍｐを右方向に移動させてキーの押下を解除する。例えば、横ストライプ領域５２−４について以上の操作が行われた場合、オブジェクト管理処理３０では、マウスポインタｍｐを右方向への移動量に応じて、低域強度ＰLOWと横ストライプ領域５２−４の表示色の濃度を連動させて更新する。高域強度ＰHIGH、中高域強度ＰMID-HIGH、中低域強度ＰMID-LOWの指定操作も同様である。
【００３１】
＜エッジ音およびダスト音の要検索数Ｎｕｍを指定する操作＞
この場合、ユーザは、図６に示すように、マウスポインタｍｐをオブジェクトｏｂ−ｎの縦ストライプ領域５１の下側に移動させてキーボード１５の所定のキー（たとえば、Ｓｈｉｆｔキーとする）を押下し、そのままマウスポインタｍｐを上方向に移動させてキーの押下を解除する。この操作が行われると、オブジェクト管理処理３０では、縦ストライプ領域５１内にその下辺から上方向へ伸びるバー９５を表示させ、マウスポインタｍｐの上方向への移動量に応じて、要検索数Ｎｕｍと縦ストライプ領域５１のバー９５の高さとを連動させて更新する。
【００３２】
さらに、第１検索設定の下では、オブジェクトに対応付けられた検索条件ＳＣ−ｎが変化する度に、オブジェクト管理処理３０が検索処理３５を起動し、オブジェクトにおける新たな検索条件ＳＣ−ｎでの音素材の検索を検索処理３５に行わせる。
例えばエッジ音のオブジェクトｏｂ−ｎに対応付けられた検索条件ＳＣ−ｎが変化して検索処理３５が起動された場合、この検索処理３５では、ＲＡＭ２３から検索条件ＳＣ−ｎを構成する特徴量ＰLOW、ＰMID-LOW、ＰMID-HIGH、ＰHIGH、ＰTIME、ＰVALUEと要検索数Ｎｕｍを読み出す。そして、特徴量ＰLOW、ＰMID-LOW、ＰMID-HIGH、ＰHIGH、ＰTIME、ＰVALUEが示す６次元の特徴量ベクトルとの間のユークリッド距離が短い上位Ｎｕｍ個のレコードを音素材データベース２７から検索する。また、その上位Ｎｕｍ個の各レコードに各々対応した音素材を検索する。すなわち、各レコードにおいて曲番号ｋのフィールドと同じ曲番号ｋの曲データｍｄ−ｋを検索し、この曲データｍｄ−ｋにおいて、当該レコードの時刻ｔS，ｔEのフィールドが示す始点と終点の間の区間の音素材を検索するのである。そして、このようにして検索した上位Ｎｕｍ個の各レコードと上位Ｎｕｍ個の音素材を検索結果ＳＲ−ｎとしてオブジェクトｏｂ−ｎに対応付ける。ダスト音のオブジェクトｏｂ−ｎに対応付けられた検索条件ＳＣ−ｎが変化した場合も同様である。
【００３３】
ユーザは、オブジェクトｏｂ−ｎに所望の特性を持った音素材が対応付けられているか否かを確認するためにマニュアル演奏操作を行うことができる。このマニュアル演奏操作は、マニュアルトリガを発生させ、オブジェクトｏｂ−ｎに対応付けられた音素材をサウンドシステム９１から発音させる操作である。マニュアルトリガとして何を採用するかは、音検索・演奏プログラム２９に対して設定可能であるが、この例ではドラムパッド１６の操作イベントがマニュアルトリガとして指定されているものとする。この場合において、ユーザは、マウスポインタｍｐをオブジェクトｏｂ−ｎに移動させてドラムパッド１６を叩くと、マニュアル演奏処理３３が実行される。
【００３４】
第１検索設定の下でのマニュアル演奏処理３３では、ドラムパッド１６が叩かれる都度、マウスポインタｍｐにより指示されたオブジェクトｏｂ−ｎに対応付けられた検索結果ＳＲ−ｎを構成する音素材（上述した上位Ｎｕｍ個の音素材）の中から１つの音素材をランダムに選択し、選択した音素材をサウンドシステム９１から発音させる。また、第２検索設定の下でのマニュアル演奏処理３３では、ドラムパッド１６が叩かれる都度、検索処理３５を起動し、マウスポインタｍｐにより指示されたオブジェクトｏｂ−ｎに対応付けられた検索条件ＳＣ−ｎを検索処理３５に引き渡す。そして、検索処理３５により得られる検索結果ＳＲ−ｎを構成する音素材（上述した上位Ｎｕｍ個の音素材）の中から１つの音素材をランダムに選択し、選択した音素材をサウンドシステム９１から発音させる。ユーザは、このようにして発音される音素材を耳で確認し、音素材が所望の特性を有していない場合には、再びオブジェクトｏｂ−ｎに対する検索条件指定操作を行う。
【００３５】
表示部１７の表示領域内のオブジェクトｏｂ−ｎを後刻再利用する予定がある場合、ユーザはオブジェクト保存操作を行うことができる。これは表示部１７の表示領域内のオブジェクトｏｂ−ｎの保存を指示する操作部１３の操作である。あるオブジェクトｏｂ−ｎを対象としてオブジェクト保存操作が行われると、オブジェクト管理処理３０では、そのオブジェクトｏｂ−ｎのオブジェクト管理情報を生成し、生成したオブジェクト管理情報をハードディスク２５に記憶する。このオブジェクト管理情報は、オブジェクトｏｂ−ｎの検索条件ＳＣ−ｎを構成する特徴量ＰLOW、ＰMID-LOW、ＰMID-HIGH、ＰHIGH、ＰTIME、ＰVALUEと要検索数Ｎｕｍ、およびその検索結果ＳＲ−ｎを構成するレコードのセットである。
【００３６】
以上のように、素材決定作業では、ユーザは、表示部１７の表示領域内におけるオブジェクトｏｂ−ｎの形態を変化させることによって、検索条件ＳＣ−ｎを構成する要検索数Ｎｕｍや特徴量ＰLOW，ＰMID-LOW，ＰMID-HIGH，ＰHIGH，ＰTIME，ＰVALUEを変えつつ、自らがイメージする音に近い音素材を曲データベース２６および音素材データベース２７，２８から検索する。ユーザは、曲を作るのに必要な数のオブジェクトｏｂ−ｎ（ｎ＝１，２…）とその各々の形態を決め、必要であればそれらのオブジェクトｏｂ−ｎ（ｎ＝１，２…）のオブジェクト管理情報を保存し、次の素材配置作業に移る。
【００３７】
（２）素材配置作業
素材配置作業では、ユーザは、操作部１３を使用して、１または複数の所望のタイムラインと１または複数の所望のオブジェクトを表示部１７の表示領域内に表示させ、各タイムラインと各オブジェクトが所望の位置関係を持つように、各々の位置等の調整を行う。そのためにユーザは、オブジェクト出現操作、オブジェクト複製操作、検索条件指定操作、タイムライン出現操作、タイムライン位置変更操作、オブジェクト位置変更操作、サイズ変更操作、拍子指示操作、グリッド指定操作、パラメータ連動操作、演奏開始操作、レイアウト保存操作、レイアウト読出操作、ログ記録開始操作、ログ記録終了操作、ログ再生操作などを行う。
【００３８】
タイムライン出現操作が行われると、タイムライン管理処理３１では、図７に例示するタイムラインＬＩＮＥ−ｉを表示部１７の表示領域内に表示させる。このタイムラインＬＩＮＥ−ｉは、フレーズの周期を表す水平方向に延びた直線画像である。タイムラインＬＩＮＥ−ｉの左端、右端、および左端と右端を４等分した位置からは下方向に拍案内線６３−ｊ（ｊ＝１〜５）が延伸している。また、タイムラインＬＩＮＥ−ｉの隣り合う拍案内線６３−ｊ間を等分した位置からはグリッド線ｇが下方向に延伸している。そして、タイムラインＬＩＮＥ−ｉの左端と右端の拍案内線６３−ｊの間に挟まれた領域が、タイムラインＬＩＮＥ−ｉの支配が及ぶ占有領域となっている。この占有領域内のオブジェクトｏｂ−ｎがタイムラインＬＩＮＥ−ｉに属するオブジェクトとなる。また、タイムラインＬＩＮＥ−ｉはタイミングポインタ６２を内包する。このタイミングポインタ６２は、自動演奏において現在の演奏位置を示すポインタであり、自動演奏の際にはタイムラインＬＩＮＥ−ｉの左端から右端までの移動を周期的に繰り返す。
【００３９】
ユーザは、操作部１３の操作により、表示部１７の表示領域内におけるタイムラインＬＩＮＥ−ｉの水平方向の長さや拍案内線６３−ｊ（ｊ＝１〜５）の長さの調整をタイムライン管理処理３１に行わせることができる。また、ユーザは、操作部１３の操作により、タイムラインＬＩＮＥ−ｉが示すフレーズの周期Ｔ、すなわち、タイミングポインタ６２がタイムラインＬＩＮＥ−ｉの左端から右端まで移動する所要時間の調整をタイムライン管理処理３１に行わせることができる。タイムライン管理処理３１では、操作部１３の操作により表示部１７に表示される各タイムラインＬＩＮＥ−ｉについて、表示領域内の水平方向および垂直方向の位置、水平方向の長さ、拍案内線６３−ｊ（ｊ＝１〜５）の数や長さ、タイムラインが示す周期Ｔの各情報を管理する。
【００４０】
次にユーザは、タイムラインＬＩＮＥ−ｉに帰属させるオブジェクトｏｂ−ｎが表示部１７の表示領域内に表示されていない場合には、そのオブジェクトｏｂ−ｎを出現させるためのオブジェクト出現操作を行う。このオブジェクト出現操作では、ハードディスク２５に保存されているオブジェクト管理情報を読み出し、オブジェクトｏｂ−ｎとして表示させてもよい。また、ユーザは、表示部１７の表示領域内に表示されているオブジェクトｏｂ−ｎについて検索条件指定操作を行うことも可能である。オブジェクト管理処理３０では、操作部１３の操作により表示部１７に表示される各オブジェクトｏｂ−ｎについて、表示領域内の水平方向および垂直方向の位置、オブジェクトｏｂ−ｎに対応付けられた検索条件ＳＣ−ｎ、検索結果ＳＲ−ｎの各情報を管理する。また、表示中のオブジェクトｏｂ−ｎについて検索条件指定操作が行われた場合、オブジェクト管理処理３０では、該当するオブジェクトｏｂ−ｎに対応付けられた検索条件ＳＣ−ｎ、検索結果ＳＲ−ｎを更新する。
【００４１】
ユーザは、表示部１７の表示領域内に一または複数のタイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎを表示させたあと、操作部１３を使用してタイムライン位置変更操作やオブジェクト位置変更操作を行うことができる。あるオブジェクトｏｂ−ｎをあるタイムラインＬＩＮＥ−ｉに帰属させたい場合、そのタイムラインＬＩＮＥ−ｉの占有領域内に収まるようにそのオブジェクトｏｂ−ｎの位置を調整すればよい。この場合において、共通のオブジェクトｏｂ−ｎを複数のタイムラインＬＩＮＥ−ｉの各占有領域内に配置し、複数のタイムラインＬＩＮＥ−ｉに帰属させることも可能である。
【００４２】
また、ユーザは、サイズ変更操作によってタイムラインＬＩＮＥ−ｉのｘ軸方向の幅やｙ軸方向の幅を伸縮させたり、拍子指示操作によってタイムラインＬＩＮＥ−ｉ内の拍案内線６３−ｊの数を４本以下や６本以上に増減させたり、グリッド指定操作によってタイムラインＬＩＮＥ−ｉの拍案内線６３−ｊ間のグリッド線ｇの数を２本以上に増やすこともできる。ユーザは、タイムラインＬＩＮＥ−ｉが示すフレーズの周期Ｔを変える操作を行うことなくそのタイムラインＬＩＮＥ−ｉのｘ軸方向の幅を大きくする操作を行うことにより、タイムラインＬＩＮＥ−ｉの占有領域の面積を拡げてその領域内におけるオブジェクトｏｂ−ｎの編集の自由度を高めることができる。
【００４３】
また、ユーザは、パラメータ連動操作を行うことにより、自動演奏時における音素材の発音に関する動作モードを通常モードからパラメータ連動モードに切り換えることができる。ここで、パラメータ連動モードとは、タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎに対応した音素材を発音させる場合においてその音素材のパラメータ（例えばピッチ、音量、発音タイミングの遅延量）をそのタイムラインＬＩＮＥ−ｉからそのオブジェクトｏｂ−ｎまでの垂直方向の距離に応じて変化させるモードである。また、通常モードは、タイムラインＬＩＮＥ−ｉに帰属するオブジェクトｏｂ−ｎが示す音素材のパラメータを変化させずに発音を行うモードである。
【００４４】
また、ユーザは、必要に応じてオブジェクト複製操作を行うことができる。これは、表示部１７の表示領域内に表示されているオブジェクトｏｂ−ｎをその表示領域内に複製する操作である。あるオブジェクトｏｂ−ｎを対象としてオブジェクト複製操作が行われると、オブジェクト管理処理３０では、操作の対象であったオブジェクトｏｂ−ｎと同じ形態のオブジェクトｏｂ’−ｎを表示させる。この複製のオブジェクトｏｂ’−ｎは、１個生成することもできるし、複数生成することもできる。ここで、オリジナルのオブジェクトｏｂ−ｎと複製のオブジェクトｏｂ’−ｎは共通の検索条件ＳＣ−ｎおよび検索結果ＳＲ−ｎに対応付けられる。ユーザは、オリジナルのオブジェクトｏｂ−ｎのみならず、複製のオブジェクトｏｂ’−ｎも所望のタイムラインＬＩＮＥ−ｉに帰属させることができる。ここで、オリジナルのオブジェクトｏｂ−ｎと複製のオブジェクトｏｂ’−ｎは同格であり、かつ、操作に対する運命を共にする。すなわち、ＣＰＵ２２は、オリジナルのオブジェクトｏｂ−ｎと複製のオブジェクトｏｂ’−ｎのいずれかを対象として検索条件指定操作が行われた場合、オリジナルのオブジェクトｏｂ−ｎと複製のオブジェクトｏｂ’−ｎに共通な検索条件ＳＣ−ｎを更新する。
【００４５】
ユーザは、以上の各操作により表示部１７の表示領域内におけるタイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎのレイアウトを決定した後、操作部１３を使用して演奏開始操作を行う。演奏開始操作が行われると、ＣＰＵ２２は、自動演奏処理３４を実行する。この自動演奏処理３４では、表示部１７の表示領域内に表示されているタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）と各々対応するタイムラインタスクｔｓｋ−ｉ（ｉ＝１，２…）を立ち上げ、立ち上げたタイムラインタスクｔｓｋ−ｉ（ｉ＝１，２…）を並列かつ独立に実行する。
【００４６】
１つのタイムラインＬＩＮＥ−ｉと対応する１つのタイムラインタスクｔｓｋ−ｉでは、当該タイムラインＬＩＮＥ−ｉに帰属するオブジェクトｏｂ−ｎ（ｎ＝１，２…）（すなわち、当該タイムラインＬＩＮＥ−ｉの占有領域内のオブジェクト）を決定し、当該タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎが示す音を発音させる制御を周期Ｔごとに繰り返す。具体的な処理内容は以下の通りである。まず、各タイムラインタスクｔｓｋ−ｉでは、周期Ｔの間にタイミングポインタ６２を当該タイムラインＬＩＮＥ−ｉの左端から右端まで移動させる操作を周期的に繰り返しつつ、タイミングポインタ６２のｘ座標値を監視する。そして、当該タイムラインＬＩＮＥ−ｉの占有領域内にある一または複数のオブジェクトｏｂ−ｎのうちいずれかのｘ座標値（より具体的には、オブジェクトオブジェクトｏｂ−ｎの外延をなす矩形の左上隅のｘ座標値）とタイミングポインタ６２のｘ座標値が一致すると、そのオブジェクトｏｂ−ｎと対応する音素材を発音させるための処理を行う。
【００４７】
より具体的には、第１検索設定がなされた状態では、タイムラインタスクｔｓｋ−ｉにおいて、タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎのｘ座標値とタイミングポインタ６２のｘ座標値が一致する度に、そのオブジェクトｏｂ−ｎに対応付けられた検索結果ＳＲ−ｎを参照し、この検索結果ＳＲ−ｎを構成する音素材の中から１つをランダムに選択してサウンドシステム９１から発音させる。第２検索設定がなされた状態では、タイムラインタスクｔｓｋ−ｉにおいて、タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎのｘ座標値とタイミングポインタ６２のｘ座標値が一致するたびに検索処理３５を起動し、オブジェクトｏｂ−ｎの検索条件ＳＣ−ｎを検索処理３５に引き渡す。そして、検索処理３５から返ってくる検索結果ＳＲ−ｎを構成する音素材の中から１つをランダムに選択してサウンドシステム９１から発音させる。
【００４８】
パラメータ連動モードが指定されている場合には、検索結果ＳＲ−ｎの中から音素材を選択するたびに音加工処理３６を起動し、この音加工処理３６によりその音素材を加工し、加工した音素材をサウンドシステム９１から発音させる。具体的には、音加工処理３６では、音素材に対し、パラメータ連動モードに関して事前に指定されたピッチ、音量、発音タイミングの遅延量などのパラメータをタイムラインＬＩＮＥ−ｉからオブジェクトｏｂ−ｎまでの距離ｄｙに応じて変化させる加工を行う。
【００４９】
次に具体例を挙げ、本実施形態においてタイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎを用いて行われる各種の作曲およびその自動演奏の態様を説明する。
【００５０】
たとえば、図８（Ａ）の配置例では、タイムラインＬＩＮＥ−１の一番左の拍案内線６３−１の右隣にオブジェクトｏｂ−１があり、左から２番目の拍案内線６３−２の右隣にオブジェクトｏｂ−２があり、左から３番目の拍案内線６３−３の右隣にオブジェクトｏｂ−３がある。タイムラインＬＩＮＥ−１およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係をこのようにすると、自動演奏処理３４（タイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１）では、図８（Ｂ）に示すように、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１，ｔ２，ｔ３においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材の発音を行う４拍子のフレーズを繰り返す。
【００５１】
図９（Ａ）の配置例は、図８（Ａ）の配置例におけるタイムラインＬＩＮＥ−１の位置を固定したままオブジェクトｏｂ−ｎ（ｎ＝１〜３）を右に移動させたものである。なお、このようにする代わりに、図８（Ａ）の配置例におけるオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置を固定したままタイムラインＬＩＮＥ−１を左に移動させても同様の配置となる。この配置例では、タイムラインＬＩＮＥ−１の拍案内線６３−２の右隣にオブジェクトｏｂ−１があり、拍案内線６３−３の右隣にオブジェクトｏｂ−２があり、拍案内線６３−４の右隣にオブジェクトｏｂ−３がある。タイムラインＬＩＮＥ−１およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係をこのようにすると、自動演奏処理３４（タイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１）では、図９（Ｂ）に示すように、時刻ｔ２，ｔ３，ｔ４においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材の発音を行うフレーズを繰り返す。
【００５２】
図１０（Ａ）の配置例は、図８（Ａ）の配置例におけるタイムラインＬＩＮＥ−１とオブジェクトｏｂ−１の位置を固定したままオブジェクトｏｂ−２，ｏｂ−３を左に移動させたものである。この配置例では、拍案内線６３−１の右隣にオブジェクトｏｂ−１があり、拍案内線６３−１と拍案内線６３−２の間のグリッド線ｇの右隣にオブジェクトｏｂ−２があり、拍案内線６３−２の右隣にオブジェクトｏｂ−３がある。タイムラインＬＩＮＥ−１およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係をこのようにすると、自動演奏処理３４（タイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１）では、図１０（Ｂ）に示すように、時刻ｔ１，（ｔ１＋ｔ２）／２，ｔ２においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材の発音を行うフレーズを繰り返す。
【００５３】
また、素材配置作業において、ユーザは、表示部１７の表示領域内にタイムラインＬＩＮＥ−ｉを２つ表示させ、同領域内における１または複数のオブジェクトｏｂ−ｎをその２つのタイムラインＬＩＮＥ−ｉの両方に属するような配置とすることにより、同じ検索結果ＳＲ−ｎの音素材を含む２種類のフレーズを周期的に繰り返す曲を作ることができる。
【００５４】
図１１（Ａ）の配置例では、２つのタイムラインＬＩＮＥ−ｉ（ｉ＝１，２）の占有領域内に３つのオブジェクトｏｂ−ｎ（ｎ＝１〜３）があり、タイムラインＬＩＮＥ−１よりもタイムラインＬＩＮＥ−２が左にずれている。そして、タイムラインＬＩＮＥ−１の拍案内線６３−１の右隣（タイムラインＬＩＮＥ−２の拍案内線６３−２の右隣）にオブジェクトｏｂ−１があり、タイムラインＬＩＮＥ−１の拍案内線６３−２の右隣（タイムラインＬＩＮＥ−２の拍案内線６３−３の右隣）にオブジェクトｏｂ−２があり、タイムラインＬＩＮＥ−１の拍案内線６３−３の右隣（タイムラインＬＩＮＥ−２の拍案内線６３−４の右隣）にオブジェクトｏｂ−３がある。
【００５５】
タイムラインＬＩＮＥ−ｉ（ｉ＝１，２）およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係をこのようにすると、自動演奏処理３４において、タイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１では、図１１（Ｂ）に示すように、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１，ｔ２，ｔ３においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材の発音を行う４拍子のフレーズを繰り返す。また、タイムラインＬＩＮＥ−２に対応したタイムラインタスクｔｓｋ−２では、図１１（Ｂ）に示すように、時刻ｔ２，ｔ３、ｔ４においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材の発音を行う４拍子のフレーズを繰り返す。
【００５６】
また、素材配置作業において、ユーザは、動作モードをパラメータ連動モードとし、タイムラインＬＩＮＥ−ｉの占有領域内における複数のオブジェクトｏｂ−ｎの各々とタイムラインＬＩＮＥ−ｉの距離を変えることにより、１つのフレーズをなす各音の間に強弱をつけた曲を作ることができる。
【００５７】
図１２（Ａ）の配置例は、図８（Ａ）の配置例における拍案内線６３−２の右隣のオブジェクトｏｂ−２をその拍案内線６３−２の下端付近まで下に移動させたものである。ここで、パラメータ連動モードが指定され、かつ、音量が連動対象のパラメータとなっている状況において、自動演奏処理３４を実行させるとする。この場合、タイムラインＬＩＮＥ−１およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係が図１２（Ａ）に示すようになっているため、自動演奏処理３４（タイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１）において起動される音加工処理３６では、タイムラインＬＩＮＥ−１の近くにあるオブジェクトｏｂ−１およびｏｂ−３の各音素材は音量が大きくされ、タイムラインＬＩＮＥ−１から遠くにあるオブジェクトｏｂ−２の音素材は音量が小さくされる。この結果、図１２（Ｂ）に示すように、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１，ｔ２，ｔ３においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材を強→弱→強という強弱で発音するフレーズが繰り返される。
【００５８】
また、素材配置作業において、ユーザは、表示領域内における１または複数のオブジェクトｏｂ−ｎを２つのタイムラインＬＩＮＥ−ｉの両方に属するような配置とし、その一方のタイムラインＬＩＮＥ−ｉのｘ軸方向の幅を縮小または拡大することにより、同じ検索結果ＳＲ−ｎの音素材を含みながら周期Ｔ内における各々の発音タイミングを異にする２種類のフレーズからなる曲を作ることができる。
【００５９】
図１３（Ａ）の配置例は、図１１（Ａ）におけるタイムラインＬＩＮＥ−２のｘ軸方向の幅を半分に縮め、タイムラインＬＩＮＥ−ｉ（ｉ＝１，２）の拍案内線６３−１同士が重なるように各々のｘ軸方向の位置を調整したものである。この配置例では、タイムラインＬＩＮＥ−１の拍案内線６３−３の右隣（タイムラインＬＩＮＥ−２の一番右の拍案内線６３−５の右隣）のオブジェクトｏｂ−３はタイムラインＬＩＮＥ−１にだけに属するものとなっている。また、タイムラインＬＩＮＥ−２は、表示領域内におけるｘ軸方向の長さがタイムラインＬＩＮＥ−１の半分になっているものの、タイムラインＬＩＮＥ−２が示すフレーズの周期ＴはタイムラインＬＩＮＥ−１が示すフレーズの周期Ｔと変わらない。
【００６０】
タイムラインＬＩＮＥ−ｉ（ｉ＝１，２）およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係をこのようにすると、自動演奏処理３４においてタイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１では、図１３（Ｂ）に示すように、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１，ｔ２，ｔ３においてオブジェクトｏｂ−１、ｏｂ−２およびｏｂ−３の各音素材を発音するフレーズを繰り返す。また、タイムラインＬＩＮＥ−２に対応したタイムラインタスクｔｓｋ−２では、図１３（Ｂ）に示すように、時刻ｔ１，ｔ３においてオブジェクトｏｂ−１およびｏｂ−２の各音素材を発音するフレーズを繰り返す。
【００６１】
また、素材配置作業において、ユーザは、表示領域内における１または複数のオブジェクトｏｂ−ｎを２つのタイムラインＬＩＮＥ−ｉの両方に属するような配置とし、その一方のタイムラインＬＩＮＥ−ｉの拍数の設定を変更して拍案内線６３−ｊの数を減らしたり増やすことにより、同じ検索結果ＳＲ−ｎの音素材を含みながら周期Ｔや拍子を異にする２種類のフレーズを組み合わせた複合リズム（ポリリズム）の曲を作ることができる。
【００６２】
図１４（Ａ）の配置例において、タイムラインＬＩＮＥ−１およびＬＩＮＥ−２は、表示領域内において水平方向の長さが同じであり、拍案内線６３−１同士が重なるように各々のｘ軸方向の位置が調整されている。ここで、タイムラインＬＩＮＥ−１の左端と右端の間を４等分した位置には拍案内線６３−２，６３−３，６３−４がある。また、タイムラインＬＩＮＥ−２の拍案内線の本数はタイムラインＬＩＮＥ−１よりも１本少なく、タイムラインＬＩＮＥ−２の左端と右端の間を３等分した位置に拍案内線６３−２，６３−３がある。そして、タイムラインＬＩＮＥ−２が示すフレーズの周期Ｔ’はタイムラインＬＩＮＥ−１が示すフレーズの周期Ｔの３／４の長さになっている。オブジェクトｏｂ−１は、タイムラインＬＩＮＥ−１およびＬＩＮＥ−２の両方に属しており、タイムラインＬＩＮＥ−１およびＬＩＮＥ−２の各拍案内線６３−１の右側に位置している。
【００６３】
このような状況において、自動演奏処理３４を実行させると、自動演奏処理３４においてタイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１では、図１４（Ｂ）に示すように、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１においてオブジェクトｏｂ−１の音素材を発音する４拍子のフレーズを繰り返す。また、タイムラインＬＩＮＥ−２に対応したタイムラインタスクｔｓｋ−２では、図１４（Ｂ）に示すように、周期Ｔの３／４の長さの周期Ｔ’を３等分した時刻ｔ１’，ｔ２’，ｔ３’のうち時刻ｔ１’においてオブジェクトｏｂ−１の音素材を発音する３拍子のフレーズを繰り返す。
【００６４】
本実施形態において、ユーザは、自動演奏処理３４の実行中にタイムラインＬＩＮＥ−ｉを移動させることが可能である。このタイムライン位置変更操作が行われると、タイムライン管理処理３１では、操作されたタイムラインＬＩＮＥ−ｉの位置に関する情報を更新する。自動演奏処理３４では、このタイムライン位置変更操作に応じて時々刻々と更新されるタイムラインＬＩＮＥ−ｉの位置に関する情報が参照される。図１５（Ａ）に示す例では、パラメータ連動モードが指定されており、かつ、連動対象のパラメータとして音量が指定されている。このため、図１５（Ａ）に示すように、オブジェクトｏｂ−１の位置を変えずにタイムラインＬＩＮＥ−１を上に移動させてオブジェクトｏｂ−１から遠ざけると、自動演奏処理３４において起動される音加工処理３６の結果、図１５（Ｂ）に示すように、発音されるオブジェクトｏｂ−１の音素材の音量が徐々に小さくなってゆく。パラメータ連動モードにおける連動対象のパラメータとして発音タイミングの遅延量を指定した場合には、自動演奏中にタイムラインＬＩＮＥ−１の位置を上方向に移動させると、そのタイムラインＬＩＮＥ−１の上方向への移動量に応じてオブジェクトｏｂ−１の音素材の発音タイミングを遅延させる擬似ディレイ効果を得ることができる。
【００６５】
以上の説明から明らかなように、表示部１７に表示されたタイムラインおよびオブジェクトの各々の内容と各々の位置関係により自動演奏される曲の内容が定まる。すなわち、表示部１７に表示されたタイムラインおよびオブジェクトのレイアウト情報は曲データとしての役割を果たす。本実施形態では、この曲データの再利用を可能にするための手段が設けられている。さらに詳述すると、ユーザは、素材配置作業を中断するときに、操作部１３を使用してレイアウト保存操作を行うことができる。このレイアウト保存操作が行われると、作曲情報管理処理３２では、表示部１７の表示領域内のタイムラインおよびオブジェクトのレイアウト情報をハードディスク２５に保存する。このレイアウト情報は、表示領域内におけるタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）とオブジェクトｏｂ−ｎ（ｎ＝１，２…）の各々の位置（ｘ座標値．ｙ座標値）を示す配置情報とそれらのオブジェクトｏｂ−ｎ（ｎ＝１，２…）のオブジェクト管理情報（検索条件ＳＣ−ｎおよび検索結果ＳＲ−ｎ）のセットである。
【００６６】
また、ユーザは、作業を再開するときに操作部１３を使用してレイアウト読出操作を行うことができる。このレイアウト読出操作が行われると、作曲情報管理処理３２では、ハードディスク２５に記憶されたレイアウト情報を読み出し、読み出したレイアウト情報からタイムラインおよびオブジェクトの配置情報とオブジェクト管理情報を取り出す。そして、作曲情報管理処理３２では、配置情報が示す位置にタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）とオブジェクトｏｂ−ｎ（ｎ＝１，２…）を表示させるとともに、オブジェクト管理情報に含まれる特徴量ＰLOW、ＰMID-LOW、ＰMID-HIGH、ＰHIGH、ＰTIME、ＰVALUEと要検索数Ｎｕｍを検索条件ＳＣ−ｎとしてＲＡＭ２３に書き込む。この状態において、ユーザは、タイムライン移動操作やオブジェクト移動操作によって、表示部１７の表示領域内に復元されたタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）とオブジェクトｏｂ−ｎ（ｎ＝１，２…）のレイアウトをさらに変更することができる。曲データであるレイアウト情報は、それが作成された音検索・演奏装置１０以外の音検索・演奏装置１０に転送して利用することも可能である。この場合、転送元と転送先とで曲データベース２６や音素材データベース２７，２８の内容が異なっていると、曲データに基づく自動演奏の内容が転送元と転送先とで異なったものとなる。曲データ中に含まれるオブジェクトに基づいて検索される音素材が転送元と転送先とで異なったものになる可能性があるからである。
【００６７】
また、本実施形態において、ユーザは、所望の時間を空けて、操作部１３を使用してログ記録開始操作とログ記録終了操作を行うことができる。ログ記録開始操作が行われると、操作ログ管理処理３７では、以後、ログ記録終了操作が行われるまでの間、表示領域内におけるタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）とオブジェクトｏｂ−ｎ（ｎ＝１，２…）の各々の動きを示すシーケンスデータを生成し、それらのシーケンスデータのセットをログ情報としてハードディスク２５に記憶する。そして、ユーザが操作部１３を使用してログ再生操作を行うと、操作ログ管理処理３７では、ハードディスク２５に記憶されたログ情報を読み出し、そのログ情報をなす各シーケンスデータに従って、表示領域内におけるタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）とオブジェクトｏｂ−ｎ（ｎ＝１，２…）の各々の動きを再現する。
【００６８】
以上説明した本実施形態によると、以下の効果が得られる。
上記実施形態では、音検索・演奏プログラム２９は、操作部１３の操作に応じて、表示部１７の表示領域内におけるオブジェクトｏｂ−ｎが示す音素材の検索条件ＳＣ−nとそのオブジェクトｏｂ−ｎの形態とを連動させて変化させる。よって、ユーザは、オブジェクトｏｂ−ｎの形態からそのオブジェクトｏｂ−ｎについて自らが指定している検索条件ＳＣ−ｎを把握することができ、自らのイメージにマッチした音素材の検索をより簡単に行うことができる。また、ユーザは、後刻、オブジェクトｏｂ−ｎを見たとき、そのオブジェクトｏｂ−ｎの形態からそのオブジェクトｏｂ−ｎが示す音素材の特徴あるいはそのオブジェクトｏｂ−ｎについて指定した音素材の検索条件ＳＣ−ｎを容易に想像することができる。
【００６９】
また、上記実施形態では、音検索・演奏プログラム２９は、表示部１７の表示領域内に複数のタイムラインＬＩＮＥ−ｉが表示されている場合は、その複数のタイムラインＬＩＮＥ−ｉの各々に対応した複数の種類のフレーズを時間軸上で重ね合わせた曲を発音させる。そして、表示領域内におけるあるオブジェクトｏｂ−ｎが複数のタイムラインＬＩＮＥ−ｉに属する場合は、複数のタイムラインＬＩＮＥ−ｉのｘ軸方向におけるそのオブジェクトｏｂ−ｎの位置に応じた時刻を、複数のフレーズの各々におけるそのオブジェクトｏｂ−ｎに応じた音の発音タイミングとする。よって、ユーザは、表示部１７の表示領域内におけるタイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎを、１つまたは複数のオブジェクトｏｂ−ｎが複数のタイムラインＬＩＮＥ−ｉに属するような位置関係とすることにより、複数の周期のフレーズを時間軸上で重ね合わせた曲を作ることができる。
【００７０】
また、ユーザは、オブジェクト保存操作によってハードディスク２５に保存したオブジェクト管理情報、レイアウト保存操作によってハードディスク２５に保存したレイアウト情報、ログ記録開始操作とログ記録終了操作によってハードディスク２５に保存したログ情報などを、音検索・演奏プログラム２９をインストールした他のコンピュータのハードディスク２５にコピーし、そのコンピュータを用いて素材配置作業を続けることもできる。
【００７１】
また、ユーザは、素材配置作業の途中で、それまで曲データベース２６に記憶されていた曲データｍｄ−ｋ（ｋ＝１，２…）以外の曲データｍｄ’−ｋ（ｋ＝１，２…）とそれらの曲データｍｄ’−ｋ（ｋ＝１，２…）の解析結果であるレコード群を他のユーザから取得して曲データベース２６と音素材データベース２７，２８に各々記憶させ、以後の作業を続けることもできる。表示部１７の表示領域内のオブジェクトｏｂ−ｎの形態として指定している検索条件ＳＣ−ｎが同じであっても、検索の対象となる曲データベース２６や音素材データベース２７，２８の収録内容が変われば、その検索結果ＳＲ−ｎとして得られる音素材も変わる。よって、ユーザは、表示部１７の表示領域内におけるオブジェクトｏｂ−ｎとタイムラインＬＩＮＥ−ｉのレイアウトを変えずに曲データベース２６と音素材データベース２７，２８の収録内容を変えることにより、周期Ｔごとに繰り返すフレーズの各音の発音タイミングは同じで各音の聞こえ方を微妙に変えた曲を作ることができる。
【００７２】
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記実施形態において、ＣＰＵ２２は、表示部１７の表示領域内にあるオブジェクトｏｂ−ｎが複製された場合、複製したオブジェクトｏｂ’−ｎが示す音の発音態様を決めるパラメータと複製元のオブジェクトｏｂ−ｎが示す音の発音態様を決めるパラメータを対応して制御するようにしてもよい。
（２）上記実施形態では、曲データｍｄ−ｋ（ｋ＝１，２…）に含まれる音素材のうちエッジ音とダスト音の音素材を、オブジェクトｏｂ−ｎが示す音として発音させた。しかし、エッジ音やダスト音以外の、音の特徴から分類できる音の単位全般の音素材を発音させてもよい。
【００７３】
（３）上記実施形態では、タイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎの位置関係に基づいて、各タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎを決定するようにしたが、タイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎとの帰属関係を決定する方法はこれに限定されるものではない。例えば、タイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎが表示された状態において、マウス１４等のポインティングデバイスの操作により１つのタイムラインＬＩＮＥ−ｉに帰属させる１または複数オブジェクトｏｂ−ｎを逐一指示させ、あるいは１つのタイムラインＬＩＮＥ−ｉに帰属させる１または複数のオブジェクトｏｂ−ｎを囲む曲線を描かせる操作を行わせることにより各タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎを決定するようにしてもよい。
【００７４】
（４）上記実施形態において、オブジェクトｏｂ−ｎの形状は、円形、多角形、自由図形などであってもよい。この場合において、それらのオブジェクトｏｂ−ｎの形状の変更に対応させて検索条件ＳＣ−ｎを変化させてもよい。たとえば、オブジェクトｏｂ−ｎを五角形の形状とし、その中心から５つの頂点の各々までの長さに応じて、特徴量Ｐや要検索数Ｎｕｍといった５種類の検索条件ＳＣ−ｎを個別に制御するようにしてもよい。
【００７５】
（５）上記実施形態における検索条件指定操作では、オブジェクトｏｂ−ｎの表示色の濃淡を変化させたが、表示色の色彩を変化させてもよい。
（６）上記実施形態において、ＣＰＵ２２は、操作部１３の操作に応じて、表示部１７の表示領域内に表示されたタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）が示すフレーズの各々における小節数や拍子を設定するようにしてもよい。この場合において、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉが示すフレーズの拍子に対応させてそのライムラインＬＩＮＥ−ｉの拍案内線６３−ｊ（ｊ＝１，２…）の数を増減するとよい。
【００７６】
（７）上記実施形態において、ＣＰＵ２２は、操作部１３の操作に応じて、タイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）が示すフレーズの各々におけるテンポを決めるパラメータ（たとえば、ＢＰＭ（Beats Per Minute ））を設定してもよい。また、ＣＰＵ２２は、操作部１３の操作に応じて、タイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）が示すフレーズの各々における１拍あたりの時間長を決めるパラメータ（たとえば、タイムベース（分解能））を設定してもよい。
【００７７】
（８）上記実施形態において、ＣＰＵ２２は、１つのタイムラインＬＩＮＥ−ｉと対応する１つのタイムラインタスクｔｓｋ−ｉでは、当該タイムラインＬＩＮＥ−ｉの占有領域内にあるオブジェクトｏｂ−ｎの左上隅のｘ座標値とタイミングポインタ６２のｘ座標値が一致したときに、そのオブジェクトｏｂ−ｎと対応する音素材を発音させた。しかし、オブジェクトｏｂ−ｎの中心、左下隅、右上隅、右下隅などの他の位置のｘ座標値とタイミングポインタ６２のｘ座標値が一致したときに、そのオブジェクトｏｂ−ｎと対応する音素材を発音させてもよい。
【００７８】
（９）上記実施形態では、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉにおける拍案内線６３−ｊ（ｊ＝１，２…）の数に関わらず、オブジェクト出現操作によって指定されたタイムラインＬＩＮＥ−ｉ内の任意の位置にオブジェクトｏｂ−ｎを出現させた。しかし、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉ内に出現させたオブジェクトｏｂ−ｎの位置をそのｘ座標値（たとえば、オブジェクトｏｂ−ｎの左上隅のｘ座標値）と直近の拍案内線６３−ｊのｘ座標値とが一致するように補正するクオンタイズ制御を行ってもよい。
【００７９】
（１０）上記実施形態において、タイムラインＬＩＮＥ−ｉは、水平方向に延びた直線画像であった。しかし、タイムランＬＩＮＥ−ｉは、曲線（閉曲線を含む）であってもよい。
（１１）上記実施形態において、タイムランＬＩＮＥ−ｉ内のタイミングポインタ６２は、タイムランＬＩＮＥ−ｉの左端から右端までの軌道を等速に移動する必要はない。たとえば、タイミングポインタ６２を、タイムランＬＩＮＥ−ｉの左端から右端までの軌道上のある区間を拡大、縮小したように移動させてもよい。
【００８０】
（１２）上記実施形態における音加工処理３６では、ＣＰＵ２２は、ピッチ、音量、発音タイミングの遅延量などのパラメータを変化させた。しかし、ＣＰＵ２２は、音加工処理３６では、リバーブ処理やイコライザ処理などを行い、これらの処理内容を決定づけるパラメータをタイムラインＬＩＮＥ−ｉからオブジェクトｏｂ−ｎまでの距離ｄｙに応じて変化させてもよい。
【００８１】
（１３）上記実施形態では、ＣＰＵ２２は、パラメータ連動モードが指定されている場合、タイムラインＬＩＮＥ−ｉからオブジェクトｏｂ−ｎまでの距離ｄｙに応じて、そのオブジェクトｏｂ−ｎと対応する音素材のピッチ、音量、発音タイミングの遅延量などを変化させた。しかし、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉからオブジェクトｏｂ−ｎまでの距離ｄｙが大きいほど、そのオブジェクトｏｂ−ｎと対応する検索結果ＳＲ−ｎを構成する複数の音素材の中のより低いピッチをもった音素材を選択し、タイムラインＬＩＮＥ−ｉからオブジェクトｏｂ−ｎまでの距離ｄｙが小さいほど、そのオブジェクトｏｂ−ｎと対応する検索結果ＳＲ−ｎを構成する複数の音素材の中のより高いピッチをもった音素材を選択する、といった制御を行ってもよい。
【００８２】
（１４）上記実施形態における操作ログ管理処理３７では、ＣＰＵ２２は、マニュアル演奏操作に従って表示領域内のオブジェクトｏｂ−ｎと対応づけられた音素材を発音させるたびに、発音させた音素材とその発音時刻の対をシーケンスデータ化し、このシーケンスデータをオブジェクトｏｂ−ｎのオブジェクト管理情報に含めるようにしてもよい。
【００８３】
（１５）上記実施形態において、ＣＰＵ２２は、表示部１７の表示領域内に表示されているタイムラインＬＩＮＥ−ｉとそのタイムラインＬＩＮＥ−ｉに帰属する一または複数のオブジェクトｏｂ−ｎとの位置関係に従って生成されるフレーズをシーケンスデータ化し、このシーケンスデータを新たなオブジェクトｏｂ−ｎ（たとえば、オブジェクトｏｂ−１０とする）と対応づけてもよい。そして、そのオブジェクトｏｂ−１０を別のタイムラインＬＩＮＥ−ｉ（たとえば、タイムラインＬＩＮＥ−２０とする）に帰属させた場合に、オブジェクトｏｂ−１０とタイムラインＬＩＮＥ−２０との位置関係によって決まる発音タイミングにおいてオブジェクトｏｂ−１０と対応づけられているシーケンスデータを再生するようにするとよい。
【００８４】
（１６）上記実施形態において、ＣＰＵ２２は、表示部１７の表示領域内におけるタイムラインＬＩＮＥ−ｉの位置が上にあるほどタイミングポインタ６２の移動の速度を速くし、タイムラインＬＩＮＥ−ｉの位置が下にあるほどタイミングポインタ６２の移動の速度を遅くする、といった制御を行ってもよい。また、表示部１７の表示領域内に配置されたオブジェクトｏｂ−ｎをあたかも落下しているかのように上から下に向かって移動させ、重力などを定義するパラメータの設定に従ってその移動の速度を制御してもよい。
【００８５】
（１７）上記実施形態において、オブジェクトｏｂ−ｎは音素材の検索条件ＳＲ−ｎを示す画像であり、１つのタイムラインＬＩＮＥ−ｉと対応する１つのタイムラインタスクｔｓｋ−ｉでは、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎのｘ座標値とタイミングポインタ６２のｘ座標値が一致したとき、そのオブジェクトｏｂ−ｎの検索条件ＳＲ−ｎに従った検索結果ＳＲ−ｎを構成する複数の音素材の中の一つを選択してサウンドシステム９１から発音させた。しかし、オブジェクトｏｂ−ｎを発音対象とする一または複数の音素材そのものを示す画像としてもよい。この態様では、オブジェクトｏｂ−ｎ（ｎ＝１，２…）の各々と一又は複数の音素材とを予め対応づけておく。そして、１つのタイムラインＬＩＮＥ−ｉと対応する１つのタイムラインタスクｔｓｋ−ｉでは、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎのｘ座標値とタイミングポインタ６２のｘ座標値が一致したとき、そのオブジェクトｏｂ−ｎと対応づけられている音素材をサウンドシステム９１から発音させる。
【００８６】
（１８）上記実施形態は、本発明を、ループシーケンサに類するアプリケーションプログラムに適用したものであった。しかし、本発明は、ループシーケンサ以外のシーケンサにも適用可能である。たとえば、テンポや拍子などを異ならせた複数のタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）であって各々が一曲分の演奏時間に相当するタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）を表示部１７の表示領域内に表示させ、それらの複数のタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）が１または複数のオブジェクトｏｂ−ｎを共有するように各々の位置を指定してもよい。また、１曲分の演奏時間に相当するタイムラインＬＩＮＥ−１とその１曲分の演奏時間の間に繰り返すフレーズの周期Ｔに相当するタイムラインＬＩＮＥ−２とを表示部１７の表示領域内に表示させ、それらのタイムラインＬＩＮＥ−１、ＬＩＮＥ−２が１または複数のオブジェクトｏｂ−ｎを共有するように各々の位置を指定してもよい。
【符号の説明】
【００８７】
１０…音検索・演奏装置、１１…インターフェース、１３…操作部、１４…マウス、１５…キーボード、１６…ドラムパッド、１７…表示部、２０…制御部、２２…ＣＰＵ、２３…ＲＡＭ、２４…ＲＯＭ、２５…ハードディスク、２６…曲データベース、２７，２８…音素材データベース、２９…音検索・演奏プログラム、９１…サウンドシステム。
【図１】
2010243892.tif 000003
【図２】
2010243892.tif 000004
【図３】
2010243892.tif 000005
【図４】
2010243892.tif 000006
【図５】
2010243892.tif 000007
【図６】
2010243892.tif 000008
【図７】
2010243892.tif 000009
【図８】
2010243892.tif 000010
【図９】
2010243892.tif 000011
【図１０】
2010243892.tif 000012
【図１１】
2010243892.tif 000013
【図１２】
2010243892.tif 000014
【図１３】
2010243892.tif 000015
【図１４】
2010243892.tif 000016
【図１５】
2010243892.tif 000017