(57)【要約】【課題】  所望の素片データを繋ぎ合わせて曲編集を行う際の素片データの選択作業を容易にする。【解決手段】  曲編集プログラム６１のクラスタシーケンスデータ生成部１２１は、操作部４を介してユーザから与えられる指示に従い、編集曲を構成する各音素片のクラスタを曲の進行に沿って指定するクラスタシーケンスデータを生成する。操作部４を介してユーザから与えられる指示に従い、編集部１２２は、クラスタシーケンスデータ生成部１２１により生成されたクラスタシーケンスデータに基づき、編集曲の各位置における音素片のクラスタを求め、素片データベース６３に記憶された素片データの中から当該クラスタに属するものを選択し、編集曲を示す素片データ列に用いる。【選択図】図８
2008250047.tif 000002
【特許請求の範囲】
【請求項１】
曲の編集に関する情報をユーザに提供し、曲の編集に関する指示をユーザから受け取るユーザインタフェースと、
所定時間長の音素片の波形を示す波形データを含む素片データを記憶する記憶手段と、
前記記憶手段に記憶された素片データのクラスタリングを行うクラスタリング手段と、
前記ユーザインタフェースを介してユーザから与えられる指示に従い、編集曲を構成する各音素片のクラスタを曲の進行に沿って指定するクラスタシーケンスデータを生成するクラスタシーケンスデータ生成手段と、
前記ユーザインタフェースを介してユーザから与えられる指示に従い、前記クラスタシーケンスデータ生成手段により生成されたクラスタシーケンスデータに基づき、前記編集曲の各位置における音素片のクラスタを求め、前記記憶手段に記憶された素片データの中から当該クラスタに属するものを選択し、前記編集曲を示す素片データ列を生成する編集手段と
を具備することを特徴とする曲編集装置。
【請求項２】
前記記憶手段では、各素片データの波形データに、当該波形データが示す音素片の特徴量を含む各種の属性データが対応付けられており、
前記クラスタリング手段は、前記属性データに基づき、前記素片データのクラスタリングを実行することを特徴とする請求項１に記載の曲編集装置。
【請求項３】
楽曲のオーディオ波形を示す曲データを各々所定時間長の音素片の波形を示す複数の素片データに分割する分割手段と、
前記複数の素片データの各々を解析し、前記クラスタリング手段がクラスタリングに用いる属性データとなる少なくとも１種類の特徴量を各素片データから求める解析手段とを具備し、
前記クラスタシーケンス生成手段は、前記曲データから得られた各素片データの特徴量に基づいて、前記曲データから得られた各素片データがいずれのクラスタに属するかを示すクラスタシーケンスデータを生成することを特徴とする請求項２に記載の曲編集装置。
【請求項４】
ユーザインタフェースを介して与えられる指示に従い、前記編集曲の少なくとも一部の区間について少なくとも１種類の特徴量の時間的変化を示す特徴量曲線を生成する特徴量曲線生成手段を具備し、前記編集手段は、前記クラスタシーケンスデータにより指定されたクラスタに属する各素片データのうち前記特徴量曲線が示す値に最も近い特徴量を持った音素片の素片データを選択して前記編集曲の素片データ列を生成することを特徴とする請求項２に記載の曲編集装置。
【請求項５】
コンピュータを、
所定時間長の音素片の波形を示す波形データを含む素片データを記憶する記憶手段と、
前記記憶手段に記憶された素片データのクラスタリングを行うクラスタリング手段と、
ユーザインタフェースを介してユーザから与えられる指示に従い、編集曲を構成する各音素片のクラスタを曲の進行に沿って指定するクラスタシーケンスデータを生成するクラスタシーケンスデータ生成手段と、
前記ユーザインタフェースを介してユーザから与えられる指示に従い、前記クラスタシーケンスデータ生成手段により生成されたクラスタシーケンスデータに基づき、前記編集曲の各位置における音素片のクラスタを求め、前記記憶手段に記憶された素片データの中から当該クラスタに属するものを選択し、前記編集曲を示す素片データ列を生成する編集手段と
して機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音素片の連結により曲を編集する曲編集装置およびプログラムに関する。
【背景技術】
【０００２】
曲編集に関する技術として、オーディオモザイキングと呼ばれる技術がある。このオーディオモザイキング技術では、各種の曲を時間長の短い音素片に分割し、各音素片の波形を示す素片データを集めて素片データベースを構成する。そして、この素片データベースの中から所望の素片データを選択し、選択した素片データを時間軸上において繋ぎ合わせ、新規な曲を編集する。なお、この種の技術に関する文献として、例えば非特許文献１がある。
【非特許文献１】Ari Lazier, Perry Cook、“MOSIEVIUS: FEATURE DRIVEN INTERACTIVE AUDIO MOSAICING”、[on line]、Proc of the 6th Int. Conference onDigital Audio Effects (DAFx-03), London, UK, September 8-11, 2003、［平成１９年３月６日検索］、インターネット<URL:http://soundlab.cs.princeton.edu/publications/mosievius_dafx_2003.pdf>
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、表現力豊かな曲データを得るためには、様々な特徴を持った多くの種類の素片データを予め用意しておき、それらの中の適切なものを選択して繋ぎ合わせる必要がある。しかし、膨大な素片データの中から編集曲の各位置に適したものを探し出す作業は大変であるという問題がある。
【０００４】
この発明は、以上説明した事情に鑑みてなされたものであり、所望の素片データを繋ぎ合わせて曲編集を行う際の素片データの選択作業を容易にした曲編集装置およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
この発明は、曲の編集に関する情報をユーザに提供し、曲の編集に関する指示をユーザから受け取るユーザインタフェースと、所定時間長のオーディオ波形を示す素片データを記憶する記憶手段と、前記記憶手段に記憶された素片データのクラスタリングを行うクラスタリング手段と、前記ユーザインタフェースを介してユーザから与えられる指示に従い、編集曲を構成する各音素片のクラスタを曲の進行に沿って指定するクラスタシーケンスデータを生成するクラスタシーケンスデータ生成手段と、前記ユーザインタフェースを介してユーザから与えられる指示に従い、前記クラスタシーケンスデータ生成手段により生成されたクラスタシーケンスデータに基づき、前記編集曲の各位置における音素片のクラスタを求め、前記記憶手段に記憶された素片データの中から当該クラスタに属するものを選択し、前記編集曲を示す素片データ列に用いる編集手段とを具備することを特徴とする曲編集装置およびコンピュータをこの曲編集装置として機能させるプログラムを提供する。
かかる発明によれば、ユーザは、クラスタシーケンスデータ生成手段によりクラスタシーケンスデータを予め作成しておき、編集手段により、クラスタシーケンスデータが示すクラスタに属する素片データを選択し、編集曲の素片データ列に用いることができる。従って、多数の素片データの中から適切な素片データを容易に探し出し、曲の編集を行うことができる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照し、この発明の実施の形態を説明する。
図１はこの発明の一実施形態である曲編集装置の構成を示すブロック図である。この曲編集装置は、例えばパーソナルコンピュータなどのコンピュータにこの発明の一実施形態である曲編集プログラムをインストールしたものである。
【０００７】
図１において、ＣＰＵ１は、この曲編集装置の各部を制御する制御中枢である。ＲＯＭ２は、ローダなど、この曲編集装置の基本的な動作を制御するための制御プログラムを記憶した読み出し専用メモリである。
【０００８】
表示部３は、装置の動作状態や入力データおよび操作者に対するメッセージなどを表示するための装置であり、例えば液晶デスプレイパネルとその駆動回路により構成されている。操作部４は、ユーザからコマンドや各種の情報を受け取るための手段であり、各種の操作子により構成されている。好ましい態様において、操作部４は、キーボードと、マウスなどのポインティングデバイスを含む。
【０００９】
インタフェース群５は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、磁気ディスクやＣＤ−ＲＯＭなどの外部記憶媒体との間でデータの授受を行うためのドライバなどにより構成されている。
【００１０】
ＨＤＤ（ハードディスク装置）６は、各種のプログラムやデータベースなどの情報を記憶するための不揮発性記憶装置である。ＲＡＭ７は、ＣＰＵ１によってワークエリアとして使用される揮発性メモリである。ＣＰＵ１は、操作部４を介して与えられる指令に従い、ＨＤＤ６内のプログラムをＲＡＭ７にロードして実行する。
【００１１】
サウンドシステム８は、この曲編集装置において編集された曲または編集途中の曲を音として出力する手段であり、音のサンプルデータであるデジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器と、このアナログ音声信号を増幅するアンプと、このアンプの出力信号を音として出力するスピーカ等により構成されている。本実施形態において、このサウンドシステム８と、上述した表示部３および操作部４は、曲の編集に関連した情報をユーザに提供するとともに、曲の編集に関する指示をユーザから受け取るユーザインタフェースとしての役割を果たす。
【００１２】
ＨＤＤ６に記憶される情報として、曲編集プログラム６１と、曲データベース６２と、素片データベース６３と、クラスタリングデータベース６４と、クラスタシーケンスデータベース６５とがある。
【００１３】
曲データベース６２は、各種の楽曲を示す曲データの集合体である。図２に示すように、各楽曲を示す各曲データは、曲ＩＤと、例えば曲名、ジャンル名、アーティスト名等のその楽曲の属性を示す曲属性データと、その楽曲のオーディオ波形を示す波形データとを含む。ここで、波形データは、曲の演奏音のオーディオ波形をサンプリングし、デジタル化した時系列サンプルデータであっても良いし、この時系列サンプルデータを圧縮符号化したものであってもよい。
【００１４】
好ましい態様において、曲編集プログラム６１や曲データは、例えばインターネット内のサイトからインタフェース群５の中の適当なものを介してダウンロードされ、ＨＤＤ６にインストールされる。また、他の態様において、曲編集プログラム６１や曲データは、ＣＤ−ＲＯＭ、ＭＤなどのコンピュータ読み取り可能な記憶媒体に記憶された状態で取引される。この態様では、インタフェース群５の中の適当なものを介して記憶媒体から曲編集プログラム６１や曲データが読み出され、ＨＤＤ６にインストールされる。
【００１５】
素片データベース６３は、曲データベース６２内の曲データが示すオーディオ波形を、例えば一拍等の短い時間長に分割した各種の音素片を示す素片データの集合体である。図３に示すように、各素片データは、素片ＩＤと、素片属性データと、音素片の波形を示す波形データとを含む。ここで、素片ＩＤは、素片データを一意に示す識別子であり、波形データが示す音素片の出所である曲データの曲ＩＤと、その音素片の曲内での位置を示すシーケンス番号とからなる。素片属性データは、例えば波形データが示す音素片の高低感を表すSpectral Centroid、音量感を表すLoudness、音の聴感上の明るさを表すBrightness、聴感上のザラザラ感を示すNoisiness等、波形データが示す音素片に関する各種の特徴量の集合体である。音素片の出所である曲データの曲属性データは、その音素片に内在する属性を示すものではないが、その音素片に外在する属性を示すものであるといえる。素片データの波形データが示す音素片は、素片データの素片ＩＤに含まれる曲ＩＤを介して、その音素片の外在的な属性データである曲属性データに対応付けられている。
【００１６】
クラスタリングデータベース６４は、素片データベース６３内の各素片データをｋ−ＮＮアルゴリズムなどの周知のクラスタリングアルゴリズムによりクラスタリングした結果を示すクラスタリングデータの集合体である。本実施形態では、クラスタリングに関する各種の条件を予め曲編集プログラム６１に記憶させておくことができる。このクラスタリングに関する各種の条件を予め記憶させておくと、本実施形態では、素片データベース６３内に新規な素片データが所定個数以上追加されたとき、それらの各条件でのクラスタリングが実行され、各条件に対応したクラスタリングデータがクラスタリングデータベース６４に格納される（そのための手段については後述する。）。
【００１７】
図４に示すように、各クラスタリングデータは、そのクラスタリングデータの識別子であるクラスタリングＩＤと、クラスタリングの条件を定めたクラスタリング条件記述部と、クラスタ別素片ＩＤ群とを含む。ここで、クラスタ別素片ＩＤ群は、クラスタ１に属する各素片データの素片ＩＤ群、クラスタ２に属する各素片データの素片ＩＤ群、…という具合に、クラスタリングにより得られた各クラスタについて各々に属する素片データを示すものである。
【００１８】
クラスタリングの条件としては、素片データベース６３内の素片データの素片属性データを構成する１または複数の特徴量を指定することができる。図６は、素片属性データ内のある特徴量１（例えばLoudness）と他の特徴量２（例えばSpectral Centroid）とを用いることを条件にして、素片データベース６３内の各素片データのクラスタリングを行った結果を例示するものである。このような条件の下でクラスタリングが行われた場合、図示のクラスタ１に属する各素片データの素片ＩＤ群、クラスタ２に属する各素片データを示す素片ＩＤ群、…等を示すクラスタ別素片ＩＤ群を含むクラスタリングデータが作成され、クラスタリングデータベース６４に格納される。本実施形態では、このような特徴量に基づくクラスタリングの他、各素片データの出所である曲データの曲属性データに基づくクラスタリングを行うことも可能である。そのようなクラスタリングを行わせる場合には、曲属性データにおけるどのデータに基づくクラスタリングを行うのかの条件を予め曲編集プログラム６１に記憶させればよい。
【００１９】
クラスタシーケンスデータベース６５は、クラスタシーケンスデータの集合体である。ここで、各クラスタシーケンスデータは、各種の楽曲のいわば骨組みを示すデータであり、図５に示すように、そのクラスタシーケンスデータの識別子であるクラスタシーケンスＩＤと、曲ＩＤと、クラスタリング条件記述部と、シーケンスデータ部とを含む。曲ＩＤは、オプションであり、クラスタリングシーケンスデータに含めることも省略することもできる。シーケンスデータ部は、図７に例示するように、曲を構成する各音素片のクラスタを曲の進行に沿って指定するものである。クラスタリング条件記述部は、シーケンスデータ部が前提としているクラスタリングの条件、すなわち、シーケンスデータ部が示す各クラスタがどのようなクラスタリングにより得られたクラスタであるかを指定する部分である。
【００２０】
曲ＩＤを含むクラスタシーケンスデータは、例えば次のような場合に生成され得る。まず、本実施形態では、曲データベース６２内の曲データからクラスタシーケンスデータを生成することができる（詳細は後述）。そして、本実施形態では、この生成したクラスタシーケンスデータをクラスタシーケンスデータベース６５に登録することができ、その際に、その元となった曲データの曲ＩＤをクラスタシーケンスデータに含めることができる。また、本実施形態では、ユーザが操作部４の操作により新たなクラスタシーケンスデータを生成し、あるいは既存のクラスタシーケンスデータを修正して新たなクラスタシーケンスデータを生成することができる。そして、この新たなクラスタシーケンスデータに対して素片データをいわば肉付けして素片データ列を生成し、新たな曲の曲データとして曲データベース６２に登録することができる。本実施形態では、この新たな曲データの元となった新たなクラスタシーケンスデータをクラスタシーケンスデータベース６５に登録することができ、その際、クラスタシーケンスデータを用いて生成した曲データの曲ＩＤをクラスタシーケンスデータに含めることができる。
【００２１】
曲編集プログラム６１は、操作部４を介して与えられるユーザの指示に従い、編集曲の素片データ列を生成し、これを曲としてサウンドシステム８から放音させ、または曲データとして曲データベース６２に登録するプログラムである。本実施形態における曲編集プログラム６１の特徴は、操作部４を介して与えられるユーザの指示に従い、上述したクラスタシーケンスデータを生成し得るようにした点およびこのクラスタシーケンスデータに基づいて適切な素片データを選択し、編集曲の素片データ列を生成し得るようにした点にある。
【００２２】
図８は曲編集プログラム６１の構成を示すブロック図である。図８に示すように、曲編集プログラム６１は、各々がプログラムである分割部１１１と、解析部１１２と、素片データ登録部１１３と、クラスタリング部１１４と、クラスタシーケンスデータ生成部１２１と、編集部１２２と、クラスタシーケンスデータ表示部１２３と、再生部１２４と、特徴量曲線生成部１２５と、曲データ登録部１２６とを有する。
【００２３】
ここで、分割部１１１は、操作部４を介して与えられる指示に基づいて曲データベース６２から読み出された曲データ中の波形データをより短い時間長の複数の素片データに分割し、ＲＡＭ７内の元楽曲用素片データ記憶エリアに格納する処理をＣＰＵ１に実行させるプログラムである。好ましい態様において、素片データの時間長は、１拍、２拍または（１／２）拍、（１／４）拍等、拍を単位とした長さである。この態様では、曲データを素片データに分割するためのアルゴリズムとして、周知の拍検出アルゴリズムを利用することができる。あるいは曲データが示す波形を解析してアタック部を検出し、検出した各アタック部から０．５秒の各区間の波形を示す各データを素片データとしてもよい。
【００２４】
解析部１１２は、元楽曲用素片データ記憶エリア内の各素片データを各々解析し、素片データ毎にSpectral
Centroid、Loudness、Brightness、Noisiness等の各種の特徴量を求め、ＲＡＭ７内の特徴量記憶エリアに格納する処理をＣＰＵ１に実行させるプログラムである。好ましい態様において、この解析部１１２は、分割部１１１が実行され、元楽曲用素片データ記憶エリアに素片データ列が格納されたとき、何も指示が与えられなくても自動的に実行される。
【００２５】
素片データ登録部１１３は、操作部４を介して素片データ登録指示が与えられたとき、元楽曲用素片データ記憶エリアに格納された各素片データと、それらの素片データの元になった曲データの曲ＩＤと、特徴量記憶エリアに記憶された各素片データの特徴量を用いて、図３に示す形式の素片データを各々構成し、素片データベース６３に登録する処理をＣＰＵ１に実行させるプログラムである。さらに詳述すると、この素片データ登録部１１３による処理では、特徴量記憶エリアに記憶された各素片データについて、その素片データを波形データとし、その素片データの出所である曲データの曲ＩＤとその素片データの曲内における位置を示すシーケンス番号とを素片ＩＤとし、その素片データから得られた各特徴量を素片属性データとする素片データを生成し、素片データベース６３に登録する。
【００２６】
クラスタリング部１１４は、曲編集プログラム６１に記憶された各種の条件に従って、素片データベース６３内の素片データのクラスタリングを行い、クラスタリング結果であるクラスタリングデータをクラスタリングデータベース６４に格納するプログラムである。本実施形態において、このクラスタリング部１１４は、素片データベース６３内に新規な素片データが所定個数以上追加されたときに起動される。
【００２７】
クラスタシーケンスデータ生成部１２１は、操作部４を介して与えられる指示に従い、ＲＡＭ７内のクラスタシーケンスデータ記憶エリア内に図５に例示するようなクラスタシーケンスデータを生成する処理をＣＰＵ１に実行させるプログラムである。
【００２８】
このクラスタシーケンスデータ生成部１２１による処理において、ユーザは、クラスタシーケンスデータを生成するための処理として、次の３通りの処理のいずれかを選択することができる。
［処理ａ]：操作部４と表示部３により、図７に示すようなクラスタシーケンスデータを描画入力させるためのＧＵＩを提供し、このＧＵＩを介して、ユーザが描画したクラスタシーケンスデータを獲得する。
［処理ｂ］：クラスタシーケンスデータベース６５に格納された既存のクラスタシーケンスデータの中の１つを読み出す。必要であれば、このクラスタシーケンスデータに修正を加える。
［処理ｃ］：上述した分割部１１１および解析部１１２が実行された状態において、シーケンスデータ部の前提となるクラスタリング条件を指定し（図５参照）、特徴量記憶エリアに記憶された各素片データの特徴量等からクラスタシーケンスデータを生成する。
【００２９】
また、クラスタシーケンスデータ生成部１２１による処理では、操作部４を介してユーザから指示が与えられた場合に、クラスタシーケンスデータ記憶エリア内に記憶されたクラスタシーケンスデータに他と重複しないクラスタシーケンスＩＤを付加し、さらにユーザからの指示があれば曲ＩＤを付加し、クラスタシーケンスデータベース６５に登録する。
【００３０】
編集部１２２は、操作部４を介してユーザから与えられる指示に従い、素片データベース６３内の素片データを選択し、編集曲の素片データ列をＲＡＭ７内の編集曲用素片データ記憶エリア内に生成する処理をＣＰＵ１に実行させるプログラムである。
【００３１】
この編集部１２２による処理において、ユーザは、編集曲の素片データ列を生成するための処理として、次の２通りの処理のいずれかを選択することができる。
［処理ｄ］：ユーザがクラスタリング方法を指定すると、編集部１２２は、そのクラスタリング方法において発生する各クラスタを示すアイコンを表示部３に表示させる。ユーザが所望のクラスタを指示すると、編集部１２２は、そのクラスタに属する素片データを示すアイコンを表示部３に表示させる。ユーザがその中の１つを指示すると、編集部１２２は、その指示された素片データを編集曲の素片データ列に用いる。
［処理ｅ］：編集部１２２がクラスタシーケンスデータ記憶エリア内のクラスタシーケンスデータに従って、編集曲の各位置におけるクラスタを求め、素片データベース６３内の各素片データのうち当該クラスタに属する素片データの中から編集曲の素片データ列に用いる素片データを選択する。
【００３２】
上記処理ｅでは、１つのクラスタに属する複数の素片データの中から編集曲の素片データ列に用いる素片データを選択する処理が必要である。この選択処理として、ユーザは、次の２つの処理のいずれかを選択可能である。
［処理ｅ１］：クラスタシーケンスデータにより指定されるクラスタに属する素片データを表示部３に表示させ、操作部４の操作により、その中の１つの素片データを選択させる。
［処理ｅ２］：操作部４の操作により、少なくとも１種類の特徴量について、一定区間内の各音素片についての特徴量の時間的変化を示す特徴量曲線を描画させ、その区間内の各位置では、クラスタシーケンスデータが示すクラスタに属する各素片データの中から特徴量曲線が示す特徴量に最も近い特徴量を持った素片データを選択する。
【００３３】
特徴量曲線生成部１２５は、上記処理ｅ２に必要な特徴量曲線を得るための処理をＣＰＵ１に実行させるプログラムである。また、クラスタシーケンスデータ表示部１２３は、クラスタシーケンスデータ記憶エリア内のクラスタシーケンスデータを図７に例示するような態様で表示部３に表示させる処理をＣＰＵ１に実行させるプログラムである。また、再生部１２４は、編集曲用素片データ記憶エリア内の素片データ列をサウンドシステム８に送り、編集曲を再生させる処理をＣＰＵ１に実行させるプログラムである。曲データ登録部１２６は、操作部４を介して曲データ登録指示が与えられたとき、編集曲用素片データ記憶エリア内の素片データ列を用いて曲データを構成し、曲データベース６２に登録する処理をＣＰＵ１に実行させるプログラムである。
【００３４】
次に、クラスタシーケンスデータを生成し、このクラスタシーケンスデータを骨組みとして適切な素片データを肉付けし、新規な曲の素片データ列を編集する場合を例に本実施形態の動作を説明する。まず、ユーザは、操作部４の操作により、曲編集プログラム６１の実行指示をＣＰＵ１に与える。そして、ＣＰＵ１が曲編集プログラム６１を実行している状態において、ユーザが操作部４の操作により、既存の曲をベースに新規な曲を編集する処理を指示すると、曲編集プログラム６１は、曲データベース６２に格納された各曲データを示すアイコンを表示部３に表示させ、ベースとなる元楽曲の指定をユーザに促す。そして、ユーザが、所望の元楽曲を示すアイコンを操作部４の操作により指示すると、曲編集プログラム６１は、その元楽曲の曲データを曲データベース６２から読み出し、分割部１１１に引き渡す。
【００３５】
分割部１１１は、このようにして引き渡された曲データの波形データを分割して素片データ列を生成し、この素片データ列を元楽曲用素片データ記憶エリアに格納し、解析部１１２を立ち上げる。解析部１１２は、元楽曲用素片データ記憶エリアの各素片データを解析して、素片データ毎に各種の特徴量を求め、特徴量記憶エリア内に格納する。
【００３６】
この状態において、ユーザは、操作部４の操作により、クラスタシーケンスデータ生成部１２１を起動することができる。クラスタシーケンスデータ生成部１２１は、操作部４の操作により起動されると、クラスタシーケンスデータの生成処理の選択画面を表示させ、上述した処理ａ、ｂ、ｃのいずれかをユーザに選択させる。
【００３７】
ユーザが操作部４の操作により処理ｃを選択すると、クラスタシーケンスデータ生成部１２１は、クラスタリングデータベース６４内の各クラスタリングデータ内のクラスタリング条件記述部を参照し、各クラスタリング条件記述部に記述された各クラスタリング条件を表示部３に表示させる。
【００３８】
ユーザは、操作部４の操作により、表示部３に表示された各クラスタリング条件の中から所望のクラスタリング条件を選択する。クラスタシーケンスデータ生成部１２１は、このようにしてユーザによって選択されたクラスタリング条件に基づくクラスタシーケンスデータを特徴量記憶エリア内の各素片データの各特徴量等を参照して生成する。
【００３９】
例えばユーザによって選択されたクラスタリング条件が「特徴量１および２をクラスタリングに用いること」である場合、クラスタシーケンスデータ生成部１２１は、次の手順によりクラスタシーケンスデータを生成する。まず、特徴量記憶エリアに記憶された最初の素片データについての各種の特徴量の中から特徴量１および２を読み出す。次にクラスタリングデータベース６４内のユーザによって選択されたクラスタリング条件に対応したクラスタリングデータのクラスタ別素片ＩＤ群と、素片データベース６３内の各素片データとを参照し、特徴量１および２に基づく素片データのクラスタリングを行った場合に、特徴量記憶エリアから読み出した特徴量１および２により特徴付けられる最初の素片データがいずれのクラスタに属するかを判定する。そして、この判定結果に従い、クラスタシーケンスデータのうち最初の素片データのクラスタを指定する部分を生成する。クラスタシーケンスデータ生成部１２１は、同様のことを後続の各素片データについて実行し、編集曲における各音素片のクラスタを曲の進行順に指定するクラスタシーケンスデータを生成し、クラスタシーケンスデータ記憶エリア内に格納する。
【００４０】
このようにしてクラスタシーケンスデータがクラスタシーケンスデータ記憶エリア内に得られると、ユーザは操作部４の操作により編集部１２２を起動することができる。編集部１２２は、操作部４の操作により起動されると、編集曲の素片データ列の生成処理に関する選択画面を表示部３に表示させ、上記処理ｄまたはｅのいずれかを選択させる。ここで、処理ｅが選択された場合、編集部１２２は、クラスタシーケンスデータ表示部１２３を起動して、クラスタシーケンスデータ記憶エリア内のクラスタシーケンスデータを図７に例示するような態様で表示部３に表示させる。さらに上記処理ｅ１またはｅ２を選択させる選択画面を表示部３に表示させ、ユーザに選択を促す。
【００４１】
図９は、ユーザが処理ｅ１を選択した場合における編集部１２２の処理内容を示すものである。ユーザは、例えば図９に示すクラスタ１の継続期間内の所望の時刻の素片データを決定しようとする場合、操作部４の例えばマウスの操作により、表示部３の表示画面上の同クラスタ１の継続期間を示す線分上の一点にマウスポインタを移動させ（矢印Ｌ１）、マウスをクリックする。これにより、編集部１２２は、素片データベース６３内の各素片データのうちクラスタ１に属する素片データを読み出し、表示部３に表示させる。なお、図７に例示されているように複数のクラスタが並存している区間内の一点がユーザによって指示される場合もあるが、そのような場合、それらの並存している全てのクラスタについて素片データを表示部３に表示させてもよい。
【００４２】
好ましい態様では、クラスタシーケンスデータの生成に用いられたクラスタリング条件が例えば「特徴量１および２をクラスタリングに用いること」である場合、編集部１２２は、図示のように、クラスタ１に属する各素片データを各々の特徴量１および２に基づき２次元座標系にマッピングした画像を表示部３に表示させる。
【００４３】
この状態において、ユーザがマウスの操作により、所望の素片データのプロットまたはその近傍の点を指示すると（矢印Ｌ２）、編集部１２２は、ユーザによって指示された素片データを素片データベース６３から読み出し、その素片データにおける波形データをユーザによって指示された時点（矢印Ｌ１参照）に対応した素片データとして編集曲用素片データ記憶エリアに格納する。以後、ユーザは同様の操作の繰り返しにより、編集曲の素片データ列を編集曲用素片データ記憶エリア内に生成することができる。
【００４４】
図１０は、ユーザが処理ｅ２を選択した場合における編集部１２２の処理内容を示すものである。この処理ｅ２において、編集部１２２は、特徴量曲線生成部１２５を立ち上げる。この状態において、ユーザは、操作部４の例えばマウスの操作により、編集曲における所望の区間を指定し、その区間内における特徴量曲線を描画することができる。この場合の特徴量は、クラスタシーケンスデータの生成に用いられたクラスタリング条件の範囲内のものであればよい。例えばクラスタリング条件が例えば「特徴量１および２をクラスタリングに用いること」である場合、ユーザは、特徴量１の特徴量曲線を描画することができるし、特徴量２の特徴量曲線を描画することもできるし、特徴量１および２の両方の特徴量曲線を各々描画することもできる。
【００４５】
編集部１２２は、曲のある区間について、マウスを用いた描画処理により特徴量曲線が生成されると、その区間内の各位置では、クラスタシーケンスデータが示すクラスタに属する各素片データの中から特徴量曲線が示す特徴量に最も近い特徴量を持った素片データを選択し、編集曲の素片データとして編集曲用素片データ記憶エリアに格納する。例えば図１０に示すように、クラスタ１の継続期間内の区間Ｔ１について、特徴量１の特徴量曲線が生成された場合、この区間Ｔ１内の各位置では、クラスタ１に属する各素片データの中から特徴量曲線が示す特徴量１に最も近い特徴量１を持った素片データを選択し、編集曲の素片データとして編集曲用素片データ記憶エリアに格納するのである。ユーザは、編集曲を構成する各区間について、このような特徴量曲線の描画による素片データの選択を繰り返し、編集曲の素片データ列を編集曲用素片データ記憶エリア内に生成することができる。また、本実施形態では、例えば上記区間Ｔ１について、特徴量曲線として、例えば特徴量１のものと特徴量２のものが生成される場合もあり得る。この場合、編集部１２２は、区間Ｔ１内の各位置では、クラスタ１に属する各素片データの中から、２本の特徴量曲線が示す特徴量１および特徴量２を成分とする特徴量ベクトルに最も近い特徴量ベクトルを持った素片データを選択し、編集曲の素片データとして編集曲用素片データ記憶エリアに格納する。
【００４６】
以上のようにして編集曲の素片データ列を生成する作業を行う間、ユーザは、操作部４の操作により、再生部１２４を起動し、編集曲用素片データ記憶エリア内の素片データ列をサウンドシステム８に送り、編集曲を再生させることができる。ユーザは、再生される編集曲が所望の内容になるまで、上述した編集部１２２の処理を利用し、編集曲の素片データ列の生成を繰り返せばよい。編集曲が所望の内容になったとき、ユーザは、必要であれば、操作部４の操作により、曲データ登録指示を入力することができる。この曲データ登録指示が与えられると、曲データ登録部１２６は、編集曲用素片データ記憶エリア内の素片データ列を用いて新たな曲データを構成する。その際、曲データベース６２内の曲データの曲ＩＤと重複しない曲ＩＤを発生し、新たな曲データに付加する。また、曲名、ジャンル名等の曲属性データの各項目は、操作部４の操作によりユーザに入力させ、新たな曲データに付加する。そして、このようにして構成された新たな曲データを曲データベース６２に登録する。
【００４７】
以上、既存の曲データからクラスタシーケンスデータを生成する場合を例に本実施形態の動作を説明したが、本実施形態では、ユーザが操作部４の操作によりクラスタシーケンスデータを生成し、またはクラスタシーケンスデータベース６５内のクラスタシーケンスデータを読み出し、このクラスタシーケンスデータを用いて、編集曲の素片データ列を生成することも勿論可能である。その場合のクラスタシーケンスデータから編集曲の素片データ列を生成する動作は既に説明した通りである。
【００４８】
以上説明したように、本実施形態によれば、ユーザは、クラスタシーケンスデータ生成部１２１によりクラスタシーケンスデータを予め作成しておき、編集部１２２により、クラスタシーケンスデータが示すクラスタに属する素片データを選択し、編集曲の素片データ列を生成することができる。従って、多数の素片データの中から適切な素片データを容易に探し出し、曲の編集を行うことができる。
【００４９】
以上、この発明の一実施形態について説明したが、この発明にはこれ以外にも他の実施形態が考えられる。例えば次の通りである。
【００５０】
（１）曲編集プログラム６１は、その一部または全部のプログラムを電子回路に置き換えてもよい。
（２）操作部４を介して与えられる指示に従って、クラスタシーケンスデータベース６５内のクラスタシーケンスデータを読み出して表示部３に表示させた場合において、そのクラスタシーケンスデータが曲ＩＤを含んでおり、かつ、操作部４を介して再生指示が与えた場合には、その曲ＩＤに対応した曲データをサウンドシステム８により再生するように構成してもよい。これによりユーザは、視覚により確認される曲の構成（クラスタシーケンスデータ）と、聴覚により確認される曲の構成との関係を理解することができる。
（３）上記処理ｅ２の実行過程において、ある区間について例えば特徴量１の特徴量曲線を描画させる際、その区間におけるクラスタに属する各素片データの特徴量１の上限と下限を求め、この上限から下限までの範囲内で特徴量１の特徴量曲線を描画させるように、上限と下限の位置を明示した座標を表示部３に表示させてもよい。
【図面の簡単な説明】
【００５１】
【図１】この発明の一実施形態である曲編集装置の構成を示すブロック図である。
【図２】同実施形態における曲データの構成を示す図である。
【図３】同実施形態において素片データベース６３に登録された素片データの構成を示す図である。
【図４】同実施形態においてクラスタリングデータベース６４に登録されたクラスタリングデータの構成を示す図である。
【図５】同実施形態においてクラスタシーケンスデータベース６５に登録されたクラスタシーケンスデータの構成を示す図である。
【図６】同実施形態において行われる素片データのクラスタリングの状況を示す図である。
【図７】同実施形態におけるクラスタシーケンスデータが示す内容を説明する図である。
【図８】同実施形態における曲編集プログラム６１の構成を示すブロック図である。
【図９】同曲編集プログラム６１における編集部１２２の第１の動作例を示す図である。
【図１０】同曲編集プログラム６１における編集部１２２の第２の動作例を示す図である。
【符号の説明】
【００５２】
１……ＣＰＵ、２……ＲＯＭ、３……表示部、４……操作部、５……インタフェース群、６……ＨＤＤ、７……ＲＡＭ、８……サウンドシステム、６１……曲編集プログラム、６２……曲データベース、６３……素片データベース、６４……クラスタリングデータベース、６５……クラスタシーケンスデータベース、１１１……分割部、１１２……解析部、１１３……素片データ登録部、１１４……クラスタリング部、１２１……クラスタシーケンスデータ生成部、１２２……編集部、１２３……クラスタシーケンスデータ表示部、１２４……再生部、１２５……特徴量曲線生成部、１２６……曲データ登録部。
【図１】
2008250047.tif 000003
【図２】
2008250047.tif 000004
【図３】
2008250047.tif 000005
【図４】
2008250047.tif 000006
【図５】
2008250047.tif 000007
【図６】
2008250047.tif 000008
【図７】
2008250047.tif 000009
【図８】
2008250047.tif 000010
【図９】
2008250047.tif 000011
【図１０】
2008250047.tif 000012