(57)【特許請求の範囲】
【請求項１】
音素材をそれぞれ異なる処理方式で処理する複数の処理モジュールと、
複数の音素材の各々について処理方式を決定する決定手段と、
前記複数の音素材の各々を前記決定された処理方式に対応する処理モジュールに入力する入力手段と、
前記決定された処理方式に対応する処理モジュールにより処理された音素材を出力する出力手段と、
前記複数の処理モジュールの各々について音素材の処理に要する時間を処理遅延量として取得する取得手段と、
前記複数の処理モジュールについて取得された処理遅延量のうち最大の処理遅延量以上である基準遅延量を設定する第１の設定手段と、
前記入力手段による前記決定された処理モジュールへの音素材の入力から前記出力手段による音素材の出力までの時間が前記基準遅延量と等しくなるように前記入力手段による音素材の入力から前記出力手段による音素材の出力までの過程において音素材に遅延を与える遅延付与手段とを備える、音素材処理装置。
【請求項２】
前記遅延付与手段は、前記決定された処理モジュールについての処理遅延量と前記基準遅延量との差分を算出し、前記入力手段による音素材の入力時または前記出力手段による音素材の出力時において前記差分に相当する遅延を音素材に与える、請求項１記載の音素材処理装置。
【請求項３】
前記複数の処理モジュールの処理に関するパラメータの値を設定する第２の設定手段をさらに備え、
前記複数の処理モジュールの各々は、設定されたパラメータの値に応じた処理遅延量を有し、
前記取得手段は、前記複数の処理モジュールについて前記設定されたパラメータの値に応じた処理遅延量を取得する、請求項１または２記載の音素材処理装置。
【請求項４】
前記決定手段は、各音素材の特徴に基づいて処理方式を決定する、請求項１〜３のいずれか一項に記載の音素材処理装置。
【請求項５】
複数の音素材の各々について処理方式を決定するステップと、
前記複数の音素材の各々を複数の処理モジュールのうち前記決定された処理方式に対応する処理モジュールに入力するステップと、
前記決定された処理方式に対応する処理モジュールにより処理された音素材を出力するステップと、
前記複数の処理モジュールの各々について音素材の処理に要する時間を処理遅延量として取得するステップと、
前記複数の処理モジュールについて取得された処理遅延量のうち最大の処理遅延量以上である基準遅延量を設定するステップと、
前記決定された処理モジュールへの音素材の入力から音素材の出力までの時間が前記基準遅延量と等しくなるように音素材の入力から音素材の出力までの過程において音素材に遅延を与えるステップとを、
コンピュータに実行させる、音素材処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音素材を処理する音素材処理装置および音素材処理プログラムに関する。
【背景技術】
【０００２】
音響データ（オーディオデータ）のピッチを変更せずにテンポを変更するためにタイムストレッチが行われる。タイムストレッチの方式として種々の方式が提案されている。タイムストレッチの方式により処理に要する時間が異なる。そのため、複数の音素材にそれぞれ異なる方式でタイムストレッチが行われると、方式の切り替え時に無音状態が発生しまたは同じ音が二度再生されるという音ずれが生じる。
【０００３】
特許文献１に記載された楽曲処理装置およびプログラムでは、高速かつ低音質の処理方式である第１の時間軸圧伸処理と低速かつ高音質の処理方式である第２の時間軸圧伸処理とが用いられる。再生指示に応じて、第１の時間軸圧伸処理の結果得られる楽音データが出力され、第２の時間軸圧伸処理の結果得られた楽音データが充分な数に達したことを契機として、第１の時間軸圧伸処理の代わりに、第２の時間軸圧伸処理の結果得られた楽音データが出力される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許５３５９２０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された方法によれば、第１の時間軸圧伸処理から第２の時間軸圧伸処理への切り替え時に音ずれが生じない。しかしながら、上記の方法では、高音質の処理結果が得られる処理方式に併せて低音質の処理結果が得られる処理方式を用いる必要がある。そのため、複数の音素材の各々を所望の処理方式で処理することはできない。ユーザが音のずれを生じることなく所望の処理方式でそれぞれ処理された複数の音素材を再生するためには、各処理方式および楽音の信号処理についての知識および経験が必要となる。
【０００６】
本発明の目的は、複数の音素材の各々を任意の処理方式で処理するとともに処理後の複数の音素材の連続性を容易に確保することが可能な音素材処理装置および音素材処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
（１）本発明に係る音素材処理装置は、音素材をそれぞれ異なる処理方式で処理する複数の処理モジュールと、複数の音素材の各々について処理方式を決定する決定手段と、複数の音素材の各々を決定された処理方式に対応する処理モジュールに入力する入力手段と、決定された処理方式に対応する処理モジュールにより処理された音素材を出力する出力手段と、複数の処理モジュールの各々について音素材の処理に要する時間を処理遅延量として取得する取得手段と、複数の処理モジュールについて取得された処理遅延量のうち最大の処理遅延量以上である基準遅延量を設定する第１の設定手段と、入力手段による決定された処理モジュールへの音素材の入力から出力手段による音素材の出力までの時間が基準遅延量と等しくなるように入力手段による音素材の入力から出力手段による音素材の出力までの過程において音素材に遅延を与える遅延付与手段とを備える。
【０００８】
その音素材処理装置においては、複数の音素材の各々について処理方式が決定される。また、各処理モジュールについての処理遅延量が取得され、最大の処理遅延量以上である基準遅延量が設定される。複数の音素材の再生時には、各音素材が決定された処理方式に対応する処理モジュールに入力され、その処理モジュールにより処理された後、処理された音素材が出力される。この場合、処理モジュールへの音素材の入力から音素材の出力までの時間が基準遅延量と等しくなるように音素材に遅延が与えられる。それにより、複数の音素材の各々を任意の処理方式で処理するとともに処理後の複数の音素材の連続性を容易に確保することが可能となる。その結果、音のずれが生じず聴感上自然な再生を行うことができる。また、各処理方式についての知識をユーザが特に必要とせずかつ処理方式毎の遅延量の設定等の作業を行わずに好適な処理結果を得ることができる。さらに、音素材に適した処理方式を任意に選択することができる。
【０００９】
（２）遅延付与手段は、決定された処理モジュールについての処理遅延量と基準遅延量との差分を算出し、入力手段による音素材の入力時または出力手段による音素材の出力時において差分に相当する遅延を音素材に与えてもよい。この場合、簡単な構成で処理後の複数の音素材の連続性を容易に確保することが可能となる。
【００１０】
（３）音素材処理装置は、複数の処理モジュールの処理に関するパラメータの値を設定する第２の設定手段をさらに備え、複数の処理モジュールの各々は、設定されたパラメータの値に応じた処理遅延量を有し、取得手段は、複数の処理モジュールについて設定されたパラメータの値に応じた処理遅延量を取得してもよい。この場合、パラメータの値により各処理モジュールの処理遅延量が異なる場合でも、処理後の複数の音素材の連続性を容易に確保することが可能となる。
【００１１】
（４）決定手段は、各音素材の特徴に基づいて処理方式を決定してもよい。この場合、各音素材の特徴に応じた処理方式で複数の音素材を適切に処理することが可能となり、かつ処理後の複数の音素材の連続性を容易に確保することが可能となる。
【００１２】
（５）本発明に係る音素材処理プログラムは、複数の音素材の各々について処理方式を決定するステップと、複数の音素材の各々を複数の処理モジュールのうち決定された処理方式に対応する処理モジュールに入力するステップと、決定された処理方式に対応する処理モジュールにより処理された音素材を出力するステップと、複数の処理モジュールの各々について音素材の処理に要する時間を処理遅延量として取得するステップと、複数の処理モジュールについて取得された処理遅延量のうち最大の処理遅延量以上である基準遅延量を設定するステップと、決定された処理モジュールへの音素材の入力から音素材の出力までの時間が基準遅延量と等しくなるように音素材の入力から音素材の出力までの過程において音素材に遅延を与えるステップとを、コンピュータに実行させる。
【００１３】
その音素材処理プログラムによれば、複数の音素材の各々を任意の処理方式で処理するとともに処理後の複数の音素材の連続性を容易に確保することが可能となる。
【発明の効果】
【００１４】
本発明によれば、複数の音素材の各々を任意の処理方式で処理するとともに処理後の複数の音素材の連続性を容易に確保することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係る音素材処理装置を含む電子音楽装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る音素材処理装置の機能的な構成を示すブロック図である。
【図３】図１および図２の音素材処理装置により行われる複数の音素材の処理を示すフローチャートである。
【図４】図１および図２の音素材処理装置により行われる複数の音素材の処理を示すフローチャートである。
【図５】音素材処理装置による複数の音素材の処理の一例を示すタイミング図である。
【図６】音素材処理装置の他の機能的な構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態に係る音素材処理装置および音素材処理プログラムについて図面を用いて詳細に説明する。
【００１７】
（１）電子音楽装置の構成
図１は本発明の実施の形態に係る音素材処理装置を含む電子音楽装置の構成を示すブロック図である。図１の電子音楽装置１によれば、ユーザは演奏および楽曲の制作等を行うことができる。また、ユーザは、電子音楽装置１により各種音素材の処理を行い、処理された音素材を再生することができる。
【００１８】
電子音楽装置１は、演奏データ入力部２、入力Ｉ／Ｆ（インタフェース）３、設定操作子４、検出回路５、タッチパネルディスプレイ６、検出回路７および表示回路８を備える。演奏データ入力部２は、鍵盤等の音高指定操作子またはマイク等を含み、入力Ｉ／Ｆ３を介してバス１９に接続される。ユーザの演奏操作に基づく演奏データが演奏データ入力部２により入力される。設定操作子４は、オンオフ操作されるスイッチ、回転操作されるロータリエンコーダ、またはスライド操作されるリニアエンコーダ等を含み、検出回路５を介してバス１９に接続される。この設定操作子４は、音量の調整、電源のオンオフおよび各種設定を行うために用いられる。
【００１９】
タッチパネルディスプレイ６は、検出回路７および表示回路８を介してバス１９に接続される。タッチパネルディスプレイ６には、各種情報が表示される。ユーザは、タッチパネルディスプレイ６を操作することにより各種操作を指示することができる。
【００２０】
電子音楽装置１は、ＲＡＭ（ランダムアクセスメモリ）９、ＲＯＭ（リードオンリメモリ）１０、ＣＰＵ（中央演算処理装置）１１、タイマ１２および記憶装置１３をさらに備える。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１および記憶装置１３はバス１９に接続され、タイマ１２はＣＰＵ１１に接続される。外部記憶装置１５等の外部機器が通信Ｉ／Ｆ（インタフェース）１４を介してバス１９に接続されてもよい。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１およびタイマ１２がコンピュータを構成する。
【００２１】
ＲＡＭ９は、例えば揮発性メモリからなり、ＣＰＵ１１の作業領域として用いられるとともに、各種データを一時的に記憶する。ＲＯＭ１０は、例えば不揮発性メモリからなり、システムプログラムおよび音素材処理プログラム等のコンピュータプログラムを記憶する。ＣＰＵ１１は、ＲＯＭ１０に記憶された音素材処理プログラムをＲＡＭ９上で実行することにより後述する音素材の処理を行う。タイマ１２は、現在時刻等の時間情報をＣＰＵ１１に与える。
【００２２】
記憶装置１３は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。この記憶装置１３には、複数の音素材が記憶される。ユーザにより楽曲を構成する一連の音素材が選択される。各音素材は、音の波形を示すサンプリングデータ列からなる音響データ（オーディオデータ）である。音とは、音楽的な音に限るものではなく、音声またはその他の任意の音を含む。音素材は、任意の長さを有し、１拍もしくは複数拍に相当する長さまたは１拍に満たない１発音分の長さを有してもよく、楽曲の１小節または複数小節に相当する長さを有してもよい。また、記憶装置１３には、自動演奏データおよび自動伴奏データが記憶される。上記の音素材処理プログラムが記憶装置１３に記憶されてもよい。
【００２３】
外部記憶装置１５は、記憶装置１３と同様に、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含み、楽曲データ等の各種データまたは音素材処理プログラムを記憶してもよい。
【００２４】
なお、本実施の形態における音素材処理プログラムは、コンピュータが読み取り可能な記録媒体に格納された形態で提供され、ＲＯＭ１０または記憶装置１３にインストールされてもよい。また、通信Ｉ／Ｆ１４が通信網に接続されている場合、通信網に接続されたサーバから配信された音素材処理プログラムがＲＯＭ１０または記憶装置１３にインストールされてもよい。
【００２５】
電子音楽装置１は、音源１６、効果回路１７およびサウンドシステム１８をさらに備える。音源１６および効果回路１７はバス１９に接続され、サウンドシステム１８は効果回路１７に接続される。音源１６は、演奏データ入力部２から入力される演奏データまたは記憶装置１３から与えられる自動演奏データまたは自動伴奏データに基づいて楽音信号を生成する。効果回路１７は、音源１６により生成される楽音信号またはＣＰＵ１１から与えられる音素材に音響効果を付与する。
【００２６】
サウンドシステム１８は、デジタルアナログ（Ｄ／Ａ）変換回路、増幅器およびスピーカを含む。このサウンドシステム１８は、音源１６から効果回路１７を通して与えられる楽音信号またはＣＰＵ１１から効果回路１７を通して与えられる音素材をアナログ音信号に変換し、アナログ音信号に基づく音を発生する。それにより、楽音信号または音素材が再生される。電子音楽装置１において、主としてタッチパネルディスプレイ６、ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１、タイマ１２および記憶装置１３が音素材処理装置１００を構成する。
【００２７】
（２）音素材処理装置１００の機能的な構成
図２は本発明の実施の形態に係る音素材処理装置１００の機能的な構成を示すブロック図である。図２に示すように、音素材処理装置１００は、再生指示部１１０、音素材入力部１２０、複数の遅延部１３０、複数の処理モジュール１４０および音素材出力部１５０を含む。また、音素材処理装置１００は、処理方式決定部１６０、特徴情報取得部１６１、好適性情報取得部１６２、処理モジュール選択部１７０、差分遅延量算出部１８０、処理遅延量取得部１９０、パラメータ値設定部２００および処理モジュール登録部２１０を含む。図２の音素材処理装置１００の各ブロックの機能は、ＣＰＵ１１がＲＯＭ１０または記憶装置１３に記憶された音素材処理プログラムを実行することにより実現される。
【００２８】
以下、複数の遅延部１３０の各々を区別する場合には、複数の遅延部１３０をそれぞれ遅延部１３０ａ〜１３０ｄと呼ぶ。また、複数の処理モジュール１４０の各々を区別する場合には、複数の処理モジュール１４０をそれぞれ処理モジュール１４０ａ〜１４０ｄと呼ぶ。
【００２９】
複数の処理モジュール１４０ａ〜１４０ｄは、それぞれ異なる処理方式Ａ〜Ｄで音素材に処理を行う。ここで、異なる処理方式は、同じ目的の処理を行うための方式である。なお、異なる処理方式が厳密に同じ目的の処理を行うための方式でなく、類似の目的の処理を行うための方式であってもよい。
【００３０】
本実施の形態では、処理はタイムストレッチである。タイムストレッチとは、音響データを時間軸上で圧縮または伸張することを意味する。本実施の形態では、処理方式Ａ〜Ｄは、それぞれ異なるタイムストレッチ方式である。複数の処理モジュール１４０ａ〜１４０ｄは、それぞれ処理方式Ａ〜Ｄの音特徴好適性情報ＰＲａ〜ＰＲｄを保有する。音特徴好適性情報ＰＲａ〜ＰＲｄについては後述する。各処理方式による音素材の処理に要する時間を処理遅延量と呼ぶ。処理遅延量は、音素材が各処理モジュール１４０に入力されてから出力されるまでの時間である。処理モジュール１４０ａ〜１４０ｄは、処理遅延量ＤＬａ〜ＤＬｄを保有する。本実施の形態では、処理モジュール１４０ａ〜１４０ｄを構成するプログラム中に音特徴好適性情報ＰＲａ〜ＰＲｄおよび処理遅延量ＤＬａ〜ＤＬｄが記述されている。
【００３１】
処理遅延量取得部１９０は、複数の処理モジュール１４０ａ〜１４０ｄからそれぞれ処理遅延量ＤＬａ〜ＤＬｄを取得する。差分遅延量算出部１８０は、処理遅延量ＤＬａ〜ＤＬｄの最大値以上の値を基準遅延量として算出し、処理遅延量ＤＬａ〜ＤＬｄと基準遅延量との差分を差分遅延量ΔＤａ〜ΔＤｄとして算出する。また、差分遅延量算出部１８０は、算出した差分遅延量ΔＤａ〜ΔＤｄをそれぞれ処理モジュール１４０ａ〜１４０ｄに対応する遅延部１３０ａ〜１３０ｄに設定する。
【００３２】
パラメータ値設定部２００は、ユーザによる図１のタッチパネルディスプレイ６の操作に基づいて処理モジュール１４０ａ〜１４０ｄの処理に関する可変のパラメータＰＡの値を設定する。本実施の形態では、パラメータはストレッチ比である。ストレッチ比は、タイムストレッチ前の音素材の再生時間に対するタイムストレッチ後の音素材の再生時間の比である。パラメータＰＡの値に依存して処理モジュール１４０ａ〜１４０ｄの処理遅延量ＤＬａ〜ＤＬｄが変化する。
【００３３】
処理モジュール登録部２１０は、ユーザによる図１のタッチパネルディスプレイ６の操作に基づいて複数の処理モジュール１４０ａ〜１４０ｄのうち複数の音素材の処理に用いる処理モジュール１４０を登録する。全ての処理モジュール１４０が登録された場合には全ての処理モジュール１４０を、一部の処理モジュール１４０が登録された場合には登録された処理モジュール１４０のみを各音素材の処理に用いることが可能となる。
【００３４】
音素材入力部１２０は、ユーザによるタッチパネルディスプレイ６の操作に基づいて図１の記憶装置１３に記憶される複数の音素材を入力する。複数の音素材は、一の楽曲データから連続的または不連続に選択された複数の音素材、または複数の楽曲データから不連続に選択された複数の音素材であってもよい。音素材入力部１２０への複数の音素材の入力順序は予め定められている。本実施の形態では、Ｎ個の音素材ＳＩ１〜ＳＩＮが入力される。Ｎは２以上の自然数である。
【００３５】
特徴情報取得部１６１は、音素材入力部１２０により入力された複数の音素材ＳＩ１〜ＳＩＮから特徴を表す特徴情報ＳＭ１〜ＳＭＮをそれぞれ取得する。好適性情報取得部１６２は、複数の処理モジュール１４０ａ〜１４０ｄから音特徴好適性情報ＰＲａ〜ＰＲｄを取得する。処理方式決定部１６０は、特徴情報取得部１６１により取得された特徴情報および好適性情報取得部１６２により取得された音特徴好適性情報ＰＲａ〜ＰＲｄに基づいて各音素材の処理に用いる処理方式を決定する。本実施の形態では、Ｎ個の音素材ＳＩ１〜ＳＩＮの各々の処理に用いる処理方式が音素材の再生前に予め決定される。
【００３６】
音素材の再生時には、再生指示部１１０は、ユーザによる図１のタッチパネルディスプレイ６の操作に基づいて複数の音素材の再生を指示する。それにより、音素材入力部１２０は、複数の音素材ＳＩ１〜ＳＩＮを順に入力する。この場合、入力する音素材の間に休符区間が入ってもよい。また、各音素材が再生開始予定時刻付きでまたは再生開始予定時刻が算出されて入力されてもよい。処理モジュール選択部１７０は、音素材の入力ごとに処理方式決定部１６０により決定された処理方式に対応する処理モジュール１４０を選択し、選択した処理モジュール１４０への音素材の入力を音素材入力部１２０に指示し、かつ選択した処理モジュール１４０により処理された音素材の出力を音素材出力部１５０に指示する。
【００３７】
音素材入力部１２０は、処理モジュール選択部１７０により指示された処理モジュール１４０に遅延部１３０を通して各音素材を入力する。このとき、遅延部１３０は、予め設定された差分遅延量の遅延を音素材に与える。選択された処理モジュール１４０は、入力された音素材を処理する。音素材出力部１５０は、処理モジュール選択部１７０により指示された処理モジュール１４０により処理された音素材を出力する。本実施の形態では、音素材出力部１５０は、音素材ＳＩ１〜ＳＩＮにタイムストレッチを行うことにより得られた音素材ＳＯ１〜ＳＯＮを順に出力する。
【００３８】
（３）処理方式の決定方法
音素材の特徴は、例えば、音素材がピッチ音であるか無ピッチ音であるか、音素材がピッチ音である場合に単一音であるか混合音であるか、または音素材に無音区間が存在するか否かである。
【００３９】
ピッチ音は、人が音高を明確に知覚可能な音である。ピッチ音の波形は、周期性を有する。ピッチ音は、人の声または管弦楽器および鍵盤楽器から発せられる持続音または減衰音等を含む。また、打楽器のうち、マリンバ、鉄琴、タムおよびティンパニ等の音もピッチ音に含まれる。無ピッチ音は、人が音高を明確に知覚することができない音である。無ピッチ音の波形は、周期性を有さない。無ピッチ音は、滝または雨の音、ならびにスネアドラムおよびマラカス等の打楽器の音を含む。
【００４０】
ピッチ音は、単一音および混合音を含む。単一音は、人が１つの音として知覚する音である。単一音の波形は、単一の周期を有する。混合音は、複数の単一音が混合された音である。ギターまたはピアノ等は単独で混合音を発することができる。また、複数の楽器が同時に発した複数の単一音の組み合わせも混合音に相当する。
【００４１】
複数の処理方式としては、例えば、スライス方式、ＰＳＯＬＡ（ピッチ同期重畳加算）方式、フェーズボコーダ方式、および波形クロスフェード方式がある。
【００４２】
スライス方式は、時間軸上で複数の音の間に無音区間が存在する音素材（例えば、パーカッション演奏等）に好適である。一方、時間軸上で連続する複数の音が互いにオーバーラップして無音区間が存在しない音素材、または無音区間が少ない音素材には、スライス方式は適さない。ＰＳＯＬＡ方式は、単一音に好適であり、無ピッチ音に関しても一定の音質が得られる。一方、ＰＳＯＬＡ方式は、混合音に適さない。フェーズボコーダ方式は、音高が明確なピッチ音（単一音および混合音の両方）に好適であり、音高が明確でない無ピッチ音に適さない。波形クロスフェード方式は、無ピッチ音、単一音および混合音を含む各種の音素材に関して一定の音質が得られるが、単一音に関してはＰＳＯＬＡ方式よりも音質的に劣り、混合音に関してはフェーズボコーダ方式よりも音質的に劣る。
【００４３】
音特徴好適性情報ＰＲａ〜ＰＲｄは、複数の特徴に対する処理方式Ａ〜Ｄの好適性の程度を示す。例えば、処理方式Ａについては、特徴ａを有する音素材を処理した場合に最も高い音質が得られ、特徴ｂを有する音素材を処理した場合に最も低い音質が得られ、特徴ｃを有する音素材を処理した場合に中間の音質が得られる。この場合、音特徴好適性情報ＰＲａは、特徴ａに対して最も高い好適性を有し、特徴ｂに対して最も低い好適性を有し、特徴ｃに対して中間の好適性を有する。処理方式決定部１６０は、各音素材についての特徴情報および音特徴好適性情報ＰＲａ〜ＰＲｄに基づいて、複数の処理方式Ａ〜Ｄから各音素材の特徴に対して最も高い好適性を有する処理方式を決定する。
【００４４】
（４）音素材処理装置１００の動作
図３および図４は図１および図２の音素材処理装置１００により行われる複数の音素材の処理を示すフローチャートである。また、図５は音素材処理装置１００による複数の音素材の処理の一例を示すタイミング図である。図３および図４の複数の音素材の処理は、図１のＣＰＵ１１がＲＯＭ１０または記憶装置１３に記憶された音素材処理プログラムを実行することに行われる。以下、図２の音素材処理装置１００の各部の動作と関連付けて複数の音素材の処理を説明する。
【００４５】
本例では、図２の処理モジュール登録部２１０により複数の音素材の処理に使用可能な処理モジュール１４０として処理モジュール１４０ａ〜１４０ｄが登録されているものとする。複数の処理モジュール１４０ａ〜１４０ｄのパラメータＰＡの値がパラメータ値設定部２００により設定される。
【００４６】
まず、図２の音素材入力部１２０は、ユーザの操作に基づいて、図１の記憶装置１３に記憶される複数の音素材から再生対象となるＮ個の音素材ＳＩ１〜ＳＩＮを取得する（ステップＳ１）。次に、処理方式決定部１６０は、音素材入力部１２０により取得されたＮ個の音素材ＳＩ１〜ＳＩＮの処理に用いる処理方式をそれぞれ決定する（ステップＳ２）。本例では、音素材ＳＩ１〜ＳＩ４の処理にそれぞれ処理方式Ａ〜Ｄが用いられるものとする。
【００４７】
その後、処理遅延量取得部１９０は、決定された各処理方式に対応する処理モジュール１４０ａ〜１４０ｄから処理遅延量ＤＬａ〜ＤＬｄを取得する（ステップＳ３）。本例では、処理遅延量ＤＬａ〜ＤＬｄは、ＤＬａ＜ＤＬｂ＜ＤＬｃ＜ＤＬｄの関係を有する。
【００４８】
差分遅延量算出部１８０は、処理遅延量取得部１９０により取得された処理遅延量ＤＬａ〜ＤＬｄに基づいて基準遅延量ＤＲを決定する（ステップＳ４）。本例では、基準遅延量ＤＲは処理遅延量ＤＬａ〜ＤＬｄのうち最大の処理遅延量ＤＬｄに決定される。また、差分遅延量算出部１８０は、基準遅延量ＤＲと各処理モジュール１４０ａ〜１４０ｄの処理遅延量ＤＬａ〜ＤＬｄとの差を差分遅延量ΔＤａ〜ΔＤｄとして算出する（ステップＳ５）。さらに、差分遅延量算出部１８０は、各処理モジュール１４０ａ〜１４０ｄに対応する遅延部１３０ａ〜１３０ｄにそれぞれ差分遅延量ΔＤａ〜ΔＤｄを設定する（ステップＳ６）。
【００４９】
次に、処理方式決定部１６０は、音素材入力部１２０による各音素材ＳＯ１〜ＳＯＮの出力開始時刻を決定する（ステップＳ７）。出力開始時刻は、各音素材の再生が開始される時刻に相当する。各音素材の出力開始時刻と次の音素材の出力開始時刻との間の時間差は、処理後の各音素材の再生時間により決定される。本例では、入力される音素材が休符区間を含まないが、入力される音素材が休符区間を含む場合には、再生時間に休符区間が加算される。図５には、処理後の音素材ＳＯ１〜ＳＯ５の出力開始時刻ｒ１〜ｒ５が示される。
【００５０】
また、処理方式決定部１６０は、音素材入力部１２０による各音素材ＳＩ１〜ＳＩＮの入力開始時刻を決定する（ステップＳ８）。この場合、各入力開始時刻は、対応する出力開始時刻よりも基準遅延量ＤＲだけ前の時点に決定される。図５には、音素材ＳＩ１〜ＳＩ５の入力開始時刻ｔ１〜ｔ５が示される。
【００５１】
ユーザの操作に基づいて、再生指示部１１０が複数の音素材の再生の開始を指示する（ステップＳ９）。また、再生指示部１１０は図１のタイマ１２を起動する（ステップＳ１０）。処理モジュール選択部１７０は、変数ｉを１に設定する（ステップＳ１１）。次に、処理モジュール選択部１７０は、ｉ番目（１番目）の音素材の処理に用いる処理モジュール１４０を現在の処理モジュール１４０とする（ステップＳ１２）。本例では、処理モジュール１４０ａが現在の処理モジュール１４０となる。
【００５２】
その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（１番目）の入力開始時刻ｔ１が到来したか否かを判定する（ステップＳ１３）。ｉ番目（１番目）の入力開始時刻ｔ１が到来した場合には、処理モジュール選択部１７０は、現在の処理モジュール１４０ａへ遅延部１３０ａを通してｉ番目（１番目）の音素材ＳＩ１の入力を開始するように音素材入力部１２０を制御する（ステップＳ１４）。この場合、図５に示すように、遅延部１３０ａにより音素材ＳＩ１に差分遅延量ΔＤａが付与される。それにより、音素材ＳＩ１は、入力開始時刻ｔ１から差分遅延量ΔＤａの経過後に処理モジュール１４０ａに入力される。処理モジュール１４０ａは、入力された音素材ＳＩ１の処理を開始し、処理遅延量ＤＬａの経過後に処理された音素材ＳＯ１の出力が可能となる。
【００５３】
その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（１番目）の出力開始時刻ｒ１が到来したか否かを判定する（ステップＳ１５）。ｉ番目（１番目）の出力開始時刻ｒ１が到来した場合には、処理モジュール選択部１７０は、現在の処理モジュール１４０ａにより処理された音素材ＳＯ１を出力するように音素材出力部１５０を制御する（ステップＳ１６）。図５の例では、音素材出力部１５０は、出力開始時刻ｒ１において、処理モジュール１４０ａにより処理された１番目の音素材ＳＯ１をフェードインさせながら出力する。
【００５４】
次に、処理モジュール選択部１７０は、ユーザの操作に基づいて、再生指示部１１０により再生の終了が指示されたか否かを判定する（ステップＳ１７）。再生の終了が指示されていない場合、処理モジュール選択部１７０は、変数ｉに１を加算する（ステップＳ１８）。次に、処理モジュール選択部１７０は、ｉ番目（２番目）の音素材ＳＩ２の処理に用いる処理モジュール１４０を次の処理モジュール１４０とする（ステップＳ１９）。本例では、処理モジュール１４０ｂが次の処理モジュール１４０となる。
【００５５】
その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（２番目）の入力開始時刻ｔ２が到来したか否かを判定する（ステップＳ２０）。ｉ番目（２番目）の入力開始時刻ｔ２が到来した場合には、処理モジュール選択部１７０は、次の処理モジュール１４０ｂへ遅延部１３０ｂを通してｉ番目（２番目）の音素材ＳＩ２の入力を開始するように音素材入力部１２０を制御する（ステップＳ２１）。この場合、図５に示すように、遅延部１３０ｂにより音素材ＳＩ２に差分遅延量ΔＤｂが付与される。それにより、音素材ＳＩ２は、入力開始時刻ｔ２から差分遅延量ΔＤｂの経過後に処理モジュール１４０ｂに入力される。処理モジュール１４０ｂは、入力された音素材ＳＩ２の処理を開始し、処理遅延量ＤＬｂの経過後に処理された音素材ＳＯ２の出力が可能となる。
【００５６】
その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（２番目）の出力開始時刻ｒ２が到来したか否かを判定する（ステップＳ２２）。ｉ番目（２番目）の出力開始時刻ｒ２が到来した場合には、処理モジュール選択部１７０は、現在の処理モジュール１４０ａにより処理された音素材ＳＯ１の出力を停止するように音素材出力部１５０を制御する（ステップＳ２３）。図５の例では、音素材出力部１５０は音素材ＳＯ１をフェードアウトさせる。
【００５７】
次に、処理モジュール選択部１７０は、次の処理モジュール１４０ｂを現在の処理モジュール１４０とする（ステップＳ２４）。処理モジュール選択部１７０は、現在の処理モジュール１４０ｂにより処理された音素材ＳＯ２を出力するように音素材出力部１５０を制御する（ステップＳ２５）。図５の例では、出力開始時刻ｒ２において、音素材出力部１５０が処理モジュール１４０ｂにより処理された音素材ＳＯ２をフェードインさせる。
【００５８】
その後、処理モジュール選択部１７０は、ステップＳ１７に戻り、ステップＳ１７〜Ｓ２５を繰り返す。これにより、図５の例では、入力開始時刻ｔ３で３番目の音素材ＳＩ３が遅延部１３０ｃを通して処理モジュール１４０ｃに入力され、差分遅延量ΔＤｃの経過後に音素材ＳＩ３の処理が開始される。さらに、処理遅延量ＤＬｃの経過後の出力開始時刻ｒ３で、２番目の音素材ＳＯ２がフェードアウトされ、処理モジュール１４０ｃにより処理された３番目の音素材ＳＯ３がフェードインされる。同様に、入力開始時刻ｔ４で４番目の音素材ＳＩ４が遅延部１３０ｄを通して処理モジュール１４０ｄに入力され、差分遅延量ΔＤｄの経過後に音素材ＳＩ４の処理が開始される。さらに、処理遅延量ＤＬｄの経過後の出力開始時刻ｒ４で、３番目の音素材ＳＯ３がフェードアウトされ、処理モジュール１４０ｄにより処理された４番目の音素材ＳＯ４がフェードインされる。
【００５９】
ステップＳ１７で、再生の終了が指示された場合、処理モジュール選択部１７０はタイマ１２を停止させる（ステップＳ２６）、また、処理モジュール選択部１７０は、現在の処理モジュール１４０への音素材の入力を停止するように音素材入力部１２０を制御し（ステップＳ２７）、現在の処理モジュール１４０により処理された音素材の出力を停止するように音素材出力部１５０を制御する（ステップＳ２８）。
【００６０】
本例では、処理方式の切り替わり時に先行する音素材がフェードアウトしかつ後続する音素材がフェードインすることによりクロスフェードが行われるので、聴感上自然な再生音が得られる。
【００６１】
上記の複数の音素材の処理において、パラメータ値設定部２００によりパラメータＰＡの値が変更された場合には、各処理方式の処理遅延量が変化する。そのため、各音素材の出力開始時刻および入力開始時刻も変更される必要がある。本実施の形態では、パラメータがストレッチ比であるため、ストレッチ比の値が変更されると、各処理モジュール１４０の処理遅延量および処理後の音素材の再生時間も変更される。この場合、ステップＳ３に戻り、処理遅延量取得部１９０により変更後のパラメータＰＡの値に応じた処理遅延量が取得され、ステップＳ４〜Ｓ８において各音素材の出力開始時刻および入力開始時刻が再度決定される。その後、ステップＳ９〜Ｓ２８が実行される。
【００６２】
（５）実施の形態の効果
本実施の形態に係る音素材処理装置１００によれば、各音素材を特徴に応じて適切な処理方式で処理することができる。また、処理モジュール１４０ａ〜１４０ｄへの音素材の入力から音素材の出力までの時間が基準遅延量ＤＲと等しくなるように音素材に遅延が与えられる。それにより、処理方式Ａ〜Ｄの切り替え時に音ずれが生じない。この場合、ユーザは、各処理方式の処理遅延量および楽音の信号処理を考慮する必要がない。その結果、各処理方式および楽音の信号処理についての知識および経験が乏しいユーザであっても、各音素材を適切な処理方式で処理するとともに処理後の複数の音素材の連続性を容易に確保することが可能となる。
【００６３】
（６）音素材処理装置１００の他の機能的な構成
図６は音素材処理装置１００の他の機能的な構成を示すブロック図である。図６の音素材処理装置１００が図２の音素材処理装置１００と異なるのは、図２の特徴情報取得部１６１および好適性情報取得部１６２の代わりに好適性情報取得部１６３が設けられる点である。
【００６４】
複数の処理モジュール１４０ａ〜１４０ｄは、それぞれ処理方式Ａ〜Ｄのパラメータ値好適性情報ＰＰａ〜ＰＰｄを保有する。ここで、パラメータ値好適性情報ＰＰａ〜ＰＰｄは、パラメータＰＡの複数の値に対する処理方式Ａ〜Ｄの好適性の程度を示す。本例においても、パラメータはストレッチ比である。処理モジュール１４０ａ〜１４０ｄを構成するプログラム中にパラメータ値好適性情報ＰＰａ〜ＰＰｄが記述されている。
【００６５】
複数の処理方式Ａ〜Ｄでは、パラメータＰＡの値に依存して音質が変化する。処理方式Ａでは、例えば、ストレッチ比の値が１００％であるときに最も高い音質が得られ、ストレッチ比の値が増加または減少するに従って音質が低下する。この場合、パラメータ値好適性情報ＰＰａは、ストレッチ比の値が１００％であるときに最も高い好適性を示し、ストレッチ比の値が増加または減少するに従って低下する好適性を示す。処理方式Ｂでは、例えば、ストレッチ比の値が１００％を含む一定の範囲内にあるときに高い音質が得られるが、ストレッチ比の値が当該範囲外にあるときには音質が劣化する。この場合、パラメータ値好適性情報ＰＰｂは、ストレッチ比の値が１００％を含む一定の範囲内にあるときに高い好適性を示し、ストレッチ比の値が当該範囲外にあるときに低い好適性を示す。
【００６６】
処理方式Ｃでは、例えば、ストレッチ比の値が一定の値を超えると音質が上昇し、ストレッチ比の値が一定の値以下であるときには音質が劣化する。この場合、パラメータ値好適性情報ＰＰｃは、ストレッチ比の値が一定の値を超えると上昇する好適性を示し、ストレッチ比の値が一定の値以下であるときに低い好適性を示す。処理方式Ｄでは、例えば、ストレッチ比の比較的広い範囲の値で比較的良好な音質が得られる。この場合、パラメータ値好適性情報ＰＰｄは、ストレッチ比の比較的広い範囲の値で比較的高い好適性を示す。
【００６７】
好適性情報取得部１６３は、複数の処理モジュール１４０ａ〜１４０ｄからパラメータ値特徴好適性情報ＰＰａ〜ＰＰｄを取得する。処理方式決定部１６０は、パラメータ値設定部２００により設定されたパラメータＰＡの値および好適性情報取得部１６３により取得されたパラメータ値好適性情報ＰＰａ〜ＰＰｄに基づいて各音素材の処理に用いる処理方式を決定する。
【００６８】
図６の音素材処理装置１００の他の部分の構成および動作は、図２の音素材処理装置１００の構成および図３〜図４の動作と同様である。本例の音素材処理装置１００においては、各音素材をパラメータＰＡの値に応じて適切な処理方式で処理するとともに処理後の複数の音素材の連続性を容易に確保することが可能となる。
【００６９】
（７）他の実施の形態
上記実施の形態では、複数の遅延部１３０が音素材入力部１２０と複数の処理モジュール１４０との間に設けられるが、複数の遅延部１３０が複数の処理モジュール１４０と音素材出力部１５０との間に設けられてもよい。
【００７０】
上記実施の形態では、図２の音素材処理装置１００の各遅延部１３０により各音素材に差分遅延量の遅延が付与されるが、複数の遅延部１３０を設けることなく音素材入力部１２０が各処理モジュール１４０に音素材を入力する時点を調整することにより各音素材に差分遅延量の遅延が付与されてもよい。例えば、図５の出力開始時刻ｒ１〜ｒ５よりもそれぞれ処理遅延量ＤＬａ〜ＤＬｄに相当する時間前の時点で音素材入力部１２０が音素材を該当する処理モジュール１４０に入力してもよい。この場合、各入力開始時刻ｔ１〜ｔ４よりも差分遅延量ΔＤａ〜ΔＤｄに相当する時間遅延して音素材が該当する処理モジュール１４０に入力される。あるいは、音素材出力部１５０が各処理モジュール１４０により処理された音素材を出力する時点を調整することにより各音素材に差分遅延量の遅延が付与されてもよい。
【００７１】
上記実施の形態では、基準遅延量が複数の処理モジュール１４０の処理遅延量のうち最大の処理遅延量と等しく設定されるが、基準遅延量が最大の処理遅延量よりも大きな値に設定されてもよい。また、上記実施の形態では、基準遅延量と各処理モジュールの処理遅延量との差分遅延量を算出することにより複数の処理モジュールへの音素材の入力から音素材の出力までの時間が基準遅延量と等しくなるように各音素材に遅延が与えられるが、差分遅延量を算出することなく複数の処理モジュールへの音素材の入力から音素材の出力までの時間を一定にしてもよい。
【００７２】
上記実施の形態では、各処理モジュール１４０に処理遅延量が記述されているが、例えば、記憶装置１３または外部記憶装置１５に複数の処理モジュール１４０の処理遅延量がテーブル等の形式で記憶されてもよい。上記実施の形態では、処理モジュール登録部２１０により登録された複数の処理モジュール１４０の処理遅延量に基づいて基準遅延量が設定されるが、全ての処理モジュール１４０の処理遅延量に基づいて基準遅延量が設定されてもよい。
【００７３】
上記実施の形態では、記憶装置１３に複数の音素材が記憶されるが、複数の音素材が通信Ｉ／Ｆ１４により通信網を経由して取得されてもよい。また、演奏データ入力部２または外部から入力される音響データから複数の音素材が取得されてもよい。さらに、処理の種類によっては、各音素材の処理方式が決定されつつ各音素材が処理および再生されてよく、またはマイク等の入力装置により入力される音響データから複数の音素材が取得されつつ各音素材についての処理方式の決定、決定された処理方式での処理および再生が順次行われてもよい。
【００７４】
上記実施の形態では、処理としてタイムストレッチが行われるが、本発明は、複数の音素材に音響効果を付与する音響効果処理、または複数の音素材を再生しつつ分析することによりコードを検出するコード検出処理等の他の処理にも適用可能である。コード検出処理には、処理時間は短いが例えば1小節毎にコードが検出されるような粗い方式、検出されるコードの種類が基本的なコードのみであってコードの検出結果の精度があまり高くない方式、処理時間は長いが例えば1拍毎にコードが検出されるような精度が高い方式等がある。コード検出処理に本発明を適用することにより、複数の音素材の自然な再生を行うことができるとともに各音素材に適したコードを検出することができる。
【００７５】
上記実施の形態では、処理方式決定部１６０が各音素材の特徴またはパラメータの値に基づいて各音素材の処理方式を自動的に決定するが、処理方式決定部１６０がユーザの操作に基づいて各音素材の処理方式を決定してもよい。
【００７６】
上記実施の形態では、音素材処理装置１００が電子音楽装置１に設けられているが、音素材処理装置１００がパーソナルコンピュータ、スマートデバイス（smart device）、ゲーム機器等の電子機器に適用されてもよい。上記実施の形態に係る音素材処理装置１００は、ＣＰＵ１１等のハードウエアおよび音素材処理プログラム等のソフトウエアにより実現されるが、図２または図６の音素材処理装置１００の各構成要素が電子回路等のハードウエアにより実現されてもよい。
【００７７】
（８）請求項の各構成要素と実施の形態の各部との対応
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることができる。
【００７８】
上記実施の形態では、処理モジュール１４０，１４０ａ〜１４０ｄが処理モジュールの例であり、音素材入力部１２０が入力手段の例であり、音素材出力部１５０が出力手段の例であり、処理遅延量取得部１９０が取得手段の例であり、差分遅延量算出部１８０が第１の設定手段の例であり、遅延部１３０，１３０ａ〜１３０ｄが遅延付与手段の例であり、パラメータ値設定部２００が第２の設定手段の例である。
【産業上の利用可能性】
【００７９】
本発明は、複数の音素材を処理するため等に利用することができる。
【符号の説明】
【００８０】
１…電子音楽装置，６…タッチパネルディスプレイ，９…ＲＡＭ，１０…ＲＯＭ，１１…ＣＰＵ，１２…タイマ，１３…記憶装置，１５…外部記憶装置，１８…サウンドシステム，１９…バス，１００…音素材処理装置，１１０…再生指示部，１２０…音素材入力部，１３０，１３０ａ〜１３０ｄ…遅延部，１４０，１４０ａ〜１４０ｄ…処理モジュール，１５０…音素材出力部，１６０…処理方式決定部，１６１…特徴情報取得部，１６２，１６３…好適性情報取得部，１７０…処理モジュール選択部，１８０…差分遅延量算出部，１９０…処理遅延量取得部，２００…パラメータ値設定部，２１０…処理モジュール登録部
【図１】
0006519316.tif 000002
【図２】
0006519316.tif 000003
【図３】
0006519316.tif 000004
【図４】
0006519316.tif 000005
【図５】
0006519316.tif 000006
【図６】
0006519316.tif 000007