(57)【要約】【課題】楽器による演奏音の表現力を向上する。【解決手段】音響処理装置は、演奏操作によって楽器から生じた演奏音を収音する収音部と、演奏操作の有無を検出するセンサ部と、センサ部が検出した演奏操作の有無に応じて得られる操作情報に基づいて、収音部が収音した演奏音と、音源音とを合成する合成処理部と、を備える。【選択図】図１
2019158931.tif 000002
【特許請求の範囲】
【請求項１】
演奏操作によって楽器から生じた演奏音を収音する収音部と、
前記演奏操作の有無を検出するセンサ部と、
前記センサ部が検出した前記演奏操作の有無に応じて得られる操作情報に基づいて、前記収音部が収音した前記演奏音と、音源音とを合成する合成処理部と、
を備える音響処理装置。
【請求項２】
前記演奏音は、打楽器の打音であり、
前記操作情報には、前記打楽器が叩かれた打撃の時間情報が含まれ、
前記合成処理部は、前記打撃の時間情報に基づいて、前記収音部が収音した打音と、前記音源音とを合成する
請求項１に記載の音響処理装置。
【請求項３】
前記操作情報には、前記打音の信号レベルが含まれ、
前記合成処理部は、前記収音した打音の信号レベルに応じて、前記音源音を調整する
請求項２に記載の音響処理装置。
【請求項４】
前記操作情報には、音の周波数領域でのエンベロープにおいて特徴的な凸状の頂点を示す特徴的な周波数が含まれ、
前記合成処理部は、前記収音した打音の前記特徴的な周波数と、前記音源音の前記特徴的な周波数とが一致するように合成する
請求項２から請求項３のいずれか一項に記載の音響処理装置。
【請求項５】
前記合成処理部は、前記収音部が収音した打音による打撃直後の所定の期間を示すアタック部分と、前記アタック部分後の期間を示すボディー部分であって、前記音源音によるボディー部分とを合成する
請求項２から請求項４のいずれか一項に記載の音響処理装置。
【請求項６】
前記合成処理部は、前記音源音による打撃直後の所定の期間を示すアタック部分と、前記アタック部分後の期間を示すボディー部分であって、前記収音部が収音した打音によるボディー部分とを合成する
請求項２から請求項４のいずれか一項に記載の音響処理装置。
【請求項７】
前記合成処理部は、前記アタック部分と前記ボディー部分との境界における音の大きさが一致するように、前記収音した打音と、前記音源音とを合成する
請求項５又は請求項６に記載の音響処理装置。
【請求項８】
前記合成処理部は、前記アタック部分と前記ボディー部分とを不連続な音にならないようにクロスフェードさせて、前記収音した打音と、前記音源音とを合成する
請求項５から請求項７のいずれか一項に記載の音響処理装置。
【請求項９】
前記音源音は、目標とする演奏音を示す目標演奏音に対して前記楽器の演奏音に足りない成分を補うように生成されている
請求項１から請求項８のいずれか一項に記載の音響処理装置。
【請求項１０】
前記楽器の演奏音に足りない成分には、周波数成分が含まれる
請求項９に記載の音響処理装置。
【請求項１１】
収音部が、演奏操作によって楽器から生じた演奏音を収音する収音ステップと、
センサ部が、前記演奏操作の有無を検出する検出ステップと、
合成処理部が、前記検出ステップによって検出された前記演奏操作の有無に応じて得られる操作情報に基づいて、前記収音ステップによって収音された前記演奏音と、音源音とを合成する合成処理ステップと、
を含む音響処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響処理装置、及び音響処理方法に関する。
【背景技術】
【０００２】
近年、打音を消音した消音アコースティックドラムや電子ドラムなどの打楽器が使用されている。また、このような打楽器において、例えば、共振回路を利用して打撃の与え方に応じて、打音を変化させる技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３２６２６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、例えば、不自然な打音になる可能性があり、通常のアコースティックドラムのような表現力を再現することは困難であった。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、楽器による演奏音の表現力を向上させることができる音響処理装置、及び音響処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明の一態様は、演奏操作によって楽器から生じた演奏音を収音する収音部と、前記演奏操作の有無を検出するセンサ部と、前記センサ部が検出した前記演奏操作の有無に応じて得られる操作情報に基づいて、前記収音部が収音した前記演奏音と、音源音とを合成する合成処理部と、を備える音響処理装置である。
【０００７】
また、本発明の一態様は、上記の音響処理装置において、前記演奏音は、打楽器の打音であり、前記操作情報には、前記打楽器が叩かれた打撃の時間情報が含まれ、前記合成処理部は、前記打撃の時間情報に基づいて、前記収音部が収音した打音と、前記音源音とを合成するようにしてもよい。
【０００８】
また、本発明の一態様は、上記の音響処理装置において、前記操作情報には、前記打音の信号レベルが含まれ、前記合成処理部は、前記収音した打音の信号レベルに応じて、前記音源音を調整するようにしてもよい。
【０００９】
また、本発明の一態様は、上記の音響処理装置において、前記操作情報には、音の周波数領域でのエンベロープにおいて特徴的な凸状の頂点を示す特徴的な周波数が含まれ、前記合成処理部は、前記収音した打音の前記特徴的な周波数と、前記音源音の前記特徴的な周波数とが一致するように合成するようにしてもよい。
【００１０】
また、本発明の一態様は、上記の音響処理装置において、前記合成処理部は、前記収音部が収音した打音による打撃直後の所定の期間を示すアタック部分と、前記アタック部分後の期間を示すボディー部分であって、前記音源音によるボディー部分とを合成するようにしてもよい。
【００１１】
また、本発明の一態様は、上記の音響処理装置において、前記合成処理部は、前記音源音による打撃直後の所定の期間を示すアタック部分と、前記アタック部分後の期間を示すボディー部分であって、前記収音部が収音した打音によるボディー部分とを合成するようにしてもよい。
【００１２】
また、本発明の一態様は、上記の音響処理装置において、前記合成処理部は、前記アタック部分と前記ボディー部分との境界における音の大きさが一致するように、前記収音した打音と、前記音源音とを合成するようにしてもよい。
【００１３】
また、本発明の一態様は、上記の音響処理装置において、前記合成処理部は、前記アタック部分と前記ボディー部分とを不連続な音にならないようにクロスフェードさせて、前記収音した打音と、前記音源音とを合成するようにしてもよい。
【００１４】
また、本発明の一態様は、上記の音響処理装置において、前記音源音は、目標とする演奏音を示す目標演奏音に対して前記楽器の演奏音に足りない成分を補うように生成されていてもよい。
【００１５】
また、本発明の一態様は、上記の音響処理装置において、前記楽器の演奏音に足りない成分には、周波数成分が含まれるようにしてもよい。
【００１６】
また、本発明の一態様は、収音部が、演奏操作によって楽器から生じた演奏音を収音する収音ステップと、センサ部が、前記演奏操作の有無を検出する検出ステップと、合成処理部が、前記検出ステップによって検出された前記演奏操作の有無に応じて得られる操作情報に基づいて、前記収音ステップによって収音された前記演奏音と、音源音とを合成する合成処理ステップと、を含む音響処理方法。である。
【発明の効果】
【００１７】
本発明によれば、楽器による演奏音の表現力を向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態による音響処理装置の一例を示すブロック図である。
【図２】通常のドラムにおける打音信号の波形の一例を説明する図である。
【図３】第１実施形態による音響処理装置の動作の一例を示す図である。
【図４】第１実施形態による音響処理装置の動作の一例を示すフローチャートである。
【図５】第２実施形態による音響処理装置の動作の一例を示すフローチャートである。
【図６】特定の周波数を一致させる合成の一例を説明する第１の図である。
【図７】特定の周波数を一致させる合成の一例を説明する第２の図である。
【図８】第３実施形態によるドラムの一例を示す図である。
【図９】第３実施形態による音響処理装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施形態による音響処理装置について、図面を参照して説明する。
【００２０】
［第１の実施形態］
図１は、第１の実施形態による音響処理装置１の一例を示すブロック図である。
図１に示すように、音響処理装置１は、センサ部１１と、収音部１２と、操作部１３と、記憶部１４と、出力部１５と、合成処理部３０とを備える。音響処理装置１は、ドラムなどの打楽器の打音に、例えば、ＰＣＭ（Pulse Code Modulation）音源の音（以下、ＰＣＭ音源音）と合成する音響処理を行って出力する。なお、本実施形態では、打楽器の一例として、ドラムセットのシンバル２の打音を音響処理する場合の一例について説明する。
【００２１】
シンバル２は、例えば、消音機能を有するドラムセットのライドシンバルやクラッシュシンバルなどである。
センサ部１１は、シンバル２に設置され、シンバル２が叩かれた打撃の有無及び打撃の時間情報（例えば、打撃のタイミング）を検出する。センサ部１１は、圧電センサなどの振動センサを備え、例えば、検出した振動が所定の閾値を超えた場合に、検出信号Ｓ１として、所定の期間、パルス信号を合成処理部３０に出力する。
【００２２】
収音部１２は、例えば、マイクロフォンであり、シンバル２の打音（楽器の演奏音）を収音する。収音部１２は、収音した打音の音信号を示す打音信号Ｓ２を合成処理部３０に出力する。
操作部１３は、例えば、音響処理装置１の各種操作を受け付けるスイッチや操作つまみなどである。
【００２３】
記憶部１４は、音響処理装置１の各種処理に利用する情報を記憶する。記憶部１４は、例えば、ＰＣＭ音源の音データ（以下、ＰＣＭ音源データという）や、音響処理の設定情報などを記憶する。
出力部１５は、不図示の外部装置（例えば、ヘッドフォンなどの放音装置）にケーブル等を介して接続される出力端子であり、外部装置にケーブル等を介して、合成処理部３０から出力された音信号（合成信号Ｓ４）を出力する。
【００２４】
合成処理部３０は、センサ部１１が検出した打撃のタイミング（時間情報）に基づいて、収音部１２が収音した打音と、ＰＣＭ音源音とを合成する。ここで、打撃のタイミングは、演奏操作（打撃）の有無に応じて得られる演奏操作に関する操作情報の一例である。ＰＣＭ音源音は、例えば、目標とする打音を示す目標打音（例えば、通常のドラムセットのシンバルの打音）に対して、シンバル２の打音に足りない成分を補うように予め生成されているものとする。また、足りない成分とは、例えば、周波数成分、時間変化の成分（過渡変化の成分）などである。ここで、目標打音は、目標とする演奏音を示す目標演奏音の一例である。
シンバル２の打音の場合、合成処理部３０は、収音部１２が収音した打音によるアタック部分と、ＰＣＭ音源音によるボディー部分とを合成する。ここで、図２を参照して、通常のアコースティックドラム（例えば、シンバル）の打音の波形について説明する。
【００２５】
図２は、通常のドラムにおける打音信号の波形の一例を説明する図である。
この図において、横軸は時間を示し、縦軸は、信号レベル（電圧）を示している。また、波形Ｗ１は、打音信号の波形を示している。
【００２６】
波形Ｗ１は、打撃直後の所定の期間を示すアタック部分ＴＲ１と、アタック部分後の期間を示すボディー部分ＴＲ２とを含む。アタック部分ＴＲ１は、ライドシンバルである場合に、打撃開始から数十ｍｓ（ミリ秒）〜数百ｍｓの期間であり、クラッシュシンバルである場合に、打撃開始から約１ｓ〜２ｓの期間である。また、アタック部分ＴＲ１では、打撃により様々な周波数成分が混在する。
また、ここでは、図２に示す波形Ｗ１は、例えば、目標とする打音を示す目標打音の信号波形である。
【００２７】
ボディー部分ＴＲ２は、所定の減衰率（所定のエンベロープ）で減衰する期間である。
なお、シンバル２などの消音機能を有する打楽器や電子打楽器では、例えば、ボディー部分ＴＲ２の音信号の信号レベルが、通常のシンバルの打音に比べて小さい傾向にある。そのため、本実施形態では、合成処理部３０は、アタック部分ＴＲ１に収音部１２が収音した打音を使用し、ボディー部分ＴＲ２にＰＣＭ音源音を使用して、合成する。
【００２８】
図１の説明に戻り、合成処理部３０は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（digital signal processor）などを含む信号処理部である。また、合成処理部３０は、音源信号生成部３１と、合成部３２とを備える。
【００２９】
音源信号生成部３１は、例えば、ＰＣＭ音源の音信号を生成し、ＰＣＭ音源音信号Ｓ３として合成部３２に出力する。合成処理部３０は、センサ部１１が検出した打撃のタイミングである検出信号Ｓ１をトリガーとして、記憶部１４に予め記憶されている音データを読み出す。音源信号生成部３１は、読み出した音データに基づいて、ＰＣＭ音源音信号Ｓ３を生成する。音源信号生成部３１は、例えば、ボディー部分ＴＲ２のＰＣＭ音源音信号Ｓ３を生成する。
【００３０】
合成部３２は、収音部１２が収音した打音信号Ｓ２と、音源信号生成部３１が生成したＰＣＭ音源音信号Ｓ３とを合成して、合成信号Ｓ４を生成する。合成部３２は、例えば、センサ部１１が検出した打撃のタイミングの検出信号Ｓ１に同期させて、アタック部分ＴＲ１の打音信号Ｓ２と、ボディー部分ＴＲ２のＰＣＭ音源音信号Ｓ３とを合成する。ここで、合成部３２は、打音信号Ｓ２と、ＰＣＭ音源音信号Ｓ３とを単純に加算して合成してもよいし、アタック部分ＴＲ１とボディー部分ＴＲ２との境界で、打音信号Ｓ２と、ＰＣＭ音源音信号Ｓ３とを切り替えて合成してもよい。
【００３１】
なお、合成部３２は、アタック部分ＴＲ１とボディー部分ＴＲ２との境界を、打撃のタイミングの検出信号Ｓ１から所定の期間経過した位置として検出してもよいし、打音信号Ｓ２の周波数成分の変化に基づいて当該境界を判定してもよい。例えば、合成部３２は、ロウパスフィルタを備えて、所定の周波数成分以下になってピッチが安定した値を、アタック部分ＴＲ１とボディー部分ＴＲ２との境界として判定してもよい。また、合成部３２は、操作部１３によって設定された打撃のタイミングからの経過期間によって、アタック部分ＴＲ１とボディー部分ＴＲ２との境界を判定してもよい。
また、合成部３２は、生成した合成信号Ｓ４を出力部１５に出力する。
【００３２】
次に、図面を参照して、本実施形態による音響処理装置１の動作について説明する。
図３は、本実施形態による音響処理装置１の動作の一例を示す図である。
図３に示す信号は、上から順に、センサ部１１の検出信号Ｓ１、収音部１２が収音した打音信号Ｓ２、音源信号生成部３１が生成したＰＣＭ音源音信号Ｓ３、及び合成部３２が合成した合成信号Ｓ４を示している。また、各信号の横軸は、時間を示し、縦軸は、検出信号Ｓ１が論理状態を示し、その他の各信号は、信号レベル（電圧）を示している。
【００３３】
図３に示すように、時刻Ｔ０において、利用者がシンバル２を叩くと、センサ部１１が検出信号Ｓ１をＨ（Ｈｉｇｈ）状態にする。また、収音部１２は、シンバル２の打音を収音して、波形Ｗ２に示すような打音信号Ｓ２を出力する。
【００３４】
また、音源信号生成部３１は、検出信号Ｓ１がＨ状態になったことをトリガーにして、記憶部１４が記憶するＰＣＭ音源データに基づいて、波形Ｗ３に示すようなボディー部分ＴＲ２を含むＰＣＭ音源音信号Ｓ３を生成する。
【００３５】
また、合成部３２は、検出信号Ｓ１がＨ状態になったことをトリガーにして、アタック部分ＴＲ１の打音信号Ｓ２と、ボディー部分ＴＲ２のＰＣＭ音源音信号Ｓ３とを合成して、波形Ｗ４に示すような合成信号Ｓ４を生成する。なお、合成部３２は、例えば、打撃直後の所定の期間（時刻Ｔ０から時刻Ｔ１までの期間）をアタック部分ＴＲ１とし、時刻Ｔ１以降の期間をボディー部分ＴＲ２として、波形Ｗ２と波形Ｗ３とを合成する。
【００３６】
合成部３２は、生成した波形Ｗ４の合成信号Ｓ４を、出力部１５に出力する。そして、出力部１５は、ケーブル等を介して、外部装置（例えば、ヘッドフォンなどの放音装置）に波形Ｗ４の合成信号の音を放音させる。
【００３７】
また、図４は、本実施形態による音響処理装置１の動作の一例を示すフローチャートである。
音響処理装置１は、操作部１３の操作によって動作が開始されると、図４に示すように、まず、収音を開始する（ステップＳ１０１）。すなわち、収音部１２が周囲の音の収音を開始する。
【００３８】
次に、音響処理装置１の合成処理部３０は、打撃のタイミングを検出したか否かを判定する（ステップＳ１０２）。なお、利用者がシンバルを叩いた場合に、センサ部１１は、打撃のタイミングを検出した検出信号Ｓ１を出力し、合成処理部３０は、当該検出信号Ｓ１に基づいて、打撃のタイミングを検出する。合成処理部３０は、打撃のタイミングを検出した場合（ステップＳ１０２：ＹＥＳ）に、処理をステップＳ１０３に進める。また、合成処理部３０は、打撃のタイミングを検出していない場合（ステップＳ１０２：ＮＯ）に、処理をステップＳ１０２に戻す。
【００３９】
ステップＳ１０３において、合成処理部３０の音源信号生成部３１がＰＣＭ音源音信号を生成する。音源信号生成部３１は、記憶部１４が記憶するＰＣＭ音源データに基づいて、ＰＣＭ音源音信号Ｓ３を生成する（図３の波形Ｗ２参照）。
【００４０】
次に、合成処理部３０の合成部３２は、収音した打音信号Ｓ２と、ＰＣＭ音源音信号Ｓ３とを合成して出力する（ステップＳ１０４）。すなわち、合成部３２は、打音信号Ｓ２と、ＰＣＭ音源音信号Ｓ３とを合成して、合成信号Ｓ４を生成し、生成した合成信号Ｓ４を出力部１５から出力させる（図３の波形Ｗ４参照）。
【００４１】
次に、合成処理部３０は、処理終了であるか否かを判定する（ステップＳ１０５）。合成処理部３０は、操作部１３の操作によって動作が停止されたか否かによって、処理終了であるか否かを判定する。合成処理部３０は、処理終了である場合（ステップＳ１０５：ＹＥＳ）に、処理を終了させる。また、合成処理部３０は、処理終了でなお場合（ステップＳ１０５：ＮＯ）に、処理をステップＳ１０２に戻し、次の打撃のタイミングを待つ。
【００４２】
以上説明したように、本実施形態による音響処理装置１は、収音部１２と、センサ部１１と、合成処理部３０と、を備える。収音部１２は、ドラムセットのシンバル２（打楽器）の打音を収音する。センサ部１１は、シンバル２が叩かれた打撃の時間情報（例えば、タイミング）を検出する。合成処理部３０は、センサ部１１が検出した打撃の時間情報に基づいて、収音部１２が収音した打音と、音源音（例えば、ＰＣＭ音源音）とを合成する。
【００４３】
これにより、本実施形態による音響処理装置１は、収音した打音と、ＰＣＭ音源音とを合成することで、通常のアコースティックドラムのようなシンバルの音に近づけることができる。すなわち、本実施形態による音響処理装置１は、不自然な打音になる可能性を低減しつつ、通常のアコースティックドラムのような表現力を再現することができる。よって、本実施形態による音響処理装置１は、打楽器による打音の表現力を向上させることができる。
【００４４】
また、本実施形態による音響処理装置１は、収音した打音と、ＰＣＭ音源音とを合成（例えば、加算）するだけで実現できるため、複雑な処理を必要とせずに、表現力を向上させることができる。また、本実施形態による音響処理装置１は、複雑な処理を必要としないため、リアルタイム処理により実現することができる。
【００４５】
また、本実施形態では、合成処理部３０は、収音部１２が収音した打音による打撃直後の所定の期間を示すアタック部分ＴＲ１と、ＰＣＭ音源音によるボディー部分ＴＲ２とを合成する。ボディー部分ＴＲ２は、アタック部分ＴＲ１後の期間を示す。
【００４６】
これにより、本実施形態による音響処理装置１は、例えば、消音機能を有するシンバル２のようにボディー部分ＴＲ２の信号レベルが弱い場合に、ＰＣＭ音源音により、ボディー部分ＴＲ２を強化することができる。よって、本実施形態による音響処理装置１は、消音機能を有するシンバル２のような打楽器において、ボディー部分ＴＲ２を自然な音に近づけることができる。
【００４７】
また、本実施形態では、ＰＣＭ音源音は、目標とする打音を示す目標打音（図２の波形Ｗ１参照）に対してシンバル２の打音に足りない成分を補うように生成されている。ここで、打楽器の打音に足りない成分には、周波数成分と時間変化の成分とのうちの少なくとも１つの成分が含まれる。
これにより、本実施形態による音響処理装置１は、ＰＣＭ音源音は、目標打音に対してシンバル２の打音に足りない成分を補うように生成されているため、合成処理部３０が、当該ＰＣＭ音源音と打音とを合成することで、目標打音（通常のアコースティックドラムの音）に近づけることができる。
【００４８】
また、本実施形態による音響処理方法は、収音ステップと、検出ステップと、合成処理ステップと、を含む。収音ステップにおいて、収音部１２が、シンバル２の打音を収音する。検出ステップにおいて、センサ部１１が、シンバル２が叩かれた打撃の時間情報を検出する。合成処理ステップにおいて、合成処理部３０が、検出ステップによって検出された打撃の時間情報に基づいて、収音ステップによって収音された打音と、音源音とを合成する。
これにより、本実施形態による音響処理方法は、上述した音響処理装置１と同様の効果を奏し、打楽器による打音の表現力を向上させることができる。
【００４９】
［第２の実施形態］
上述した第１の実施形態では、打音信号Ｓ２と、ＰＣＭ音源音信号Ｓ３とを単純に加算又は切り替えて合成する例を説明したが、第２の実施形態では、打音信号Ｓ２とＰＣＭ音源音信号Ｓ３とのいずれかを加工して合成する変形例について説明する。
【００５０】
なお、本実施形態による音響処理装置１の構成は、合成処理部３０の処理が異なる点を除いて、第１の実施形態と同様である。以下、合成処理部３０の処理について説明する。
【００５１】
本実施形態における合成処理部３０では、合成処理部３０又は合成部３２が、収音部１２が収音した打音の信号レベルに応じて、音源音を調整する。例えば、打音信号Ｓ２の信号レベルの最大値、又は所定の位置の信号レベルに応じて、音源信号生成部３１が、ＰＣＭ音源音信号Ｓ３の信号レベル、減衰率、及びエンベロープの少なくともいずれか１つを調整して出力する。そして、合成部３２が、打音信号Ｓ２と、調整されたＰＣＭ音源音信号Ｓ３とを合成して、合成信号Ｓ４を生成し、出力部１５を介して、自然な打音を出力する。なお、ここでの打音の信号レベルは、操作情報の一例である。
【００５２】
図５は、本実施形態による音響処理装置１の動作の一例を示すフローチャートである。
図５において、ステップＳ２０１からステップＳ２０３までの処理は、上述した図４のステップＳ１０１からステップＳ１０３までの処理と同様であるため、ここではその説明を省略する。
【００５３】
ステップＳ２０４において、音源信号生成部３１又は合成部３２は、ＰＣＭ音源音信号Ｓ３を調整する（ステップＳ２０４）。例えば、音源信号生成部３１は、打音信号Ｓ２の信号レベルに応じて、ＰＣＭ音源音信号Ｓ３の信号レベル、減衰率、及びエンベロープの少なくともいずれか１つを調整して出力する。なお、合成部３２が、ステップＳ２０４の処理を実行してもよい。
【００５４】
続く、ステップＳ２０５，及びステップＳ２０６の処理は、上述した図４のステップＳ１０４，及びステップＳ１０５の処理と同様であるため、ここではその説明を省略する。
【００５５】
なお、上述した例では、収音部１２が収音した打音の信号レベルに応じて、ＰＣＭ音源音を調整したが、合成処理部３０は、アタック部分ＴＲ１とボディー部分ＴＲ２との境界が不自然にならないように調整するようにしてもよい。
例えば、合成処理部３０は、アタック部分ＴＲ１とボディー部分ＴＲ２との境界における音の大きさが一致するように、収音した打音と、ＰＣＭ音源音とを合成するようにしてもよい。この場合、合成処理部３０又は合成部３２が、例えば、収音したアタック部分ＴＲ１の打音信号Ｓ２に合わせて、境界における音の大きさが一致するように、ボディー部分ＴＲ２のＰＣＭ音源音信号Ｓ３を調整する。ここでの音の大きさは、例えば、音圧レベル、ラウドネス、音響エネルギー（音響インテンシティ）、及びＳＮ比（Signal -Noise Ratio）などであり、人間が感じる音の大きさである。
【００５６】
なお、アタック部分ＴＲ１とボディー部分ＴＲ２との境界は、上述したように、打撃のタイミングの検出信号Ｓ１から所定の期間経過した位置であってもよいし、ロウパスフィルタを用いて、所定の周波数成分以下になってピッチが安定した位置であってもよい。また、所定の期間経過した位置は、操作部１３によって設定された打撃のタイミングからの経過期間によって定められてもよい。
【００５７】
また、合成処理部３０は、アタック部分ＴＲ１とボディー部分ＴＲ２とを不連続な音にならないようにクロスフェードさせて、収音した打音と、ＰＣＭ音源音とを合成するようにしてもよい。この場合、例えば、合成処理部３０は、アタック部分ＴＲ１である収音した打音の音響エネルギーを自然減衰より速い速度で減衰させるとともに、ボディー部分ＴＲ２であるＰＣＭ音源の音響エネルギーを増加させ、合成信号Ｓ４が自然減衰に合うように調整する。このようにすることで、合成処理部３０は、時間領域での信号波形が不連続にならないように収音した打音と、ＰＣＭ音源音とを合成することができる。
【００５８】
また、例えば、合成処理部３０は、収音した打音のピッチと、ＰＣＭ音源音のピッチとが一致するように合成するようにしてもよい。この場合、合成処理部３０又は合成部３２が、例えば、収音したアタック部分ＴＲ１の打音信号Ｓ２に合わせて、境界におけるピッチ（音の高さ、支配的な音高の整数倍音、特徴的な音高などの特定の周波数）が一致するように、ボディー部分ＴＲ２のＰＣＭ音源音信号Ｓ３を調整する。ここで、図６及び図７を参照して、境界におけるピッチを一致させる処理の詳細について説明する。
【００５９】
図６及び図７は、特定の周波数を一致させる合成の一例を説明する図である。
図６において、各グラフの横軸は、周波数であり、縦軸は、音響レベルである。また、エンベロープ波形ＥＷ１は、収音した打音の周波数領域におけるエンベロープ波形を示している。また、エンベロープ波形ＥＷ２は、ＰＣＭ音源音の周波数領域におけるエンベロープ波形を示している。
【００６０】
また、周波数Ｆ１は、収音した打音の最も低域の特徴的な周波数であり、周波数Ｆ２、周波数Ｆ３、周波数Ｆ４に従って、高域の特徴的な周波数を示している。なお、周波数Ｆ２、周波数Ｆ３、及び周波数Ｆ４は、周波数Ｆ１の整数倍音の周波数である。ここで、特徴的な周波数とは、音の周波数領域でのエンベロープにおいて特徴的な凸状の頂点を示す周波数であり、操作情報（打撃情報）の一例である。
【００６１】
合成処理部３０は、エンベロープ波形ＥＷ２に示すように、収音した打音とＰＣＭ音源音とが、これら特徴的な周波数の少なくとも１つが一致するように、ＰＣＭ音源音を調整する。なお、図６に示す例では、合成処理部３０は、エンベロープ波形ＥＷ１の特徴的な周波数（Ｆ１、Ｆ３）と、エンベロープ波形ＥＷ２の２つの特徴的な周波数とが一致するようにＰＣＭ音源音を調整する。このように、合成処理部３０は、収音した打音の特徴的な周波数と、ＰＣＭ音源音の特徴的な周波数とが一致するように合成する。
【００６２】
また、図７において、図６に示す例と同様に、各グラフの横軸は、周波数であり、縦軸は、音響レベルである。また、エンベロープ波形ＥＷ３は、収音した打音の周波数領域におけるエンベロープ波形を示している。また、エンベロープ波形ＥＷ４及びエンベロープ波形ＥＷ５は、ＰＣＭ音源音の周波数領域におけるエンベロープ波形を示している。また、この図において、収音した打音の特徴的な周波数は、周波数Ｆ１、周波数Ｆ２、及び周波数Ｆ３である。
【００６３】
合成処理部３０は、エンベロープ波形ＥＷ４に示すように、収音した打音の特徴的な周波数Ｆ１と、ＰＣＭ音源音の特徴的な周波数が一致するように、ＰＣＭ音源音を調整してもよい。また、合成処理部３０は、エンベロープ波形ＥＷ５に示すように、収音した打音の特徴的な周波数Ｆ２と、ＰＣＭ音源音の特徴的な周波数が一致するように、ＰＣＭ音源音を調整してもよい。
【００６４】
なお、合成処理部３０は、打音の信号レベルに応じて、ＰＣＭ音源音の周波数を調整する場合に、例えば、予め打音の信号レベルに対応して特徴的な周波数が一致するように設定された調整テーブルに基づいて、ＰＣＭ音源音の周波数を調整する。
【００６５】
以上説明したように、本実施形態による音響処理装置１では、合成処理部３０は、収音した打音の信号レベルに応じて、ＰＣＭ音源音を調整する。
これにより、本実施形態による音響処理装置１では、より自然な打音を出力することができ、シンバル２（打楽器）による打音の表現力を向上させることができる。
【００６６】
［第３の実施形態］
上述した第１及び第２の実施形態では、打楽器の一例として、ドラムセットのシンバル２の打音の表現力を向上させる例を説明したが、第３の実施形態では、シンバル２の代わりに図８に示すようなスネアドラム２ａに対応させる変形例について説明する。
【００６７】
図８は、実施形態によるドラムの一例を示す図である。図８において、スネアドラム２ａは、消音機能を有するドラムであり、ドラムヘッド２１と、リム２２（フープ）とを備えている。ドラムヘッド２１が叩かれた打音は、上述したシンバル２とは異なり、アタック部分ＴＲ１の音信号の信号レベルが、通常のアコースティックドラム（通常のスネアドラム）の打音に比べて小さい傾向にある。
そのため、本実施形態では、合成処理部３０は、アタック部分ＴＲ１にＰＣＭ音源音を使用し、ボディー部分ＴＲ２に収音部１２が収音した打音を使用して、合成する。
【００６８】
なお、本実施形態による音響処理装置１の構成は、合成処理部３０の処理が異なる点を除いて、第１の実施形態と同様である。以下、合成処理部３０の処理を中心に、本実施形態による音響処理装置１の動作について説明する。
本実施形態における合成処理部３０は、ＰＣＭ音源音によるアタック部分ＴＲ１と、収音部１２が収音した打音によるボディー部分ＴＲ２とを合成する。
ここで、図９を参照して、本実施形態による音響処理装置１の動作について、説明する。
【００６９】
図９は、本実施形態による音響処理装置１の動作の一例を示す図である。
図９に示す信号は、上から順に、センサ部１１の検出信号Ｓ１、収音部１２が収音した打音信号Ｓ２、音源信号生成部３１が生成したＰＣＭ音源音信号Ｓ３、及び合成部３２が合成した合成信号Ｓ４を示している。また、各信号の横軸は、時間を示し、縦軸は、検出信号Ｓ１が論理状態を示し、その他の各信号は、信号レベル（電圧）を示している。
【００７０】
図９に示すように、時刻Ｔ０において、利用者がスネアドラム２ａのドラムヘッド２１を叩くと、センサ部１１が検出信号Ｓ１をＨ状態にする。また、収音部１２は、ドラムヘッド２１の打音を収音して、波形Ｗ５に示すような打音信号Ｓ２を出力する。
【００７１】
また、音源信号生成部３１は、検出信号Ｓ１がＨ状態になったことをトリガーにして、記憶部１４が記憶するＰＣＭ音源データに基づいて、波形Ｗ６に示すようなアタック部分ＴＲ１のＰＣＭ音源音信号Ｓ３を生成する。
【００７２】
また、合成部３２は、検出信号Ｓ１がＨ状態になったことをトリガーにして、アタック部分ＴＲ１のＰＣＭ音源音信号Ｓ３と、ボディー部分ＴＲ２の打音信号Ｓ２とを合成して、波形Ｗ７に示すような合成信号Ｓ４を生成する。なお、合成部３２は、例えば、打撃直後の所定の期間（時刻Ｔ０から時刻Ｔ１までの期間）をアタック部分ＴＲ１とし、時刻Ｔ１以降の期間をボディー部分ＴＲ２として、波形Ｗ６と波形Ｗ５とを合成する。
【００７３】
合成部３２は、生成した波形Ｗ７の合成信号Ｓ４を、出力部１５に出力する。そして、出力部１５は、ケーブル等を介して、外部装置（例えば、ヘッドフォンなどの放音装置）に波形Ｗ７の合成信号の音を放音させる。
【００７４】
以上説明したように、本実施形態による音響処理装置１では、合成処理部３０は、ＰＣＭ音源音によるアタック部分ＴＲ１と、収音部１２が収音した打音によるボディー部分ＴＲ２とを合成する。
これにより、本実施形態による音響処理装置１では、例えば、消音機能を有するスネアドラム２ａのようにアタック部分ＴＲ１の信号レベルが弱い場合に、ＰＣＭ音源音により、アタック部分ＴＲ１を強化することができる。よって、本実施形態による音響処理装置１は、消音機能を有するスネアドラム２ａのような打楽器において、ボディー部分ＴＲ２を自然な音に近づけることができる。したがって、本実施形態による音響処理装置１では、上述した第１、及び第２の実施形態と同様に、打楽器による打音の表現力を向上させることができる。
【００７５】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、合成処理部３０は、ＰＣＭ音源音信号Ｓ３を、例えば、信号レベル、減衰率、エンベロープ、ピッチ、振幅、及び位相などを調整して、打音信号Ｓ２と合成する例を説明したが、これらに限定されるものではない。例えば、合成処理部３０は、ＰＣＭ音源音信号Ｓ３の周波数成分を調整及び加工するようにしてもよい。すなわち、合成処理部３０は、時間信号波形だけでなく、周波数成分波形を加工するようにしてもよい。
【００７６】
また、合成処理部３０は、打音信号Ｓ２とＰＣＭ音源音信号Ｓ３とを合成する際に、例えば、リバーブ、ディレイ、ディストーション、コンプレッサなどの音響効果を加えるようにしてもよい。
これにより、音響処理装置１は、例えば、特定の周波数成分を欠落させた音、残響成分を付加した音、及びエフェクト効果音などを打音に加えることができ、打音にバリエーションを持たせることができる。よって、音響処理装置１は、楽器による演奏音の表現力をさらに向上させることができる。
【００７７】
また、上記の第３の実施形態において、スネアドラム２ａのドラムヘッド２１の打音について対応する例を説明したが、リム２２を叩くリムショットに対応させるようにしてもよい。合成処理部３０は、リムショットの場合、上述したシンバル２と同様に、ボディー部分ＴＲ２にＰＣＭ音源音信号Ｓ３を使用する。また、音響処理装置１は、センサ部１１による検出又は打音信号Ｓ２の形状などにより、ドラムヘッド２１の打音であるか、リム２２の打音であるか、を判定して、それぞれに対応する合成信号Ｓ４を出力するようにしてもよい。
【００７８】
すなわち、合成処理部３０は、打音の種類に応じて、収音した打音と、ＰＣＭ音源音との組み合わせを変更して（異なる組合せにより）合成してもよい。具体的には、合成処理部３０は、ドラムヘッド２１の打音である場合に、アタック部分ＴＲ１のＰＣＭ音源音信号Ｓ３と、ボディー部分ＴＲ２の打音信号Ｓ２とを合成する。そして、合成処理部３０は、リム２２の打音（リムショット）である場合に、アタック部分ＴＲ１の打音信号Ｓ２と、ボディー部分ＴＲ２のＰＣＭ音源音信号Ｓ３とを合成する。すなわち、合成処理部３０は、アタック部分ＴＲ１のＰＣＭ音源音と、ボディー部分ＴＲ２の打音との組み合わせで合成する場合と、アタック部分ＴＲ１の打音と、ボディー部分ＴＲ２のＰＣＭ音源音との組み合わせで合成する場合とを切り替えて用いてもよい。これにより、音響処理装置１は、打音の表現力をさらに向上させることができる。
【００７９】
また、上記の各実施形態において、音響処理装置１は、打楽器の一例として、消音機能を有するドラムセットに使用する例を説明したが、これに限定されるものではなく、例えば、電子ドラムや、和太鼓などの他の種類の太鼓、等、他の打楽器に適用させてもよい。
【００８０】
また、上記の各実施形態において、音源信号生成部３１は、ＰＣＭ音源による音信号を生成する例を説明したが、他の音源による音信号を生成するようにしてもよい。
また、上記の各実施形態において、合成処理部３０は、収音部１２が収音した打音の信号レベルから、打音の信号レベルを検出する例を説明したがこれに限定されるものではなく、例えば、センサ部１１の振動センサに検出値に基づいて、打音の信号レベルを検出するようにしてもよい。
【００８１】
また、上記の各実施形態において、出力部１５は、出力端子である例を説明したが、アンプを備えて、合成信号Ｓ４を増幅できるようにしてもよい。
また、上記の各実施形態において、合成処理部３０は、リアルタイムに打楽器の打音を処理して、合成信号Ｓ４を出力する例を説明したが、これに限定されるものではない。合成処理部３０は、記録された検出信号Ｓ１及び打音信号Ｓ２に基づいて、合成信号Ｓ４を生成するようにしてもよい。すなわち、合成処理部３０は、記録された打撃のタイミングに基づいて、収音部が収音して記録された打音と、ＰＣＭ音源音とを合成するようにしてもよい。
【００８２】
また、上記の各実施形態において、音響処理装置１は、楽器の一例として、ドラムなどの打楽器に適用する例を説明したが、これに限定されるものではなく、弦楽器や管楽器などの他の楽器に適用するようにしてもよい。この場合、収音部１２は、打音の代わりに、演奏操作によって楽器から生じた演奏音を収音し、センサ部１１は、打撃の有無の代わりに、楽器に対する演奏操作の有無を検出する。
【００８３】
また、上記の図１において、センサ部１１と合成処理部３０との間に、楽器音を判定する判定部を備えるようにしてもよい。この場合、判定部は、例えば、機械学習によって楽器の種類を判定してもよいし、周波数分析によって、検出信号Ｓ１の周波数を判定し、当該周波数の判定結果に応じたＰＣＭ音源音を選択するようにしてもよい。
【００８４】
なお、上述の音響処理装置１は内部に、コンピュータシステムを有している。そして、上述した音響処理装置１の各処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【符号の説明】
【００８５】
１…音響処理装置、２…シンバル、２ａ…スネアドラム、１１…センサ部、１２…収音部、１３…操作部、１４…記憶部、１５…出力部、２１…ドラムヘッド、２２…リム、３０…合成処理部、３１…音源信号生成部、３２…合成部
【図１】
2019158931.tif 000003
【図２】
2019158931.tif 000004
【図３】
2019158931.tif 000005
【図４】
2019158931.tif 000006
【図５】
2019158931.tif 000007
【図６】
2019158931.tif 000008
【図７】
2019158931.tif 000009
【図８】
2019158931.tif 000010
【図９】
2019158931.tif 000011