(57)【特許請求の範囲】
【請求項１】
入力された各音響信号に対応する各楽器類を識別する識別手段と、
各楽器類の組み合わせ毎に関連付けられた、前記入力された各音響信号を調整するための調整情報のうち、前記識別手段が識別した各楽器類の組み合わせに関連付けられた前記調整情報を取得する調整情報取得手段と、
前記調整情報取得手段が取得した前記調整情報に基づいて、前記入力された各音響信号を調整する調整手段と、
前記調整された音響信号を混合する混合手段と、
を含むことを特徴とする音響処理装置。
【請求項２】
前記調整情報は、所望する音楽分類を表す音楽分類情報毎に、同じ楽器類の組み合わせについて複数取得され、前記調整情報取得手段は、更にユーザの指定した音楽分類に応じて調整情報を取得することを特徴とする請求項１に記載の音響処理装置。
【請求項３】
前記音響処理装置は、更に、ボーカルと判断された音響信号間のピッチ軌跡に基づいて、前記入力された各音響信号を調整することを特徴とする請求項１又は２に記載の音響処理装置。
【請求項４】
前記調整手段は、少なくとも前記入力された各音響信号のレベルを制御するレベル制御手段、
前記入力された各音響信号に残響音を付加する残響制御手段、または
前記入力された各音響信号の定位を制御するパン制御手段、
のいずれか１つを含むことを特徴とする請求項１乃至３のいずれかに記載の音響処理装置。
【請求項５】
前記識別手段は、前記入力された各音響信号に基づいて当該各音響信号の特徴データを生成し、生成した当該特徴データと記憶部に記憶された登録特徴データとを比較して、当該各音響信号に対応する各楽器類を識別することを特徴とする請求項１乃至４のいずれかに記載の音響処理装置。
【請求項６】
入力された各音響信号に対応する各楽器類を識別する識別ステップと、
各楽器類の組み合わせ毎に関連付けられた、前記入力された各音響信号を調整するための調整情報のうち、前記識別手段が識別した各楽器類の組み合わせに関連付けられた前記調整情報を取得する調整情報取得ステップと、
前記調整情報取得手段が取得した前記調整情報に基づいて、前記入力された各音響信号を調整する調整ステップと、
前記調整された音響信号を混合する混合ステップと、
を含むことを特徴とする音響データの処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響処理装置に関する。
【背景技術】
【０００２】
例えば、ステージ上の多くのマイク、楽器等の機器から入力される音響信号を各チャンネルに割り当て、チャンネル毎に信号レベル（ボリューム値）などの様々なパラメータを制御するミキサが知られている。具体的には、例えば、特許文献１には、ミキサに接続する機器の数が多くなると、ミキサと機器を接続する配線の確認に時間がかかることに鑑み、音響信号に各機器の識別情報を透かし情報として重畳し、機器とミキサとの配線状況を容易に確認可能とするオーディオ信号処理システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−３４９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１においては、機器とミキサとの配線状況を確認することができるものの、ユーザは入力ゲインやフェーダー等のミキサの各機能を理解して、現場に応じた所望の設定を行う必要がある。
【０００５】
本発明は、例えば、接続された楽器類の組み合わせに応じて各音響信号が自動的に調整される音響信号処理装置を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の音響処理装置は、各音響信号に対応する各楽器類を識別する識別手段と、前記識別された楽器類の組み合わせに応じて、各音響信号を調整する調整手段と、前記調整された音響信号を混合する混合手段と、を含むことを特徴とする。
【図面の簡単な説明】
【０００７】
【図１】本実施の形態における音響信号処理システムの概要の一例を示す図である。
【図２】図１に示すミキサの概要について説明するための図である。
【図３】図１に示す制御部の機能的構成について説明するための図である。
【図４】弾き語りの場合の調整情報の一例を示す。
【図５】通常のバンドの場合の調整情報の一例を示す。
【図６】ミキサの処理のフローの一例について説明するための図である。
【図７】楽器編成が変更された場合における調整情報の一例を示す図である。
【図８】デュエットの場合のピッチの軌跡の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【０００９】
図１は、本実施の形態における音響信号処理システムの概要の一例を示す図である。図１に示すように、音響信号処理システム１００は、例えば、キーボード１０１、ドラム１０２、ギター１０３、マイク１０４、及び、トップマイク１０５等の楽器類と、ミキサ１０６と、アンプ１０７と、スピーカ１０８とを有する。なお、楽器類は、その他、ベース等のその他の楽器を含んでもよい。
【００１０】
キーボード１０１は、例えば、シンセサイザーや電子ピアノであって、演奏者の演奏に応じて、音響信号を出力する。マイク１０４は、例えば、歌手の声を収音し、当該収音した音を音響信号として出力する。ドラム１０２は、例えば、ドラムセットと、当該ドラムセットに含まれる打楽器（例えばバスドラムやスネアドラム等）を打つことにより発生する音を収音する各マイクを含む。当該マイクは、打楽器ごとに設けられており、収音した音を音響信号として出力する。ギター１０３は、例えば、アコースティックギターとマイクを有し、アコースティックギターの音を、マイクで収音して音響信号として出力する。なお、ギター１０３は、エレクトリックアコースティックギターやエレクトリックギターとしてもよい。その場合は、マイクを設ける必要はない。トップマイク１０５は、複数の楽器からの音、例えば、ドラムセットの上方に設置されるマイクであって、ドラムセット全体からの音を収音し、音響信号として出力する。なお、このトップマイク１０５は、ドラムセット以外の楽器類からの音も小音量ながら不可避的に収音する。
【００１１】
ミキサ１０６は、複数の入力端子を有し、当該各入力端子に入力された上記キーボード１０１、ドラム１０２、ギター１０３、マイク１０４等からの音響信号を電気的に加算、加工し出力する。なお、ミキサ１０６のより具体的な構成については後述する。
【００１２】
アンプ１０７は、ミキサ１０６の出力端子から出力される音響信号を増幅しスピーカ１０８に出力する。スピーカ１０８は、増幅された音響信号に応じて放音する。
【００１３】
次に、本実施の形態におけるミキサ１０６の構成について説明する。図２は、本実施の形態におけるミキサ１０６の構成の概要について説明するための図である。図２に示すように、ミキサ１０６は、例えば、制御部２０１、記憶部２０２、操作部２０３、表示部２０４、入出力部２０５を有する。なお、制御部２０１、記憶部２０２、操作部２０３、表示部２０４、入出力部２０５は、内部バス２０６により互いに接続される。
【００１４】
制御部２０１は、例えば、ＣＰＵ、ＭＰＵ等であって、記憶部２０２に格納されたプログラムに従って動作する。記憶部２０２は、例えば、ＲＯＭやＲＡＭ、ハードディスク等の情報記録媒体で構成され、制御部２０１によって実行されるプログラムを保持する情報記録媒体である。
【００１５】
記憶部２０２は、制御部２０１のワークメモリとしても動作する。なお、当該プログラムは、例えば、ネットワーク（図示なし）を介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。
【００１６】
操作部２０３は、例えば、スライド式のボリューム、ボタン、ツマミ等、ユーザの指示操作に応じて、当該指示操作の内容を制御部２０１に出力する。
【００１７】
表示部２０４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等であって、制御部２０１からの指示に従い、情報を表示する。
【００１８】
入出力部２０５は、複数の入力端子及び出力端子を有する。各入力端子には、キーボード１０１、ドラム１０２、ギター１０３、マイク１０４等の各楽器類およびトップマイク１０５から、音響信号が入力される。また、出力端子からは、上記入力された音響信号を電気的に加算、加工した音響信号が出力される。なお、当該ミキサ１０６の構成は、一例であってこれに限定されるものではない。
【００１９】
次に、本実施の形態における制御部２０１の機能的構成の一例について説明する。図３に示すように、制御部２０１は、機能的に、識別部３０１、調整部３０２、混合部３０３、調整情報取得部３０４を含む。
【００２０】
識別部３０１は、各音響信号に対応する各楽器類を識別する。そして、識別部３０１は、当該識別した楽器類を識別情報として調整部３０２に出力する。具体的には、識別部３０１は、各音響信号に基づいて当該音響信号の特徴データを生成し、記憶部２０２に登録された特徴データと比較することにより、各音響信号に対応する各楽器類の種別を識別する。なお、記憶部２０２への各楽器類の特徴データの登録については、例えば、ＳＶＭ(Support Vector Machine)等の学習アルゴリズムを用いて構成する。当該楽器類の識別については、特願２０１５−１９１０２６および特願２０１５−１９１０２８記載の技術を用いればよいので、詳細な説明については省略する。
【００２１】
調整情報取得部３０４は、識別された楽器類の組み合わせに基づいて、記憶部２０２から、当該組み合わせに関連付けられた調整情報を取得する。ここで、記憶部２０２は、例えば、図４に示すように、楽器類の組み合わせを表す組み合わせ情報と、楽器類の組み合わせ毎に関連付けられた各音響信号を調整するための調整情報を記憶している。
【００２２】
具体的には、記憶部２０２は、例えば、図４(ａ)に示すように、組み合わせ情報として、ボーカル(Vocal)及びギター(Guitar)を表す楽器類情報(Inst.)を含み、調整情報として、ボリューム情報（Vol）、パン情報(Pan)、残響情報(Reverb.)、コンプレッション情報(comp.)を記憶している。また、記憶部２０２は、図４（ｂ）に示すように、組み合わせ情報として、ボーカル(Vocal)及びキーボード(Keyboard)を表す楽器類情報(Inst.)を含み、調整情報として、ボリューム情報（Vol）、パン情報(Pan)、残響情報(Reverb.)、コンプレッション情報(comp.)を記憶している。つまり、例えば、識別部３０１がボーカルとギターを識別した場合、調整情報取得部３０４は、図４(a)に示す調整情報を取得する。なお、図４に示した調整情報は一例であって、本実施の形態はこれに限定されるものではない。また、上記においては、記憶部２０２に上記組み合わせ情報及び調整情報が記憶されている場合について説明したが、組み合わせ情報及び調整情報を外部のデータべース等から取得されるように構成してもよい。
【００２３】
調整部３０２は、調整情報取得部３０４が取得した調整情報に基づいて、各音響信号を調整する。各音響信号は、調整部３０２に直接入力されてもよいし、識別部３０１を介して入力されてもよい。図３に示すように、調整部３０２は、レベル制御部３０５、パン制御部３０６、残響制御部３０７、コンプレッション制御部３０８、サイドチェイン制御部３０９を含む。
【００２４】
ここで、レベル制御部３０５は、入力された各音響信号のレベルを制御する。パン制御部３０６は、各音響信号の音の定位を調整する。残響制御部３０７は、各音響信号に付加する残響音を付加する。コンプレッション制御部３０８は、音量の変化幅を圧縮（コンプレッション）する。サイドチェイン制御部３０９は、ある楽器類の音の出るタイミングや音の強弱等を使って、他の楽器類の音に影響を与えるように制御する効果のオン・オフを制御する。なお、調整部３０２の機能的構成は上記に限られず、例えば、イコライザなどの特定周波数帯の音響信号のレベルを制御する機能やブースターなどの増幅や歪を付加する機能、低周波により変調させる機能等その他のエフェクタ等が備える機能を有するように構成してもよい。また、上記レベル制御部３０５、パン制御部３０６、残響制御部３０７、コンプレッション制御部３０８、サイドチェイン制御部３０９の一部を外部に設けるように構成してもよい。
【００２５】
ここで、例えば、図４に示す調整情報が取得された場合、レベル制御部３０５は、ボーカルが１．０、ギターが０．８で表されるボリュームレベルとなるように制御する。パン制御部３０６は、ボーカル（Vocal）０．５、ギター(Guitar)が０．５で表される音の定位となるように制御する。残響制御部３０７は、ボーカルが０．４、ギターが０．４で表される残響を付加するように制御する。コンプレッション制御部３０８は、ギターについて、コンプレッション機能をオンにする。なお、図４の調整情報は、弾き語りの場合を想定しており、ギターはアコースティックギターを前提としていることから、残響を付加するよう設定されている。
【００２６】
図５は、通常のバンドの楽器類編成の場合の調整情報の一例を示す。通常のバンドの場合、ギターはエレクトリックギターの可能性が高いことから、調整情報のうち、ギターに対応する残響については０にして音量も少し下げるように設定されている。また、キック(Kick)とバス(Bass)の分離をよくするため、キックとバスをサイドチェインにするよう設定されている。更に、スネア(Snare)やトップマイク（左右）(TopL, TopR)を適切に調整するよう設定されている。そして、当該調整情報に基づいて、レベル制御部３０５、パン制御部３０６、残響制御部３０７、コンプレッション制御部３０８、サイドチェイン制御部３０９は、各音響信号を制御するが、上記と同様であるので、説明を省略する。
【００２７】
混合部３０３は、調整部３０２により調整された各音響信号を混合して、アンプ１０７に出力する。
【００２８】
次に、図６を用いて、本実施の形態におけるミキサ１０６の処理のフローの一例について説明する。図６に示すように、まず、識別部３０１は、各音響信号に対応する各楽器類を識別する（Ｓ１０１）。調整情報取得部３０４は、識別された楽器類の組み合わせに基づいて、記憶部２０２から、当該組み合わせに関連付けられた調整情報を取得する（Ｓ１０２）。調整部３０２は、調整情報取得部３０４が取得した調整情報に基づいて、各音響信号を調整する（Ｓ１０３）。混合部３０３は、調整部３０２により調整された各音響信号を混合する（Ｓ１０４）。そして、アンプ１０７は混合された各音響信号を増幅して、スピーカ１０８に出力する（Ｓ１０５）。
【００２９】
本実施の形態によれば、例えば、より容易にミキサの設定を行うことができる。より具体的には、本実施形態によれば、例えば、ミキサに楽器類を接続することにより、各楽器類が識別され、当該楽器類で編成される楽器編成に応じたミキサの設定が自動で行われる。
【００３０】
本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。
【００３１】
例えば、演奏中に識別部３０１が同じ楽器類を識別した場合、調整部３０２は当該同じ楽器類の位置を適切に調整するように構成してもよい。具体的には、例えば、図５に示す楽器編成について、ギターがもう一本増えた場合、図７に示すように、パン情報を、第１のギターについては０．５から０．３５、第２のギターについては０．５から０．６５に示す位置に調整するよう変更する等である。この場合、例えば、図７に示すような調整情報を記憶部２０２があらかじめ記憶しておき、調整情報取得部３０４が識別部３０１が識別した楽器類の組み合わせに応じて、当該調整情報を取得し、当該調整情報に基づいて調整部３０２が調整されるように構成する。また、各楽器類が増加した場合の楽器類毎の変化量等を記憶しておき、当該変化量に応じて、調整情報が変更されるように構成してもよい。
【００３２】
また、上記実施形態の構成に加えて、例えば、ボーカルと識別されたチャンネル間のピッチの軌跡に基づいて、男性と女性が交互にまたは一緒に歌うデュエットか否かを判定するデュエット判定部をミキサ１０６に設けるように構成してもよい。そして、例えば、当該デュエット判定部がデュエットであると判定した場合には、男性ボーカルについては、ミキサ１０６に含まれるイコライザ部で低音域を持ち上げ、パンをやや右にするとともに、女性ボーカルについては、中音域を持ち上げ、パンをやや左にするように調整するように構成してもよい。これにより、例えば、男性及び女性ボーカルをより聞き分けやすくすることができる。
【００３３】
ここで、デュエットの場合のピッチの軌跡の一例を図８に示す。図８に示すように、デュエットの場合、女性ボーカル（点線で表示）、男性ボーカル（実線で表示）のピッチの軌跡が交互に表れ、また、同じタイミングでピッチが現れた場合でも、ピッチの軌跡が異なるように現れる。よって、デュエット判定部は、例えば、ピッチの規制が交互に表れ、かつ、同じタイミングで現れた場合でもピッチの軌跡が所定の閾値以上異なる場合には、デュエットであると判定するように構成すればよい。なお、デュエット判定部は、上記構成に限られず、デュエットか否かが判定できる限り異なる構成であってもよいことはいうまでもない。例えば、ピッチの規制が交互に表れる割合が所定以上である場合にデュエットであると判定するように構成してもよい。また、デュエットであると判定した場合の調整についても上記は一例にすぎず、これに限定されるものではない。また、その他メインのボーカルとコーラスから構成されるか否か判定し、メインのボーカルとコーラスから構成されると判定した場合には、メインの音量をより大きくなるように構成してもよい。
【００３４】
また、上記においては、各楽器類の組み合わせ毎に調整情報が保持されている場合について説明したが、同じ楽器類の組み合わせについても音楽分類毎に複数の調整情報を保持し、ユーザの指定した音楽分類に応じて各音響信号が調整されるように構成してもよい。音楽分類としては、たとえばジャンル（ポップス、クラッシックなど）であってもよいし、ムード（ロマンティック、ファンキーなど）であってもよい。これにより、ユーザは複雑な設定を行うことなく、音楽分類だけを指定するだけで楽器編成に応じて調整された音楽を享受できる。
【００３５】
更に、ミキサ１０６はマイク（楽器ごとに設けられている各マイク）の状態についてアドバイスする機能を有するように構成してもよい。具体的には、例えば、マイクのセッティングに対して、特開２０１５−０８００７６号公報記載の技術を用いて、各マイクの収音状態（例えば、各マイクの配置位置の可否など）を表示部２０４に表示することで、ユーザにアドバイスするように構成してもよいし、ミキサ１０６に接続されるモニタースピーカ（図示せず）等を用いて、ミキサ１０６から音でアドバイスするようにしてもよい。また、ハウリングを検出して指摘または自動でハウリングを抑制するようレベル制御部が音響信号のレベルを調整するように構成してもよい。更に、マイク間のクロストーク量を相互相関によって算出し、マイクを離すまたは向きを変えるようにアドバイスするように構成してもよい。なお、特許請求の範囲における音響処理装置は、例えば、上記ミキサ１０６に相当するが、ミキサ１０６に限られるものではなく、例えば、コンピュータ等で実現してもよい。
【符号の説明】
【００３６】
１００…音響信号処理システム、１０１…キーボード、１０２…ドラム、１０３…ギター、１０４…マイク、１０５…トップマイク、１０６…ミキサ、１０７…アンプ、１０８…スピーカ、２０１…制御部、２０２…記憶部、２０３…操作部、２０４…表示部、２０５…入出力部、２０６…内部バス、３０１…識別部、３０２…調整部、３０３…混合部、３０４…調整情報取得部、３０５…レベル制御部、３０６…パン制御部、３０７…残響制御部、３０８…コンプレッション制御部、３０９…サイドチェイン制御部。
【図１】
0006696140.tif 000002
【図２】
0006696140.tif 000003
【図３】
0006696140.tif 000004
【図４】
0006696140.tif 000005
【図５】
0006696140.tif 000006
【図６】
0006696140.tif 000007
【図７】
0006696140.tif 000008
【図８】
0006696140.tif 000009