(57)【特許請求の範囲】
【請求項１】
複数のチャンネル毎に取得された音響信号に基づいて、前記音響信号の特徴および前記音響信号の楽器類毎に、当該楽器類に対応する可能性を表す指標値により構成される指標値データを取得する指標値取得手段と、
前記複数のチャンネル間の音響信号に基づいて、前記チャンネル間における前記音響信号の特徴を特徴情報として検出するチャンネル間特徴情報検出手段と、
前記指標値データと前記特徴情報に基づいて、前記各チャンネルの前記楽器類毎に、前記楽器類に該当する確度に応じた値をスコア情報として生成するスコア情報生成手段と、
を含むことを特徴とする楽器類識別装置。
【請求項２】
前記指標値データは、前記各チャンネルに含まれる音響信号の音量が所定の閾値より大きい発音区間に基づいて構成されることを特徴とする請求項１記載の楽器類識別装置。
【請求項３】
逐次処理方式
前記指標値に基づいて、前記各チャンネルの所定の信頼度を取得する信頼度取得手段と、
前記信頼度と、前記スコア情報に基づいて、前記各チャンネルに対応する楽器類を決定する楽器類決定手段と、
を含む特徴とする請求項１または２記載の楽器類識別装置。
【請求項４】
前記スコア情報に基づいて、前記各チャンネルが各楽器類の組み合わせに対応する指標を表す組み合わせスコア情報を、前記各楽器類の組み合わせ毎に取得する組み合わせスコア情報取得手段と、
前記組み合わせスコア情報の指標が高い順に所定の数の組み合わせスコア情報を抽出する組み合わせスコア情報抽出手段と、
前記抽出された組み合わせスコア情報に基づいて、前記各チャンネルに対応する前記各チャンネルの所定の信頼度を取得する信頼度取得手段と、
前記組み合わせスコア情報と、前記信頼度に基づいて、前記各チャンネルに対応する楽器類を決定する楽器類決定手段と、
を含むことを特徴とする請求項１または２に記載の楽器類識別装置。
【請求項５】
前記チャンネル毎に取得された音響信号に基づいて、前記各チャンネル間の音響信号の相関に基づいた相関値を取得する相関値取得手段と、
前記相関値に基づいて、複数の楽器からの音を収音するよう配置されたトップマイクに対応するチャンネルを識別するトップマイク識別手段と、
を含むことを特徴とする請求項１乃至４のいずれかに記載の楽器類識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は楽器類識別装置に関する。
【背景技術】
【０００２】
例えば、下記特許文献１には、アコースティック楽器、自然音、人、生物等の音源が発した音から、音源を特定する音源識別装置が開示されている。具体的には、当該音源識別装置は、音源から発せられる音の特徴データをデータベースに登録しておき、特定対象の音源から発せられた音の特徴データベースとの相関に基づいて、音源を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１５６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記音源識別装置においては、対象である音響信号毎に独立して音源を特定する構成であることから、例えば、複数の楽器からの音響信号が入力される場合に、類似する音色の楽器について音源の特定の精度が不十分である場合がある。
【０００５】
上記に鑑み、本発明は、例えば、複数の楽器からの音響信号が入力される場合であっても、より精度よく楽器の識別が可能な楽器類識別装置等を実現することを目的とする。
【課題を解決するための手段】
【０００６】
楽器類識別装置であって、複数のチャンネル毎に取得された音響信号に基づいて、前記音響信号の特徴および前記音響信号の楽器類毎に、当該楽器類に対応する可能性を表す指標値により構成される指標値データを取得する指標値取得手段と、前記複数のチャンネル間の音響信号に基づいて、前記チャンネル間における前記音響信号の特徴を特徴情報として検出するチャンネル間特徴情報検出手段と、前記指標値データと前記特徴情報に基づいて、前記各チャンネルの前記楽器類毎に、前記楽器類に該当する確度に応じた値をスコア情報として生成するスコア情報生成手段と、を含むことを特徴とする。
【図面の簡単な説明】
【０００７】
【図１】音響信号処理システムの概要の一例を示す図である。
【図２】ミキサの構成の概要の一例を示す図である。
【図３】第１の実施形態におけるミキサの制御部の機能的構成の一例を示す図である。
【図４】指標値取得部の構成の一例を示す図である。
【図５】指標値データの一例を示す図である。
【図６】閾値判定・除外部の処理の一例について説明するための図である。
【図７】チャンネル間特徴情報検出部の特徴検出の一例について説明するための図である。
【図８】チャンネル間特徴情報検出部の特徴検出の他の一例について説明するための図である。
【図９】スコア情報の一例を示す図である。
【図１０】第１の実施の形態における音響信号を取得してから各チャンネルに対応する楽器類を決定するまでの処理のフローの一例を示す図である。
【図１１】第２の実施形態におけるミキサの制御部の機能的構成の一例を示す図である。
【図１２】組み合わせスコア情報の一例を示す図である。
【図１３】組み合わせスコア情報抽出部により抽出された組み合わせスコア情報の一例を示す図である。
【図１４】第２の実施の形態における音響信号を取得してから各チャンネルに対応する楽器類を決定するまでの処理のフローの一例を示す図である。
【図１５】第３の実施形態におけるミキサの制御部の機能的構成の一例を示す図である。
【図１６】各チャネル間の相関値データの一例を示す図である。
【図１７】トップ決定の処理の他の一例を説明するための図である。
【図１８】トップ決定の処理の他の一例を説明するための図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【０００９】
図１は、本実施の形態における音響信号処理システムの概要の一例を示す図である。図１に示すように、音響信号処理システム１００は、例えば、キーボード１０１、ドラム１０２、ギター１０３、マイク１０４、トップマイク１０５、ミキサ１０６、アンプ１０７、スピーカ１０８を有する。
【００１０】
キーボード１０１は、例えば、シンセサイザーや電子ピアノであって、演奏者の演奏に応じて、音響信号を出力する。マイク１０４は、例えば、歌手の声を収音し、当該収音した音を音響信号として出力する。ドラム１０２は、例えば、ドラムセットと、当該ドラムセットに含まれる打楽器（例えばバスドラムやスネアドラム等）を打つことにより発生する音を収音する各マイクを含む。当該マイクは、打楽器ごとに設けられており、収音した音を音響信号として出力する。ギター１０３は、例えば、アコースティックギター１０３とマイクを有し、アコースティックギター１０３の音を、当該マイクで収音して音響信号として出力する。なお、ギター１０３は、エレクトリックアコースティックギターやエレクトリックギターとしてもよい。その場合は、マイクを設ける必要はない。トップマイク１０５は、複数の楽器からの音、例えば、ドラムセットの上方に設置されるマイクであって、ドラムセット全体からの音を収音し、音響信号として出力する。なお、トップマイク１０５は、例えば左右に設置する等、複数のマイクから構成してもよい。トップマイク１０５は、ドラムセット以外の楽器類からの音も小音量ながら不可避的に収音する。
【００１１】
ミキサ１０６は、複数の入力端子を有し、当該各入力端子に入力された上記キーボード１０１、ドラム１０２、ギター１０３、マイク１０４等からの音響信号を電気的に加算、加工し出力する。具体的には、ミキサ１０６は、例えば、音量等のレベルの制御を行うレベル制御部や音のバランスを変化させ音の定位を調整するパン制御部等を含み、レベル制御等が行われた各音響信号を混合部により、混合して、アンプ１０７に出力する。なお、本実施の形態におけるミキサ１０６は、上記のような一般的なミキサ１０６の構成の他、楽器類識別機能等を有するが、当該楽器類識別機能等の詳細については、後述する。また、一般的なミキサ１０６の構成については周知であるので、詳細については説明を省略する。
【００１２】
アンプ１０７は、ミキサ１０６の出力端子から出力される音響信号を増幅しスピーカ１０８に出力する。スピーカ１０８は、増幅された音響信号に応じて放音する。
【００１３】
次に、本実施の形態におけるミキサ１０６の構成の一例について説明する。図２は、本実施の形態におけるミキサ１０６の構成の概要について説明するための図である。図２に示すように、ミキサ１０６は、例えば、制御部２０１、記憶部２０２、操作部２０３、表示部２０４、入出力部２０５を有する。なお、制御部２０１、記憶部２０２、操作部２０３、表示部２０４、入出力部２０５は、内部バス２０６により互いに接続される。
【００１４】
制御部２０１は、例えば、ＣＰＵ、ＭＰＵ等であって、記憶部２０２に格納されたプログラムに従って動作する。記憶部２０２は、例えば、ＲＯＭやＲＡＭ、ハードディスク等の情報記録媒体で構成され、制御部２０１によって実行されるプログラムを保持する情報記録媒体である。
【００１５】
記憶部２０２は、制御部２０１のワークメモリとしても動作する。なお、当該プログラムは、例えば、ネットワーク（図示なし）を介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。
【００１６】
操作部２０３は、例えば、スライド式のボリューム、ボタン、ツマミ等、ユーザの指示操作に応じて、当該指示操作の内容を制御部２０１に出力する。表示部２０４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等であって、制御部２０１からの指示に従い、情報を表示する。
【００１７】
入出力部２０５は、複数の入力端子及び出力端子を有する。各入力端子には、キーボード１０１、ドラム１０２、ギター１０３、マイク１０４等の各楽器類およびトップマイク１０５から、音響信号が入力される。また、出力端子からは、上記入力された音響信号を電気的に加算、加工した音響信号が出力される。なお、当該ミキサ１０６の構成は、一例であってこれに限定されるものではない。例えば、レベル制御等の一部の機能をアナログで処理するように構成してもよい。
【００１８】
次に、図３を用いて、本実施の形態におけるミキサ１０６の制御部２０１の機能的構成について説明する。
【００１９】
音響信号取得部３０１は、チャンネル毎に音響信号を取得する。ここで、各チャンネルは、それぞれ上記キーボード１０１、ドラム１０２、ギター１０３等の各楽器類からの各音響信号の各入力端子に対応する。
【００２０】
オンセット・オフセット検出部３０２は、入力された音響信号からオンセット及びオフセットを抽出する。オンセットとは音響信号の立ち上がりに相当し、オフセットとは当該音響信号の出力が所定の値以下（例えば、ほぼ０）になることに相当する。
【００２１】
特徴量抽出部３０３は、オンセットからオフセットの間の音響信号（以下単に「発音区間」という）の特徴量を抽出する。当該抽出はチャンネル毎及び発音区間毎に行う。
【００２２】
指標値取得部３０４は、特徴量に基づいて、発音区間毎にどの楽器類であると識別されるかの指標を表す指標値を取得する。なお、当該指標値の取得はチャンネル毎に、また楽器類毎に行う。
【００２３】
具体的には、例えば、指標値取得部３０４は、図４に示すように、３つのＳＶＭ(Support Vector Machine)を用いて構成する。当該３つのＳＶＭは、上記特徴量(例えば、特徴ベクトル（feature vector)）に基づいて、入力された発音区間がどの楽器類の候補の音響信号に相当するかにつき識別する。具体的には、ＳＶＭ０は、ギター(Guitar)や男性、女性音声(male Vo, female Vo)等を表す調和（harmonic）音か、スネア（Snare）やシンバル（Cymbal）等打楽器(percussive)の音かを識別する。ＳＶＭ１は、入力されたオンセットが、キック(Kick)、スネア、シンバル等の打楽器のいずれの楽器であるかを識別する。ＳＶＭ２は、入力された発音区間が、バス（Bass）、ギター（Guitar）、男性ボーカル(maleVo)、女性ボーカル(femaleVo)等のいずれであるかを識別する。
【００２４】
なお、各ＳＶＭで識別する楽器類の種類や数は例示であって、本実施の形態はこれらに限定されるものではない。また、ＳＶＭとは、機械学習アルゴリズムの１つであって、あらかじめ各楽器類の音響信号の特徴量を学習させておき、これに基づいて、入力された特徴量がいずれの楽器類であるか分類する技術であるが、周知であるので、詳細については説明を省略する。また、本実施の形態においては、機械学習アルゴリズムによる分類の一例としてＳＶＭを用いる場合について説明するが、その他のアルゴリズム（例えば、単純回帰分析（Simple logistic regression））等を用いてもよい。更に、上記においては３つのＳＶＭを用いる場合について説明したが、本実施の形態は、これに限られず例えば２つのＳＶＭ等で構成してもよい。
【００２５】
上記のようにして、取得された指標値から構成される指標値データの一例を図５に示す。ここで、図５において、onsetは入力された各音響信号の発音区間を識別する情報を表す。Onset Timeは、発音区間の開始時刻（以下、オンセット時刻）を表し、Offset Timeは発音区間の終了時刻（以下、オフセット時刻）を示す。amplitudeは、は、発音区間の振幅を表す。また、NonPercussive（上記調和音に相当）及びPercussiveは、ＳＶＭ０からの出力を、CongaからKickまでは、ＳＶＭ１からの出力を表し、BassからWindは、ＳＶＭ２からの出力を示す。なお、指標値の数値が大きいほど、当該楽器類に対応する可能性が高いことを表す。なお、図５において、ＳＶＭ０については０から１までの数値をとるように設計されている。
【００２６】
閾値判定・除外部３０５は、１つのチャンネルに含まれる発音区間が所定の音量閾値以下であるか否かを判定する。そして、閾値判定・除外部３０５は、所定の音量以下であると判定された発音区間に関する情報を指標値データから除外する。具体的には、例えば、図６に示す場合、Vo. Activeとして示す以外の発音区間（other source）の極大値は、点線で示す音量閾値以下であることから、当該other sourceで表される発音区間を除外する。
【００２７】
チャンネル間特徴情報検出部３０６は、各チャンネルの発音区間を比較し、所定の特徴情報を検出する。ここで、所定の特徴情報とは、例えば、発音区間の開始タイミングが他のチャンネルと異なるという特徴を示す情報である。また、所定の特徴情報は、他のチャンネルの発音区間の信号レベルが当チャンネルの発音区間の信号レベルと比べて非常に小さい（所定の閾値以下）という特徴を示す情報であってもよい。具体的には、例えば、各チャンネルの発音区間が図７に示す場合、図７の７０１で示す部分のチャンネルの発音区間は、発音区間の開始タイミング（オンセット時刻）が他のチャンネルと異なっており、また、他のチャンネルの信号レベルが当該発音区間の信号レベルと比べて非常に小さい。
【００２８】
また、所定の特徴情報は、例えば、複数のチャンネルに渡ってオンセット時刻・オフセット時刻がほぼ同時（所定の閾値の範囲内）で、かつ、当該複数の発音チャンネルの発音区間について指標値が最も大きな値を示す楽器類が同じ場合であってもよい。具体的には、当該特徴情報は、例えば、図８の８０１で表す部分に示すように、３チャンネル同時にオンセット時刻、オフセット時刻が同じで、当該３チャンネルのSnareの指標値が当該発音区間について最も高い値であることを示すという特徴情報である。なお、８０２で表す部分が３チャンネルの間で最も大きな指標値を示す。
【００２９】
スコア情報生成部３０７は、指標値データ及び上記検出された特徴情報に基づいて、スコア情報を生成する。具体的には、例えば、図４に示すようにＳＶＭ１の出力、及び、ＳＶＭ２の出力に、ＳＶＭ０の出力のうち調和音と識別された出力、打楽器音と識別された出力をそれぞれ乗算した後、加算してスコア情報を生成する。この場合、ＳＶＭ１からの当該各出力は０乃至１の範囲とし、ＳＶＭ１、ＳＶＭ２の出力のＳＶＭ０からの出力に重みづけして乗算する構成とする。なお、当該指標値データは、上記のように閾値以下のオンセットが含まれている場合には当該オンセットが除外された指標値データに相当する。
【００３０】
ここで、スコア情報生成部３０７は、検出された特徴情報に応じて、各発音区間のスコア情報への寄与度を調整しつつスコア情報を生成する。具体的には、例えば、所定の特徴情報が、上記発音区間の開始タイミングが他のチャンネルと異なるという特徴を示す情報や、他のチャンネルの発音区間の信号レベルが当チャンネルの発音区間の信号レベルと比べて非常に小さいという特徴を示す情報の場合は、当該発音区間の寄与度を上げるように調整する。また、所定の特徴情報は、例えば、複数のチャンネルに渡ってオンセット時刻・オフセット時刻がほぼ同時で、かつ、当該発音区間について指標値が最も大きな値を示す楽器類が同じ場合は、他のチャンネルにおける当該発音区間の寄与度を下げるように調整する。その他、例えば、発音区間の開始時刻がほぼ同時の場合、一番早いオンセット時刻の発音区間以外の寄与度を下げるように調整するように構成してもよい。なお、上記においては、寄与度が高くするほど、スコア情報が高くなるものとする。
【００３１】
このようにして生成されたスコア情報を図９に示す。図９に示すように、スコア情報においては、チャンネル毎に各楽器類であることを示すスコアが数値で示される。言い換えれば、当該数値が大きいほど、当該チャンネルが当該楽器であることが確からしいことを表す。すなわち、スコア情報は楽器類に該当する確度に応じた値となっている。
【００３２】
信頼度取得部３０８は、各チャンネルの信頼度を取得する。当該信頼度は、例えば、指標値データにおける各指標値の一貫性（分散）や、発音区間の数、全発音区間の平均音量等に基づいて取得する。具体的には、例えば、指標値データに含まれる発音区間の数が少ないものは信頼度を下げ、例えば、全発音区間の平均音量が他のチャンネルの平均音量が大きいほど信頼度を上げる等である。なお、上記は全てのチャンネルのマイクゲインが均一であることをその前提とする。また、上記信頼度の取得は一例であって、本実施の形態は上記に限定されるものではない。
【００３３】
楽器決定部３０９は、信頼度及びスコアに基づいて、各チャンネルの楽器類を決定する。具体的には、例えば、まず、楽器類が未決定のチャンネルのうち、信頼度が最大のチャンネルでスコアが一番高い楽器類を選択して、当該チャンネルの楽器類に相当すると決定する。次に、２番目に信頼度が高いチャンネルでスコアが一番高い楽器類を当該チャンネルの楽器類であると決定する。以下同様に各チャンネルの楽器類を決定する。
【００３４】
なお、楽器決定部３０９は、ユーザが予め定めた制約に反するか否かを判定し、当該判定結果に応じて決定するように構成してもよい。具体的には、例えば、制約に反すると判定した場合には、決定された楽器のスコアを０として当該チャンネルの選択を上記と同様に行うように構成する。なお、当該制約とは、例えば、ドラム１０２は１個しか存在しない、ギター１０３は２本まで、女性ボーカルは存在しないなど、ユーザより入力される制約である。
【００３５】
画像情報生成部３１０は、各チャンネルに対応する各楽器類を表す画像情報を生成し、表示部２０４に表示する。なお、チャンネルに対応する楽器類が決定できない場合には、当該チャンネルについては楽器類が決定できない旨を表すメッセージ等が表示されるように構成してもよい。
【００３６】
次に、図１０を用いて、本実施の形態における音響信号を取得してから各チャンネルに対応する楽器類を決定するまでの処理のフローの一例について説明する。図１０に示すように、まず、音響信号取得部３０１は、入力チャンネル毎に音響信号を取得する（Ｓ１０１）。オンセット・オフセット検出部３０２は、入力された音響信号からオンセット及びオフセットを抽出する（Ｓ１０２）。特徴量抽出部３０３は発音区間の特徴量を抽出する（Ｓ１０３）。指標値取得部３０４は、特徴量に基づいて、発音区間毎にどの楽器類であると推定されるかを表す指標値を取得する（Ｓ１０４）。閾値判定・除外部３０５は、１つのチャンネルに含まれる発音区間が所定の音量閾値以下であるか否かを判定する（Ｓ１０５）。閾値判定・除外部３０５は、所定の音量以下であると判定された発音区間に関する情報を指標値データから除外する（Ｓ１０６）。チャンネル間特徴情報検出部３０６は、各チャンネルの発音区間を比較し、所定の特徴情報を検出する（Ｓ１０７）。スコア情報生成部３０７は、指標値データ及び上記検出された特徴情報に基づいて、スコア情報を生成する（Ｓ１０８）。
【００３７】
信頼度取得部３０８は、各チャンネルの信頼度を取得する（Ｓ１０９）。楽器決定部３０９は、まず対応する楽器類が未決定のチャンネルがあるか否かを判定する（Ｓ１１０）。未決定チャンネルがあると判定した場合には、未決定チャンネルのうち、信頼度が最大のチャンネルで、かつ、スコアが最大の楽器類を選択する（Ｓ１１１）。そして、Ｓ１１０に戻る。一方、未決定チャンネルがないと判定した場合には処理を終了する。なお、上記処理は一例であって、本実施の形態は上記フローに限られない。
【００３８】
本実施の形態によれば、複数の楽器類からの音響信号が入力される場合であっても、より精度よく楽器類の識別が可能な楽器類識別装置等を実現することができる。
【００３９】
本発明は、上記実施の形態に限定されるものではなく、例えば、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。
【００４０】
[第２の実施形態]
次に、本発明の第２の実施形態を説明する。本実施の形態においては、図１１に示すように、主に、組み合わせスコア情報取得部３１１及び組み合わせスコア情報抽出部３１２を有する点、及び、信頼度取得部３０８の処理が、上記第１の実施形態と異なる。なお、下記において第１の実施形態と同様である点については説明を省略する。
【００４１】
組み合わせスコア情報取得部３１１は、チャンネル毎に楽器の組み合わせを網羅し、スコア情報取得部が取得したスコア情報に基づいてその合計スコアを取得する。具体的には、例えば、図１２に示すように、全ての楽器の組み合わせ毎に、スコアの合計を取得する。図１２において、combi１で表される楽器の組み合わせは、チャンネル１がキック（Kick）、チャンネル２がスネア（Snare）等であり、その合計スコア(score)が３３．５２であることを示す。なお、組み合わせスコア情報取得部３１１は、ユーザから与えられた制約を満たさない組み合わせは除外するように構成してもよい。なお、combi1等は楽器類の各組み合わせを表す。
【００４２】
組み合わせスコア情報抽出部３１２は、合計スコアの高い順に所定の数の組み合わせスコア情報を抽出する。例えば、図１３は、合計スコアが高い方から５つの組み合わせスコア情報を抽出した場合を示す。
【００４３】
信頼度取得部３０８は、抽出された組み合わせスコア情報に基づいて、各チャンネルの信頼度を取得する。具体的には、例えば、信頼度取得部３０８は、より高い順位に安定して同じ楽器が選択されているか否かに基づいて各チャンネルの信頼度を求める。より具体的には、例えば、チャンネル１(ch1)やチャンネル５(ch5)は、すべてそれぞれKick及びBassが選ばれている一方で、チャンネル３(ch3)は、combi1からcombi４までHi-Hatが選択されていることから、チャンネル１、５の安定度はチャンネル３よりも高い信頼度が取得されるように構成する等である。
【００４４】
次に、楽器決定部３０９は、上記取得された信頼度の順に、各チャンネルに対応する楽器類を決定する。具体的には、例えば、図１３に示す場合、チャンネル１と５の信頼度が同じであるので、チャンネル１と５をKick、Bassに対応するとそれぞれ決定する。なお、信頼度が同じ場合は決定の順序はいずれでもよい。次に、チャンネル３は、combi1からcombi４までHi-Hatが選択されており、未決定の他のチャンネルよりもより高い順位で安定度が高く信頼度が高いことから、チャンネル３をHi-Hatと決定する。以下同様に各チャンネルに対応する楽器類を決定する。
【００４５】
なお、本実施の形態において、安定して同じ楽器が選択されていないチャンネル、つまり、信頼度が所定の閾値以下のチャンネルについては楽器類の決定を保留するように構成してもよい。具体的には、例えば、図１３に示す場合、チャンネル４及び７は選択されている楽器類が不安定なので保留にする等である。この場合、楽器類をユーザが確認し訂正した後に更に保留したチャンネルだけで上記と同様に、組み合わせスコア情報を取得し、保留した各チャンネルに対応する楽器類を決定するように構成してもよい。
【００４６】
次に、図１４を用いて、本実施の形態における音響信号を取得してから各チャンネルに対応する楽器類を決定するまでの処理のフローの一例について説明する。
【００４７】
まず、Ｓ２０１乃至Ｓ２０８については、第１の実施形態のＳ１０１乃至Ｓ１０８と同様であるので、説明を省略する。次に、組み合わせスコア情報取得部３１１は、チャンネル毎に楽器の組み合わせを網羅し、スコア情報取得部が取得したスコア情報に基づいてその合計スコアを取得する（Ｓ２０９）。組み合わせスコア情報抽出部３１２は、合計スコアの高い順に所定の数の組み合わせスコア情報を抽出する（Ｓ２１０）。楽器決定部３０９は、まず対応する楽器類が未決定のチャンネルがあるか否かを判定する（Ｓ２１１）。未決定チャンネルがあると判定した場合には、未決定チャンネルのうち、信頼度が最大のチャンネルの楽器類を決定する（Ｓ２１２）。そして、Ｓ２１１に戻る。一方、未決定チャンネルがないと判定した場合には処理を終了する。
【００４８】
本実施の形態によれば、上記第１の実施形態と同様に、例えば、チャンネル毎に楽器類を識別する場合と比較して、より精度の高い楽器編成の識別を行うことができ、また、例えば、より容易にどの機器からの音響信号が入力されているかを把握することができる。また、本実施の形態によれば、上記第１の実施形態と比較してより精度の高い楽器編成の識別を行うことができる。
【００４９】
本発明は、上記実施の形態に限定されるものではなく、例えば、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。例えば、信頼度の取得については、第１の実施形態における信頼度の取得と組み合わせて用いてもよい。
【００５０】
[第３の実施形態]
次に、本発明の第３の実施形態を説明する。本実施の形態においては、図１５に示すように、相関値取得部３１３、相関値加算部３１４、トップマイク決定部３１５を有する点が第１の実施形態と異なる。なお、下記において第１の実施形態と同様である点については説明を省略する。
【００５１】
相関値取得部３１３は、各チャネル間の音響信号の相関に基づいた相関値を取得する。具体的には、例えば、図１６に示すような各チャネル間の相関値データを取得する。相関値加算部３１４は、チャネル毎に相関値を加算し、合計値を求める。
【００５２】
トップマイク決定部３１５は、合計値に基づいてトップマイク１０５のチャンネルを決定する。具体的には、例えば、通常、トップマイク１０５は左右２つ配置されるため、合計値が最大のものから２つのチャンネルをトップマイク１０５であると決定する。具体的には、図１６に示す場合、チャンネル３及び４の合計値(summary)が最大なので、チャンネル３及び４をトップマイクであると決定する。なお、その他チャンネル間でオンセット、オフセット時間が重なる時間の総和を求め、当該時間に基づいてトップマイク１０５を決定するように構成してもよい。
【００５３】
また、オンセット、オフセット時刻がほぼ同時刻のペアのチャンネルを検出した場合には、他のチャンネルのオンセット時刻との時刻差や、音量差に基づいて、トップマイク１０５のチャンネルを決定するように構成してもよい。具体的には、例えば、上記第１の実施形態によりKickやSnare等のドラム類が決定されている場合には、各チャンネルの音量を当該ドラム類のうちの１のチャンネルの音量から減算する。その場合の様子を図１７に示す。そして、当該ドラム類のチャンネルの音量と比べて最も低い音量（負の値でかつ最も絶対値が大きい）を表すチャンネルから順に２つのチャンネルをトップマイク１０５と決定するように構成する。
【００５４】
また、例えば、図１８に示すように、上記第１の実施形態によりKickやSnare等のドラム類が決定されている場合には、各チャンネルのオンセット時刻を当該ドラム類のうちの１のチャンネルのオンセット時刻から減算する。そして、当該ドラム類のチャンネルのオンセット時刻と比べて最も遅れたオンセット時刻（正の値でかつ最も絶対値が大きい）を表すチャンネル２つをトップマイク１０５と決定するように構成してもよい。なお、図１７及び図１８においては、各チャンネルが決定されていない場合を例として示しているが、例えば、第１の実施形態により、少なくとも上記当該ドラム類のうちの１つが決定されることを前提とする。
【００５５】
画像情報生成部３１０は、各チャンネルと対応する各楽器類を表す画像情報を生成し、表示部に表示する。ここで、各楽器類にはトップマイク１０５が含まれる。
【００５６】
本実施の形態によれば、例えば、上記第１及び第２の実施形態と比較して、トップマイクに対応するチャンネルをより精度よく決定することができる。
【００５７】
本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。
【００５８】
例えば、上記においては、主に、トップマイク１０５が２つの場合を例として説明したが、トップマイク１０５の数は２つに限られず、１つまたは３つ
以上であってもよい。また、上記においては、第１の実施形態とトップマイク１０５に対応するチャンネルを決定する構成を組み合わせた場合を例として説明したが、第２の実施形態と組み合わせてもよいし、トップマイク１０５に対応するチャンネルを決定する構成のみを単独で実現するように構成してもよい。
【００５９】
また、第３の実施形態は、第１または第２の実施形態と組み合わせて構成してもよい。ここで、例えば、スネアについては、すべての発音区間が、トップマイクとほぼ同じタイミングで存在し、音量(amp)が他のチャンネルよりも大きく、そして、Onset timeが早い。そこで、スネアと対応している発音区間の寄与度を下げるように構成してもよい。この場合、例えば、寄与度は、他のチャンネルで同じタイミングのオンセットのうちの音量が最大の発音区間との音量比等を用いてもよい。
【００６０】
また、上記第１乃至第３の実施形態においては、主に、楽器類識別装置をミキサ１０６として実現する場合について説明したが、ミキサ１０６とは別個に形成してもよいし、その他の音響装置内で実現してもよい。
【００６１】
また、上記においては、信頼度に基づいて、楽器類を決定する構成について説明したが、信頼度に基づかずに、スコア情報や組み合わせスコア情報に基づいて、楽器類を決定するように構成してもよい。
【００６２】
更に、上記においては、音響信号の発音区間の特徴に基づいて指標値の取得や特徴情報の取得等の処理を行う構成について説明したが、音響信号の特徴に基づいて指標値の取得や特徴情報の取得等の処理を行う構成であればその他の構成であってもよい。
【符号の説明】
【００６３】
１００  音響信号処理システム、１０１  キーボード、１０２  ドラム、１０３  ギター、１０４  マイク、１０５  トップマイク、１０６  ミキサ、１０７  アンプ、１０８  スピーカ、２０１  制御部、２０２  記憶部、２０３  操作部、２０４  表示部、３０１  音響信号取得部、３０２  オンセット・オフセット検出部、３０３  特徴量抽出部、３０４  指標値取得部、３０５  閾値判定・除外部、３０６  チャンネル間特徴情報検出部、３０７  スコア情報生成部、３０８  信頼度取得部、３０９  楽器決定部、３１０  画像情報生成部、３１１  組み合わせスコア情報取得部、３１２  組み合わせスコア情報抽出部、３１３  相関値取得部、３１４  相関値加算部、３１５  トップマイク決定部。
【図１】
0006601109.tif 000002
【図２】
0006601109.tif 000003
【図３】
0006601109.tif 000004
【図４】
0006601109.tif 000005
【図５】
0006601109.tif 000006
【図６】
0006601109.tif 000007
【図７】
0006601109.tif 000008
【図８】
0006601109.tif 000009
【図９】
0006601109.tif 000010
【図１０】
0006601109.tif 000011
【図１１】
0006601109.tif 000012
【図１２】
0006601109.tif 000013
【図１３】
0006601109.tif 000014
【図１４】
0006601109.tif 000015
【図１５】
0006601109.tif 000016
【図１６】
0006601109.tif 000017
【図１７】
0006601109.tif 000018
【図１８】
0006601109.tif 000019