(57)【特許請求の範囲】
【請求項１】
複数の収音装置の各々により収音された各音響信号のうちからユーザの着目音の信号成分を最も多く含むメイン音響信号を前記ユーザに指定させ、前記着目音が発音されている時間区間を前記各音響信号のうち前記メイン音響信号を含む少なくとも１つの音響信号を解析して特定する特定手段と、
前記特定手段により特定された時間区間について前記メイン音響信号を他の音響信号よりも強調する信号処理を前記各音響信号に施す信号処理手段と、を有し、
前記特定手段は、
前記着目音に対応するリファレンスデータの音響特徴と前記少なくとも１つの音響信号の音響特徴とを比較して、前記着目音が発音されている時間区間を特定する
ことを特徴とする音響信号処理装置。
【請求項２】
前記信号処理手段は、
前記各音響信号をミキシングして出力音響信号を生成するとともに、前記特定手段により特定された時間区間における前記メイン音響信号のミキシング比率を前記他の音響信号よりも高くする
ことを特徴とする請求項１に記載の音響信号処理装置。
【請求項３】
複数の収音装置の各々により収音された各音響信号のうちからユーザの着目音の信号成分を最も多く含むメイン音響信号を前記ユーザに指定させ、前記着目音が発音されている時間区間を前記各音響信号のうち前記メイン音響信号を含む少なくとも１つの音響信号を解析して特定する特定ステップと、
前記特定ステップにて特定された時間区間について前記メイン音響信号を他の音響信号よりも強調する信号処理を前記各音響信号に施す信号処理ステップと、を含み、
前記特定ステップでは、
前記着目音に対応するリファレンスデータの音響特徴と前記少なくとも１つの音響信号の音響特徴とを比較して、前記着目音が発音されている時間区間を特定する
ことを特徴とする音響信号処理方法。
【請求項４】
前記信号処理ステップでは、
前記各音響信号をミキシングして出力音響信号を生成するとともに、前記特定ステップにて特定された時間区間における前記メイン音響信号のミキシング比率を前記他の音響信号よりも高くする
ことを特徴とする請求項３に記載の音響信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の収音装置で得られた各音響信号に信号処理を施して新たな音響信号を生成する技術に関する。
【背景技術】
【０００２】
ライブやコンサート等において、マイクロホンなどの収音装置を各々異なる位置に複数配置し、それら複数の収音装置により得られた音響信号に信号処理を施すことで高品質化或いは高臨場化を実現する技術が種々提案されている。高品質化とは、特定の演奏者の演奏音のＳ／Ｎ比を向上させることをいい、高臨場化とは立体感を向上させることをいう。
【先行技術文献】
【非特許文献】
【０００３】
【特許文献１】特開２０１３−１３５４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、児童演奏会の会場において参加児童の各保護者がスマートフォンを用いて自身の子供の演奏音を収録するような場合、各保護者は自身の子供の演奏音をメインに収録するためにその子供の間近で収録することを所望することが多い。しかし、会場の混み具合や会場内の座席配置によっては所望の収音位置を占められず、自身が所望した収音位置において他の保護者が既に収録を行っている場合がある。このような場合、上記他の保護者により収録された音響信号を利用して自身の着目音（すなわち、自身の子供の演奏音）をメインにした音響信号を生成できると便利であるが、このようなことを実現する技術は従来なかった。
【０００５】
本発明は上記課題に鑑みて為されたものであり、複数の収音装置で得られた各音響信号から、ユーザ毎に異なる着目音をメインにした音響信号を生成することを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明は、複数の収音装置の各々により収音された各音響信号のうちからメイン音響信号をユーザに指定させ、当該ユーザの着目する着目音が発音されている時間区間を各音響信号のうちの少なくとも１つの音響信号を解析して特定する特定手段と、特定手段により特定された時間区間についてメイン音響信号を他の音響信号よりも強調する信号処理を複数の収音装置の各々により収音された各音響信号に施す信号処理手段と、を有することを特徴とする音響信号処理装置、を提供する。本発明によれば、着目音の信号成分を最も多く含む音響信号をメイン音響信号としてユーザに指定させるようにすれば、当該着目音が発音されている時間区間についてはメイン音響信号を強調することで当該着目音をメインに据えた新たな音響信号が生成される。
【０００７】
メイン音響信号を強調する処理の具体例としては、複数の音響信号をミキシングして出力音響信号を生成するとともに、特定手段により特定された時間区間におけるメイン音響信号のミキシング比率を他の音響信号よりも高くする処理が挙げられる。例えば、特定手段により特定された時間区間についてはメイン音響信号とその他の音響信号のミキシング比率を７：３とし、他の時間区間については当該ミキシング比率を５：５にするといった具合である。また、前者のミキシング比率を１０：０とし、後者のミキシング比率を０：１０とするといった具合に、着目音が発音されているか否かに応じて時間区間毎に出力音響信号として選択する信号を切り替える処理であっても良い。
【０００８】
着目音が発音されている時間区間の特定態様についても種々の態様が考えられる。第１に、所定の閾値と上記少なくとも１つの音響信号の信号レベルとを比較して、着目音が発音されている時間区間（以下、着目音の発音区間）を特定する態様が考えられる。具体的には、メイン音響信号の信号レベルが所定の閾値以上となっている時間区間を着目音の発音区間として特定する態様や、メイン音響信号以外の全ての音響信号の信号レベルが上記閾値以下となっている時間区間を着目音の発音区間として特定する態様が考えられる。第２に、各音響信号の何れかに対応するリファレンスデータの音響特徴と上記少なくとも１つの音響信号の音響特徴とを比較して、着目音の発音区間を特定する態様である。リファレンスデータとは、そのリファレンスデータに対応する音響信号の本来の時間波形或いは本来の音高の時間変化を表すデータのことを言い、音響信号の本来の時間波形或いは本来の音高の時間変化とは、演奏ミスや雑音等の影響が無かったとした場合における当該音響信号に対応するパートの演奏音の時間波形や音高の時間波形のことを言う。着目音が楽曲の演奏音である場合、当該楽曲の模範演奏音の音波形を表すＷＡＶＥデータや当該楽曲の楽譜データを上記リファレンスデータとして用いることが考えられる。
【０００９】
上記音響特徴としてどのようなものを用いるかについては種々の態様が考えられるが、一例を挙げれば音波形そのものを音響特徴とする態様が考えられる。この態様の具体例としては、着目音についてのリファレンスデータの表す時間波形とメイン音響信号の時間波形とを比較することで着目音の発音区間を特定する態様が挙げられる。例えば着目音が楽曲の演奏音であり、当該楽曲の模範演奏音の音波形を表すＷＡＶＥデータを上記リファレンスデータとして用いる場合には、メイン音響信号とリファレンスデータとの相関に基づいて着目音の発音区間を特定する、といった具合である。音波形の比較は時間領域での比較には限定されず、周波数領域での比較であっても良い。なお、リファレンスデータとして楽曲の楽譜データを用いる場合には、リファレンスデータにおける音高の時間変化の態様（例えば、各音符の表す音高およびその音高の持続時間）とメイン音響信号における音高の時間変化の態様（基本周波数の表す音高とその持続時間）とを上記音響特徴として比較を行えば良い。また、ケプストラムなど数値化可能な音響特徴を比較対象としても良く、その場合は音響特徴を表す数値（以下、音響特徴量）の比較により着目音の発音区間を特定すれば良い。例えばメイン音響信号についての音響特徴量が、リファレンスデータについての音響特徴量を中心とする所定範囲内に収まっている時間区間を着目音の発音区間とする、といった具合である。
【００１０】
引用文献１には、各々別個の音源の音を収音する複数の収音装置と、複数の動画撮像装置と、をライブ会場等に配置し、所定の撮像位置と収音位置との相対位置に応じて決定される伝達関数を当該収音位置に配置された収音装置により収音された音響信号に畳み込むことで、上記撮像位置における高品質な音響信号を生成する技術が開示されている。しかし、特許文献１に開示の技術は、ユーザ毎に異なる着目音をメインにした音響信号を生成する技術ではなく、本願発明とは全く異なる技術である。また、本願発明では撮像装置は不要であり、この点においても本願発明は特許文献１に開示に技術とは異なる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態の音響信号処理装置１０を含む音響信号処理システムの構成例を示す図である。
【図２】音響信号処理装置１０とデータ通信する収音装置２０＿ｎが配置される会場ＣＨの俯瞰図である。
【図３】音響信号処理装置１０の構成例を示す図である。
【図４】音響信号処理装置１０の制御部１１０が収音装置２０＿ｎに表示させるメイン音響信号指定画面の一例を示す図である。
【図５】同制御部１１０が信号処理プログラム１３４ａにしたがって実行する信号処理の流れを示すフローチャートである。
【図６】同音響信号処理装置１０の動作を説明するための図である。
【図７】本発明の第２実施形態の音響信号処理装置１０の制御部１１０が信号処理プログラム１３４ａにしたがって実行する信号処理の流れを示すフローチャートである。
【図８】本発明の第３実施形態の音響信号処理装置１０の制御部１１０が信号処理プログラム１３４ａにしたがって実行する信号処理の流れを示すフローチャートである。
【図９】音響信号処理装置１０の変形例（５）を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しつつ、この発明の実施形態を説明する。
（Ａ：第１実施形態）
（Ａ−１：構成）
図１は、本発明の第１実施形態の音響信号処理装置１０を含む音響信号処理システムの構成例を示す図である。図１に示すように、この音響信号処理システムは、音響信号処理装置１０の他に、収音装置２０＿ｎ（ｎ＝１〜３）を含んでいる。収音装置２０＿ｎ（ｎ＝１〜３）の各々は例えばスマートフォンである。収音装置２０＿ｎはマイクロホンを有しており、このマイクロホンを利用した収音機能と、Bluetooth（登録商標）などの所定の規格に準拠した無線通信機能とを有する。音響信号処理装置１０は、収音装置２０＿ｎの各々とデータ通信するコンピュータ装置である。本実施形態では、音響信号処理システムに３台の収音装置が含まれているが、音響信号処理システムに含まれる収音装置の数は２台であっても良く、また、４台以上であっても良い。
【００１３】
本実施形態では、収音装置２０＿ｎ（ｎ＝１〜３）の各々のユーザは、児童演奏会の参加児童の保護者である。以下、収音装置２０＿ｎのユーザを「ユーザＰｎ」と表記する。ユーザＰｎ（ｎ＝１〜３）の各々は、自身の子供（以下、演奏者Ｃｎ）の演奏音をメインに録音するために演奏者Ｃｎの近くに収音位置を占めることを望むのであるが、会場の混み具合等から所望の収音位置を占められない場合がある。図２は、上記児童演奏会の会場ＣＨの俯瞰図であり、図２における観客Ｐ０はユーザＰｎ（ｎ＝１〜３）以外の観客である。図２に示すように、本実施形態では、ユーザＰ２は演奏者Ｃ２の近くに収音位置を確保できた。しかし、ユーザＰ１は演奏者Ｃ１の近くに収音位置を確保することはできず、ユーザＰ３も演奏者Ｃ３の近くに収音位置を確保することはできなかった。このため、ユーザＰ１とユーザＰ３は、自身の子供の演奏音をメインにした音響信号を収録することはできなかった。本実施形態の音響信号処理装置１０は、収音装置２０＿ｎの各々から音響信号（本実施形態では、音の時間波形のサンプリングデータ列）を受け取り、ユーザ毎に異なる着目音をメインにした音響信号を生成して返信する装置であり、自身の子供の演奏音をメインにした音響信号が欲しいといったユーザＰ１或いはユーザＰ３のニーズに応えることができる。なお、音響信号処理装置１０は、上記児童演奏会の会場ＣＨ内に設置されていても良く、また、インターネットカフェやコンビニエンスストア等、会場ＣＨ以外の場所に設置されていても良い。
【００１４】
より詳細に説明すると、本実施形態では、児童演奏会の終了後、ユーザＰｎ（ｎ＝１〜３）の各々は、収音装置２０＿ｎを用いて録音した演奏音の時間波形を表す音響信号ＳＳｎを音響信号処理装置１０へ送信（アップロード）する。ユーザＰｎ（ｎ＝１〜３）の各々は、音響信号処理装置１０にアップロードされた音響信号ＳＳｎのうちから自身の着目音（本実施形態では、演奏者Ｃｎの演奏音）の信号成分を最も多く含むものをメイン音響信号に指定する。具体的には、ユーザＰｎ（ｎ＝１〜３）の各々は、自身の着目音の音源の最も近くで収録された音響信号ＳＳｎをメイン音響信号として指定する。音源の近くで収録された音響信号ほど、当該音源から放射された音の信号成分を多く含んでいるからである。音響信号処理装置１０は、ユーザＰｎ（ｎ＝１〜３）の各々に対して当該ユーザＰｎの着目音をメインにした音響信号ＳＡを生成して収音装置２０＿ｎ宛てに返信（ダウンロード）する。これにより、ユーザＰｎ（ｎ＝１〜３）の各々は、自身の子供の演奏音をメインにした音響信号を取得することができる。
【００１５】
本実施形態において、収音装置２０＿ｎ（ｎ＝１〜３）の各々から音響信号処理装置１０への音響信号のアップロードや、音響信号処理装置１０に対するメイン音響信号の指定は、収音装置２０＿ｎにインストールされているＷＷＷブラウザ等を用いて行われる。換言すれば、収音装置２０＿ｎ（ｎ＝１〜３）の各々については一般的なスマートフォンと特段に変わるところはなく、本実施形態の特徴は音響信号処理装置１０に集約されている。以下、音響信号処理装置１０を中心に説明する。
【００１６】
図３は、音響信号処理装置１０の構成例を示すブロック図である。
図３に示すように音響信号処理装置１０は、制御部１１０、通信インタフェース（以下、「Ｉ／Ｆ」）部１２０、記憶部１３０、およびこれら構成要素間のデータ授受を仲介するバス１４０を含んでいる。
【００１７】
制御部１１０は、例えばＣＰＵ（Central Processing Unit）である。制御部１１０は、記憶部１３０（より正確には不揮発性記憶部１３４）に記憶されている信号処理プログラム１３４ａにしたがって作動することで音響信号処理装置１０の制御中枢として機能する。制御部１１０が信号処理プログラム１３４ａにしたがって実行する処理の詳細については後に明らかにする。
【００１８】
通信Ｉ／Ｆ部１２０は、所定の規格に準拠した無線通信を行う送受信器である。通信Ｉ／Ｆ部１２０は、制御部１１０から引き渡されたデータを無線通信の相手装置（本実施形態では、収音装置２０＿ｎ）へ送信する一方、相手装置から送信されたデータを受信し制御部１１０に与える。本実施形態では、音響信号処理装置１０と収音装置２０＿ｎとの間のデータ通信を無線通信により実現するが、有線通信で実現しても良い。音響信号処理装置１０と収音装置２０＿ｎとの間のデータ通信を有線通信により実現する態様であれば、通信Ｉ／Ｆ部１２０としてＵＳＢ（Universal Serial Bus）Ｉ／ＦやシリアルＩ／Ｆ、ＮＩＣ（Network
Interface Card）等を用いるようにすれば良い。また、音響信号処理装置１０と収音装置２０＿ｎとの間のデータ通信は、両者の間に無線アクセスポイント装置などの他の装置を介する態様であっても良く、インターネットなどの電気通信回線を介する態様であっても良い。
【００１９】
記憶部１３０は、揮発性記憶部１３２と不揮発性記憶部１３４を含んでいる。揮発性記憶部１３２は例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１３２は、信号処理プログラム１３４ａ等の各種プログラムを実行する際のワークエリアとして制御部１１０によって利用される。不揮発性記憶部１３４は例えばフラッシュＲＯＭ（Read Only Memory）である。不揮発性記憶部１３４には、前述した信号処理プログラム１３４ａが予め格納されている。
【００２０】
制御部１１０は、音響信号処理装置１０の電源（図示略）の投入或いはリセットを契機として、信号処理プログラム１３４ａを不揮発性記憶部１３４から揮発性記憶部１３２に読み出し、その実行を開始する。信号処理プログラム１３４ａにしたがって作動している制御部１１０には、音響信号受付機能、特定機能および信号処理機能の３つの機能が付与される。
【００２１】
ユーザＰｎ（ｎ＝１〜３）の各々は、児童演奏会の終了後、収音装置２０＿ｎにより収録した音を表す音響信号ＳＳｎと当該ユーザＰｎを示すアップロード元識別子（例えばユーザＰｎのハンドルネームを示す文字列）と演奏会を示す演奏会識別子（例えば演奏会の名称等を表す文字列）とを音響信号処理装置１０へアップロードする。アップロード元識別子についてはユーザＰｎ（ｎ＝１〜３）の各々が予め定めておけば良く、そのアップロード元識別子をユーザＰｍ（ｍ≠ｎ）に知らせておけば良い。演奏会識別子についても、事前にユーザＰｎ（ｎ＝１〜３）の間で定めておけば良い。音響信号受付機能は、収音装置２０＿ｎからアップロードされた音響信号ＳＳｎ、アップロード元識別子および演奏会識別子を互いに対応付けて不揮発性記憶部１３４に書き込む機能である。この音響信号受付機能については一般的なＦＴＰ（File Transfer
Protocol）サーバ等におけるものと特段に変わるところはない。
【００２２】
ユーザＰｎ（ｎ＝１〜３）の各々が上記の要領で音響信号処理装置１０への音響信号ＳＳｎのアップロードを完了すると、ユーザＰｎは音響信号処理装置１０に対して演奏会識別子を指定したアクセスを行うことで、自身のアップロードした音響信号ＳＳｎと他のユーザのアップロードした音響信号ＳＳｍ（ｍ≠ｎ）とを参照することができ、それら音響信号のうちからメイン音響信号を指定することができる。特定機能は、ユーザＰｎ（ｎ＝１〜３）の各々にメイン音響信号を指定させ、当該ユーザＰｎの着目音が発音されている時間区間をメイン音響信号を解析して特定する機能である。そして、信号処理機能は、上記特定機能により特定された時間区間においてメイン音響信号を他の信号よりも強調する信号処理を音響信号ＳＳｎ（ｎ＝１〜３）に施して出力音響信号ＳＡを生成する機能である。
【００２３】
より詳細に説明すると、制御部１１０は、演奏会識別子を指定したアクセスが為されると、その演奏会識別子に対応付けて不揮発性記憶部１３４に格納されているアップロード元識別子と音響信号とを読み出し、図４に示すメイン音響信号指定画面をＷＷＷブラウザに表示させるためのデータ（例えば、ＨＴＭＬ（HyperText Markup Language）データ）を生成して上記アクセス元の収音装置２０＿ｎへ返信する。上記データを受信した収音装置２０＿ｎはＷＷＷブラウザにより当該データを解釈し、図４に示すメイン音響信号指定画面を表示部に表示させる。
【００２４】
図４に示すように、メイン音響信号指定画面には、音響信号ＳＳｎ（ｎ＝１〜３）の各々の時間波形を表すグラフＧｎ（ｎ＝１〜３）と、当該音響信号ＳＳｎ（ｎ＝１〜３）の各々のアップロード元を示すアップロード元識別子（本実施形態では、ユーザＰｎ（ｎ＝１〜３）の各々のハンドルネームを表す文字列ＸＸＰｎ（ｎ＝１〜３））と、メイン音響信号を指定するためのチェックボックスＣＢとが並べて表示される。この画面を視認したユーザＰｎ（ｎ＝１〜３）の各々は、グラフＧｎ（ｎ＝１〜３）の各々に対応づけられているハンドルネームを通じて誰が収録した音であるかやその収録位置を把握することができる。なお、ユーザＰｎ（ｎ＝１〜３）の各々が各音響信号の表す音の聴感を確認できるように、グラフＧｎをクリックする等の操作に応じて音響信号ＳＳｎを音として再生するようにしても良い。
【００２５】
ユーザＰｎは、何れかのチェックボックスＣＢにチェックを入れる操作を行うことでメイン音響信号を指定することができ、その指定内容は収音装置２０＿ｎから音響信号処理装置１０へ伝達される。本実施形態では、ユーザＰｎは、自身の着目音の音源の最寄りの位置で収録された音響信号をメイン音響信号として指定する。例えば、ユーザＰ１であれば、音響信号ＳＳ３（すなわち、ハンドルネームＸＸＰ３に対応する音響信号）に対応するチェックボックスＣＢにチェックを入れ、当該音響信号をメイン信号として指定する。上記の要領でメイン音響信号が指定されると、制御部１１０は、まず、メイン音響信号を所定時間長のフレームに区分し、それらフレームの各々について、当該メイン音響信号と同一の演奏会識別子に対応付けられた他の音響信号（以下、サブ音響信号）における対応フレームを特定する。つまり、制御部１１０は、メイン音響信号とサブ音響信号の時間軸の同期化を行う。この同期化については既存の技術を適宜用いるようにすれば良い。
【００２６】
同期化が完了すると、制御部１１０は、メイン音響信号のフレーム毎に図５に示す信号処理を実行しユーザＰｎの着目音が発音されている時間区間（すなわち、着目音の発音区間）を特定するとともに、その時間区間においてメイン音響信号を他の信号よりも強調する信号処理を音響信号ＳＳｎ（ｎ＝１〜３）に施して出力音響信号ＳＡを生成し、メイン音響信号の指定元である収音装置２０＿ｎへ返信する。
【００２７】
以上が音響信号処理装置１０の構成である。以上説明したように制御部１１０は信号処理プログラム１３４ａにしたがって作動することにより、上記特定機能を担う特定手段（図１参照）、および上記信号処理機能を担う信号処理手段（図１参照）として機能する。
【００２８】
（Ａ−２：動作）
次いで、ユーザＰ１が音響信号ＳＳ３（すなわち、ユーザＰ３により収録された音響信号）をメイン音響信号として指定した場合を例にとって、制御部１１０がメイン音響信号のフレーム毎に実行する信号処理（図５参照）を説明する。なお、以下では、処理対象のフレームのことを「処理対象フレーム」と呼ぶ。また、以下では、音響信号ＳＳ１を「サブ音響信号１」と呼び、音響信号ＳＳ２を「サブ音響信号２」と呼ぶ。
【００２９】
制御部１１０は、処理対象フレームにおいて着目音が発音されているか否かを判定する（ステップＳＡ１００）。より詳細に説明すると、制御部１１０は、処理対象フレームの信号レベルの平均値を算出し、当該平均値が所定の閾値ｔｈ１以上であれば、着目音が発音されていると判定する。ステップＳＡ１００の判定結果が“Ｙｅｓ”である場合、制御部１１０は、処理対象フレームを揮発性記憶部１３２内の所定領域（以下、出力領域）へ追記する（ステップＳＡ１１０）。なお、処理対象フレームがメイン音響信号の先頭フレームである場合には、制御部１１０は、当該処理対象フレームを出力領域の先頭に書き込む。これに対して、ステップＳＡ１００の判定結果が“Ｎｏ”である場合には、制御部１１０は当該処理対象フレームに対応するサブ音響信号のフレームを出力領域へ追記する（ステップＳＡ１２０）。ステップＳＡ１２０において、サブ音響信号１とサブ音響信号２の何れを出力領域へ書き込むのかについては種々の態様が考えられる。サブ音響信号１とサブ音響信号２のうちの予め定められた方を書き込むなど、サブ音響信号１とサブ音響信号２の何れか一方を書き込む態様であっても良く、サブ音響信号１とサブ音響信号２を合成平均化した音響信号を書き込む等、サブ音響信号１とサブ音響信号２から生成される音響信号を書き込む態様であっても良い。
【００３０】
例えば、メイン音響信号（音響信号ＳＳ３）の信号レベルが図６（Ａ）に示すように時間変化していたとする。図６（Ａ）における時刻ｔ０〜ｔ１および時刻ｔ２〜ｔ３の各時間区間は、演奏者Ｃ１のソロパートである。時刻ｔ０〜ｔ１および時刻ｔ２〜ｔ３の各時間区間に属するフレームについてはメイン音響信号の信号レベルが閾値ｔｈ１以上であるため、ステップＳＡ１００の判定結果は“Ｙｅｓ”となる。その結果、図６（Ｂ）に示すように、出力領域にはメイン音響信号が書き込まれる。これに対して、時刻ｔ１〜ｔ２の時間区間に属するフレームについては、メイン音響信号の信号レベルが閾値ｔｈ１未満であるため、ステップＳＡ１００の判定結果は“Ｎｏ”となり、出力領域にはサブ音響信号が書き込まれる。その結果、出力領域の格納内容は図６（Ｂ）のようになり、この出力領域に格納された音響信号が上記メイン音響信号の指定元である収音装置２０＿１に返信される。
【００３１】
音響信号処理装置１０から収音装置２０＿１へ返信された音響信号ＳＡを音として再生すると、演奏者Ｃ１のソロパートなど演奏者Ｃ１が演奏を行っていた時間区間においては、演奏者Ｃ１の演奏音がメインとなっており、Ｓ／Ｎ比も充分に高い。当該時間区間における音響信号ＳＡは音響信号ＳＳ３に等しく、音響信号ＳＳ３を収録した収音装置２０＿３は演奏者Ｃ１の近くに配置されていたからである。これに対して演奏者Ｃ１が演奏を行っていない時間区間の信号はサブ音響信号に等しく、サブ音響信号には演奏者Ｃ１の演奏音以外の音が多く含まれる。このため、演奏者Ｃ１が演奏を行っている時間区間とのメリハリが際立つ。同様に、ユーザＰ３は、音響信号ＳＳ１をメイン音響信号として指定することで、演奏者Ｃ３が演奏を行っていた時間区間において当該演奏者Ｃ３の演奏音がメインとなっている音響信号ＳＡを取得することができ、ユーザＰ２は、収音装置２０＿２により収音された音響信号ＳＳ２をメイン音響信号として指定することで、演奏者Ｃ２が演奏を行っていた時間区間において当該演奏者Ｃ２の演奏音がメインとなっている音響信号ＳＡを取得することができる。
【００３２】
このように、本実施形態によれば、収音装置２０＿ｎ（ｎ＝１〜３）の各々により得られた音響信号ＳＳｎ（ｎ＝１〜３）から、ユーザ毎に異なる着目音をメインにした音響信号ＳＡを生成することが可能になる。なお、本実施形態では、収音装置２０＿ｎを客席側に配置したが、演奏者側に設置しても良い。演奏者の直近の収音装置２０＿ｎを設置することにより、客席側に設置する場合よりもＳ／Ｎ比の高い音響信号ＳＡを生成することができるからである。また、本実施形態では、メイン音響信号の信号レベルと閾値ｔｈ１との大小比較により、着目音が発音されているか否かを判定したが、サブ音響信号の信号レベルと閾値ｔｈ１との大小比較により、着目音の発音の有無を判定しても良い。具体的には、全てのサブ音響信号の信号レベルが閾値ｔｈ１を下回っていれば着目音が発音されていると判定する、といった具合である。要は、着目音が発音されている時間区間を収音装置２０＿ｎ（ｎ＝１〜３）の各々により得られた音響信号ＳＳｎ（ｎ＝１〜３）の少なくとも１つを解析して特定する態様であれば良い。メイン音響信号の信号レベルが閾値ｔｈ１以上である場合に着目音が発音されていると判定する態様では、着目音が鳴っていない場合であっても、メイン音響信号の収録位置の周囲で雑音が発生すると（例えば、当該収録位置近傍の観客がくしゃみをした場合など）、メイン音響信号が強調され、上記雑音が顕著になってしまうが、全てのサブ音響信号の信号レベルが閾値ｔｈ１を下回っている場合に着目音が発音されていると判定する態様であれば、当該雑音の影響を抑制できる。
【００３３】
（Ｂ：第２実施形態）
上記第１実施形態では、メイン音響信号の信号レベルと閾値ｔｈ１との大小関係に応じてメイン音響信号とサブ音響信号の一方を出力領域に書き込んだ。これに対して本実施形態では、フレーム毎にメイン音響信号かサブ音響信号かの何れか一方を出力するのではなく、メイン音響信号の信号レベルと閾値ｔｈ１との大小関係に応じたミキシング比率でメイン音響信号とサブ音響信号とをミキシングして出力する点が上記第１実施形態と異なる。図７は、本実施形態の音響信号処理装置１０の制御部１１０が信号処理プログラム１３４ａにしたがって実行する信号処理の流れを示すフローチャートである。図７では図５におけるものと同じ処理には同じ符号が付されている。図７と図５とを対比すれば明らかなように本実施形態における信号処理はステップＳＡ１１０の処理に代えてステップＳＢ１１０の処理を、ステップＳＡ１２０に代えてステップＳＢ１２０の処理を有する点と、ステップＳＢ１３０の処理を有する点が第１実施形態の信号処理と異なる。
【００３４】
ステップＳＢ１１０の処理は、前述のステップＳＡ１１０の処理と同様に、メイン音響信号の信号レベルが閾値ｔｈ１以上である場合に実行される処理であり、ステップＳＢ１２０の処理は、前述のステップＳＡ１２０の処理と同様に、メイン音響信号の信号レベルが閾値ｔｈ１未満である場合に実行される処理である。ステップＳＢ１１０では、制御部１１０は、メイン音響信号レベルを上昇させる一方、サブ音響信号レベルを低下させる。これに対して、ステップＳＢ１２０では、制御部１１０は、メイン音響信号レベルを低下させる一方、サブ音響信号レベルを上昇させる。ここで、音量感を一定に保つ為に、ラウドネスを基準にしたミキシングを行っても良く、予め演奏音と周囲環境音の比率を決めておき、その比率に準じたラウドネスになるようにそれぞれを調整するようにしても良い。例えば、演奏者Ｃ１のソロパートでは、メイン音響信号とサブ音響信号の比率を７：３にし、それ以外は５：５にするといった具合である。なお、ステップＳＢ１１０にてメイン音響信号とサブ音響信号の信号レベル比を１０：０に設定し、ステップＳＢ１２０にてメイン音響信号とサブ音響信号の信号レベル比を０：１０に設定すれば、第１実施形態と同一の結果が得られる。
【００３５】
ステップＳＢ１３０は、ステップＳＢ１１０或いはステップＳＢ１２０に後続して実行される処理である。ステップＳＢ１３０では制御部１１０は、メイン音響信号とサブ音響信号をミキシングして出力領域に書き込む。本実施形態によっても、音響信号ＳＳｎ（ｎ＝１〜３）から、ユーザ毎に異なる着目音をメインにした音響信号ＳＡを生成することが可能になる。
【００３６】
（Ｃ：第３実施形態）
上記第１および第２実施形態ではメイン音響信号の信号レベルが閾値ｔｈ１以上であるか否かを判定することで、ユーザＰｎの着目音が発音されているか否かを判定した。これに対して本実施形態では、上記着目音の音源となる演奏者が演奏する楽曲（或いは当該演奏者の担当パート）の楽譜に対応するリファレンスデータ、すなわち着目音に対応するリファレンスデータを用いて上記判定を行う点が異なる。
【００３７】
リファレンスデータとしてどのようなデータを用いるのかについては種々の態様が考えられる。具体的には、演奏者が演奏する楽曲（或いはパート）を構成する各音符のノートオンタイミングと音高およびノートオフタイミング（或いは、音の持続時間）を示すＭＩＤＩ（Musical Instrument Digital Interface）データや、当該楽曲（或いはパート）の模範演奏音の時間波形を表すＷＡＶＥデータをリファレンスデータとして用いることが考えられる。本実施形態では、メイン音響信号との直接比較が容易である点を考慮し、上記ＷＡＶＥデータが採用されている。リファレンスデータについては、音響信号ＳＳｎを音響信号処理装置１０にアップロードする際に当該音響信号ＳＳｎとともにユーザＰｎにアップロードさせても良く、メイン音響信号の指定の際にアップロードさせても良い。
【００３８】
図８は、本実施形態の音響信号処理装置１０の制御部１１０が信号処理プログラム１３４ａにしたがって実行する信号処理の流れを示すフローチャートである。図８に示す信号処理も、前掲図５の信号処理と同様にメイン音響信号のフレーム毎に実行される処理である。図８では、図５におけるものと同じ処理には同じ符号が付されている。図８と図５とを対比すれば明らかように本実施形態における信号処理はステップＳＡ１００の処理に代えてステップＳＣ０１０およびＳＣ１００の処理を有する点が第１実施形態の信号処理と異なる。
【００３９】
ステップＳＣ０１０では、制御部１１０は、メイン音響信号の処理対象フレームとリファレンスデータにおいて当該処理対象フレームに対応するフレームの相関を表す相関値を算出する。なお、処理対象フレームをより短い時間に対応するサブフレームに分割してサブフレーム毎に相関値を算出し、それらサブフレームについて算出された相関値の平均値を上記処理対象フレームについての相関値としても良い。リファレンスデータにおいて処理対象フレームに対応するフレームの特定、すなわち、メイン音響信号とリファレンスデータの同期についても既存の同期技術を適宜用いるようにすれば良い。ステップＳＣ１００では、制御部１１０は、ステップＳＣ０１０にて算出した相関値が閾値ｔｈ２以上であるか否かを判定する。制御部１１０は、ステップＳＣ１００の判定結果が“Ｙｅｓ”であれば、ステップＳＡ１１０の処理を実行し、逆に、ステップＳＣ１００の判定結果が“Ｎｏ”であれば、ステップＳＡ１２０の処理を実行する。
【００４０】
一般に、演奏者Ｃｎが演奏を行っている時間区間（すなわち、ユーザＰｎの着目音が発音されている時間区間）においては、メイン音響信号とリファレンスデータの相関が高くなる。前述したように、メイン音響信号には着目音の信号成分が多く含まれているからである。このため、本実施形態によっても、第１および第２実施形態と同様の効果が奏される。これに加えて本実施形態によれば、演奏者Ｃｎが本来演奏すべきではないタイミングで演奏行うなどの演奏ミスを犯したとしても、その演奏ミスを目立たないようにできるといった効果も奏される。演奏ミスの発生したフレームについては、リファレンスデータとの相関が低くなり、ステップＳＣ１００の判定結果は“Ｎｏ”となって、当該フレームについてはサブ音響信号が採用されるからである。つまり、本実施形態によれば、ユーザＰｎが着目する演奏者の演奏音を、演奏ミスが目立たないように編集しつつ、収音装置２０＿ｎ（ｎ＝１〜３）の各々により得られた音響信号から、当該ユーザＰｎの着目音をメインにした音響信号を生成することが可能になる。
【００４１】
本実施形態では、メイン音響信号と着目音に対応するリファレンスデータとの相関に基づいて、出力領域にメイン音響信号を書き込むのか、それともサブ音響信号を書き込むのかを決定したが、サブ音響信号と上記リファレンスデータとの相関を併用するようにしても良い。具体的には、ステップＳＣ０１０では、メイン音響信号とリファレンスデータとの相関を表す相関値（第１の相関値）の算出に加えてサブ音響信号とリファレンスデータとの相関を表す第２の相関値を算出する処理を制御部１１０にて実行させ、ステップＳＣ１００では、第１の相関値が閾値ｔｈ２以上であり、かつ、第２の相関値が閾値ｔｈ２未満であるか否かを判定する処理を制御部１１０に実行させるようにすれば良い。また、着目音以外の音に対応するリファレンスデータと各音響信号との相関に基づいて着目音の発音区間を特定する態様も考えられる。例えば、当該リファレンスデータとメイン音響信号との相関を表す第１の相関値が閾値ｔｈ２未満であり、かつ当該リファレンスデータとサブ音響信号との相関を表す第２の相関値が閾値ｔｈ２以上の時間区間については着目音以外の音が鳴っていると考えられる。そこで、当該リファレンスデータとメイン音響信号との相関を表す第１の相関値が閾値ｔｈ２以上である時間区間、または当該リファレンスデータとサブ音響信号との相関を表す第２の相関値が閾値ｔｈ２未満である時間区間については着目音が鳴っていると判定するのである。要は、収音装置２０＿ｎ（ｎ＝１〜３）の各々により得られた各音響信号の何れかに対応するリファレンスデータとそれら音響信号のうちの少なくとも１つとを比較して、着目音の発音区間を特定する態様であれば良い。また、第２実施形態の信号処理におけるステップＳＢ１００を、ステップＳＣ０１０およびステップＳＣ１００に置き換えても良い。
【００４２】
（Ｄ：変形）
以上本発明の第１〜第３実施形態について説明したが、これら実施形態に以下の変形を加えても良い。
（１）上記第１〜第３実施形態にパン情報を加えても良い。例えば第２実施形態において、収音装置２０＿ｎとしてステレオマイクを採用すると共に、収音時の位置情報を地磁気センサやＧＰＳ（Global Positioning
System）を利用して取得し、音響信号とともに当該位置情報を音響信号処理装置１０に記憶させる。音響信号処理装置１０においてメイン音響信号および各サブ音響信号をミキシングする際に、各々の位置情報に応じた重み付けをすることでパンを作り出すようにすれば良い。
【００４３】
（２）上記各実施形態では、ユーザＰｎの着目音が発音されている時間区間をメイン音響信号を解析して判定したが、上記各実施形態における音響信号は音の時間波形を表す信号であり、このような信号に基づく判定では合奏時や雑音等により判定が困難になる場合がある。そこで、メイン音響信号にフーリエ変換を施して周波数領域の信号に変換し、楽器音に対応する周波数帯域に属する周波数成分の信号レベルから着目音の有無を判定したり、スペクトル減算などの雑音抑圧処理をした後に着目音の有無を判定しても良い。また、第３実施形態においてＭＩＤＩデータをリファレンスデータとして用いる場合には、ノートオン・オフ情報のみから着目音の有無を判定しても良く、演奏開始からbeatトラッキング技術によって演奏区間を特定し、着目音の有無を判定しても良い。
【００４４】
（３）複数の収音装置２０＿ｎの各々から送信された音響信号に基づいて、音源毎にＳ／Ｎ比を最大化するビームフォーマを作ることでＳ／Ｎ比を向上させても良い。
【００４５】
（４）上記各実施形態では、着目音の音源の数と収音装置２０＿ｎの数とが一致していたが、前者の数と後者の数が異なっていても良い。要は、着目音の音源の最寄りに配置された収音装置２０＿ｎの出力信号をメイン音響信号としてユーザに指定させる態様であれば良い。また、各音源の位置および収音装置の位置を地磁気センサやＧＰＳ等により特定できる場合には、ユーザに着目音の音源を指定させ、当該音源の最寄りの収音装置をＧＰＳ等により特定し、このようにして特定された収音装置により得られた音響信号をメイン音響信号とする態様であっても良い。
【００４６】
（５）上記各実施形態では、メイン音響信号を一つだけ指定させたが、複数のメイン信号を指定できるようにしても良い。例えば、演奏期間全体に亘って複数のメイン音響信号が指定された場合にはそれらメイン音響信号の合成平均を新たなメイン音響信号として上記各実施形態の処理を実行すれば良い。また、楽曲の演奏期間を複数の時間区間（各々フレーム長の整数倍の時間区間）に区分けし、時間区間毎にメイン音響信号を指定させても良い。具体的には、図４に示すメイン音響信号指定画面に代えて図９に示すメイン音響信号指定画面を用いるようにすれば良い。図９に示すメイン音響信号指定画面には、時間区間（図９に示す例では３つの時間区間）毎にメイン音響信号を指定するためのチェックボックスＣＢが設けられている。このような態様によれば、楽曲の演奏期間全体に亘って各演奏者が移動しながら演奏を行うなど音源が移動している場合であっても、各時間区間において音源の最寄りの位置で収録された音響信号ＳＳｎをメイン音響信号として指定することで、各時間区間においてユーザの着目音がメインとなる音響信号ＳＡを生成することが可能になる。また、上記各実施形態では、音響信号ＳＡの生成と当該音響信号ＳＡの再生とがシーケンシャルに実行されたが、両者を並列に実行（すなわち、音響信号ＳＡをリアルタイム再生）することも可能である。この場合、音響信号ＳＡの再生中にメイン音響信号の切り換えを受け付けるようにしても良い。
【００４７】
（６）上記各実施形態では、本発明の特徴を顕著に示す信号処理を制御部１１０に実行させる信号処理プログラム１３４ａが音響信号処理装置１０の不揮発性記憶部１３４に予め記憶されていた。しかし、信号処理プログラム１３４ａをＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。一般的なコンピュータを、このようにして配布されるプログラムにしたがって作動させることで当該コンピュータを本発明の音響信号処理装置として機能させることが可能になる。また、上記各実施形態では、音響信号処理装置１０を収音装置２０＿ｎ（ｎ＝１〜３）とは別個の装置としたが、上記各実施形態のように収音装置２０＿ｎとしてスマートフォンを用いる場合には、収音装置２０＿ｎ（ｎ＝１〜３）のうちの何れか一つに信号処理プログラム１３４ａを予めインストールして音響信号処理装置１０の役割を兼ねさせても良い。また、上記各実施形態では、音響信号処理装置１０と通信する収音装置２０＿ｎに対する操作によりメイン音響信号をユーザＰｎに指定させたが、音響信号処理装置１０にキーボードやマウスなどの操作部と液晶ディスプレイなどの表示部とを設け、当該表示部にメイン音響信号指定画面（図４参照）を表示させるとともに、当該操作部に対する操作によりメイン音響信号を指定させるようにしても良い。
【００４８】
（７）上記各実施形態では、複数の音響信号のうちからユーザの着目する着目音の信号成分を最も多く含むメイン音響信号をユーザに指定させ、着目音が発音されている時間区間をメイン音響信号を解析して特定する特定手段と、特定手段により特定された時間区間においてメイン音響信号を他の音響信号よりも強調する信号処理を上記複数の音響信号に施して出力音響信号を生成する信号処理手段と、がソフトウェアにより実現されていた。しかし、上記特定手段および信号処理手段の各々を電子回路等のハードウェアにより実現し、これら特定手段および信号処理手段とを組み合わせて音響信号処理装置１０を構成しても良い。
【符号の説明】
【００４９】
１０…音響信号処理装置、１１０…制御部、１２０…通信Ｉ／Ｆ部、１３０…記憶部、１３２…揮発性記憶部、１３４…不揮発性記憶部、１３４ａ…信号処理プログラム、１４０…バス、２０＿ｎ（ｎ＝１〜３）…収音装置。
【図１】
0006705138.tif 000002
【図２】
0006705138.tif 000003
【図３】
0006705138.tif 000004
【図４】
0006705138.tif 000005
【図５】
0006705138.tif 000006
【図６】
0006705138.tif 000007
【図７】
0006705138.tif 000008
【図８】
0006705138.tif 000009
【図９】
0006705138.tif 000010