(57)【要約】【課題】複数のマイクによる収音に基づく複数の音響信号から再生に用いられる音響信号を選択する場合に、音質の観点で適切な音響信号を選択するための技術を提供する。【解決手段】音響信号を処理する信号処理装置であって、音源の位置の情報、および、複数の収音手段の位置および指向方向の情報を取得する取得手段と、前記複数の収音手段による収音に基づく複数の音響信号のうち、前記音源の位置に対する各収音手段の前記指向方向のずれに基づいて、再生に用いられる音響信号を選択する処理手段とを備える。【選択図】  図２
2020088653.tif 000002
【特許請求の範囲】
【請求項１】
音響信号を処理する信号処理装置であって、
音源の位置の情報、および、複数の収音手段の位置および指向方向の情報を取得する取得手段と、
前記複数の収音手段による収音に基づく複数の音響信号のうち、前記音源の位置に対する各収音手段の前記指向方向のずれに基づいて、再生に用いられる音響信号を選択する処理手段と、
を備えることを特徴とする信号処理装置。
【請求項２】
前記処理手段は、前記音源の位置に対する各収音手段の前記指向方向のずれがより小さい音響信号を選択することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記取得手段は、前記複数の収音手段のそれぞれの指向特性の情報をさらに取得し、
前記処理手段は、前記音源の位置に対する各収音手段の前記指向方向のずれ角度に対応する、各収音手段のずれ角度ごとの周波数特性に基づいて音響信号を選択することを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記処理手段は、前記音源の位置ごとの音響信号の選択情報が予め規定されたルックアップテーブルに基づいて音響信号を選択することを特徴とする請求項１に記載の信号処理装置。
【請求項５】
前記処理手段は、前記音源の位置に対する各収音手段の前記指向方向のずれと、前記音源が発する目的音が含まれる時間区間の音響信号の周波数特性とに基づいて、音響信号を選択することを特徴とする請求項１に記載の信号処理装置。
【請求項６】
音響信号を処理する信号処理装置であって、
目的音が含まれる時間区間の音響信号の周波数特性に基づいて、複数の収音手段で収音された複数の音響信号の中から音響信号を選択する処理手段を備えることを特徴とする信号処理装置。
【請求項７】
前記処理手段は、所定周波数以上の前記周波数特性の減衰量がより小さい音響信号を選択することを特徴とする請求項６に記載の信号処理装置。
【請求項８】
前記処理手段は、前記周波数特性の近似特性の傾きがより緩やかな音響信号を選択することを特徴とする請求項６又は７に記載の信号処理装置。
【請求項９】
前記処理手段は、前記周波数特性の帯域がより広い音響信号を選択することを特徴とする請求項６又は７に記載の信号処理装置。
【請求項１０】
前記処理手段は、所定周波数以上の前記周波数特性のレベルがより大きい音響信号を選択することを特徴とする請求項６又は７に記載の信号処理装置。
【請求項１１】
前記処理手段は、前記周波数特性と、各音響信号における前記目的音の信号対雑音比とに基づいて、音響信号を選択することを特徴とする請求項６乃至１０の何れか１項に記載の信号処理装置。
【請求項１２】
前記処理手段は、所定周波数以上の前記周波数特性の減衰量がより小さい音響信号であって、前記信号対雑音比がより大きい音響信号を選択することを特徴とする請求項１１に記載の信号処理装置。
【請求項１３】
所定周波数以上の前記周波数特性の減衰量に対する、前記信号対雑音比の重みを調整する操作を受け付ける操作受付手段をさらに備えることを特徴とする請求項１１又は１２に記載の信号処理装置。
【請求項１４】
前記処理手段は、前記目的音が含まれる時間フレームの音響信号と、前記目的音が含まれる時間フレームを除いた時間フレームの音響信号とに基づいて、前記信号対雑音比を算出することを特徴とする請求項１１乃至１３の何れか１項に記載の信号処理装置。
【請求項１５】
前記音響信号の選択に関する内容を表示部に表示させる表示処理手段をさらに備えることを特徴とする請求項１乃至１４の何れか１項に記載の信号処理装置。
【請求項１６】
前記処理手段は、前記音源が発する目的音以外の雑音を抑制する処理をさらに行うことを特徴とする請求項１乃至１５の何れか１項に記載の信号処理装置。
【請求項１７】
音響信号を処理する信号処理装置の制御方法であって、
音源の位置の情報、および、複数の収音手段の位置および指向方向の情報を取得する取得工程と、
前記複数の収音手段による収音に基づく複数の音響信号のうち、前記音源の位置に対する各収音手段の前記指向方向のずれに基づいて、再生に用いられる音響信号を選択する処理工程と、
を有することを特徴とする信号処理装置の制御方法。
【請求項１８】
音響信号を処理する信号処理装置の制御方法であって、
目的音が含まれる時間区間の音響信号の周波数特性に基づいて、複数の収音手段で収音された複数の音響信号の中から音響信号を選択する処理工程を有することを特徴とする信号処理装置の制御方法。
【請求項１９】
コンピュータを、請求項１乃至１６の何れか１項に記載の信号処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、信号処理装置の制御方法およびプログラムに関し、特に、複数の音響信号から使用する音響信号を選択する技術に関する。
【背景技術】
【０００２】
スタジアムのフィールドのような収音対象エリアにおいて、サッカーのキック音といった収音対象エリア内で発生する目的音を収音する場合、収音対象エリアの周囲に収音対象エリア内に向けて並べた複数の指向性マイクで収音するのが一般的である。
【０００３】
特許文献１は、各話者の前にそれぞれマイクが配置された会議システム等において、最も発声のタイミングが早い（同程度であれば最も声の大きい）話者のマイク音声を選択することを開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−３３６７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、複数のマイクによる収音に基づく複数の音響信号から再生に用いられる音響信号を選択する場合に、音質の観点から適切な音声が選択されないことがあるという課題がある。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、複数のマイクによる収音に基づく複数の音響信号から再生に用いられる音響信号を選択する場合に、音質の観点で適切な音響信号を選択するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明に係る信号処理装置は、
音響信号を処理する信号処理装置であって、
音源の位置の情報、および、複数の収音手段の位置および指向方向の情報を取得する取得手段と、
前記複数の収音手段による収音に基づく複数の音響信号のうち、前記音源の位置に対する各収音手段の前記指向方向のずれに基づいて、再生に用いられる音響信号を選択する処理手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数のマイクによる収音に基づく複数の音響信号から再生に用いられる音響信号を選択する場合に、音質の観点で適切な音響信号を選択することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１に係る信号処理システムの構成例を示すブロック図。
【図２】実施形態１に係る処理の手順を示すフローチャート。
【図３】実施形態１に係る音響信号選択の説明図。
【図４】実施形態１に係る周波数特性の説明図。
【図５】実施形態２に係る信号処理システムの構成例を示すブロック図。
【図６】実施形態２に係る処理の手順を示すフローチャート。
【図７】実施形態２に係る音響信号選択の説明図。
【図８】実施形態２に係る指向特性の説明図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１１】
（実施形態１）
＜構成＞
図１は、本発明の実施形態１に係る信号処理システム１００のブロック図である。信号処理システム１００は、信号処理装置１０と、収音対象エリアの周囲に配置されたＭ個の収音部１１０−１〜１１０−Ｍとを備える。Ｍは収音部の数である。
【００１２】
収音部１１０−１〜１１０−Ｍは、指向性マイクやマイクアレイで構成され、収音に係るＩ／Ｆを備え、収音している音響信号１２０−１〜１２０−Ａ（不図示）を記憶部１０１に遂次記録する。Ａは音響信号の数（チャネル数）である。ここで、収音部がマイクアレイで構成され、複数の指向性を同時に形成することで複数の指向方向の音響信号を同時に収音する場合、１つの収音部に２つ以上の音響信号が対応するため、音響信号の数Ａ≧収音部の数Ｍとなる。
【００１３】
信号処理装置１０は、記憶部１０１、信号処理部１０２、表示部１０３、表示処理部１０４、操作受付部１０５、及び再生部１０６を備える。信号処理装置１０の動作は、不図示のＣＰＵ等の制御部が記憶部１０１に格納されたプログラムを読み出して実行することにより制御される。
【００１４】
記憶部１０１は、音響信号１２０−１〜１２０−Ａを記憶するとともに、各種のデータやプログラムを記憶する。
【００１５】
信号処理部１０２は、音響信号に係る処理を行う。表示部１０３は、典型的にはディスプレイであり、本実施形態ではタッチパネルで構成されるものとする。表示処理部１０４は、音響信号の選択に係る表示内容を生成し、表示部１０３に表示する。操作受付部１０５は、タッチパネルで構成される表示部１０３へのユーザ操作入力を検出して受け付ける。再生部１０６は、ヘッドホンやスピーカで構成され、再生に係るＩ／Ｆ（ＤＡ変換や増幅を行う）を備え、生成された再生信号を再生する。なお、本実施形態では信号処理装置１０が表示部１０３を含む例を説明したが、表示部１０３は信号処理装置１０の外部に存在していてもよい。その場合、表示処理部１０４の処理内容が外部の表示部１０３へ出力されて表示される。
【００１６】
＜処理＞
以下、図２のフローチャートを参照しながら、実施形態１に係る信号処理装置が実施する処理の手順を説明する。
【００１７】
Ｓ２０１では、信号処理部１０２は、所定の時間長を有する時間フレームごとの音響信号の選択情報を、例えば負値である−１に初期化する。
【００１８】
Ｓ２０２以降の処理は、時間フレームごとの処理のため、時間フレームループの中で行う。
【００１９】
Ｓ２０２では、信号処理部１０２は、現時間フレームの選択情報Ｓを参照し、選択情報が既に設定済み（Ｓ≠−１）であるか否かを判定する。選択情報が既に設定済みである場合はＳ２０８へ進む。一方、選択情報が未設定（Ｓ＝−１）である場合はＳ２０３へ進む。
【００２０】
Ｓ２０３の処理は、音響信号ごとの処理のため、音響信号ループの中で行う。
【００２１】
Ｓ２０３では、信号処理部１０２は、現音響信号ループが対象とする音響信号（１２０−１〜１２０−Ａの何れか）について、現時間フレーム分の音響信号に対する目的音検出処理を行い、目的音が検出されたか否かを判定する。本実施形態における目的音は、所定の音源（選手、ボール、及びゴールなど）が発する音である。目的音が検出された場合はＳ２０５へ進む。一方、現時間フレームの全ての音響信号で目的音が検出されずに音響信号ループを抜けた場合は、Ｓ２０４へ進む。
【００２２】
ここで、目的音検出については、信号レベルが閾値を超えたら目的音と判定したり、波形ピークから突発性の目的音を判定したりする、といった公知の処理を用いればよい。なお、現在の時間フレームだけでなく、過去の時間フレームの音響信号も用いて目的音を検出してもよい。
【００２３】
Ｓ２０４では、信号処理部１０２は、現時間フレームにおける音響信号の選択情報Ｓ＝０（選択なし）と設定して、Ｓ２０８へ進む。
【００２４】
Ｓ２０５〜Ｓ２０６の各処理は、音響信号ごとの処理のため、音響信号ループの中で行う。
【００２５】
Ｓ２０５では、信号処理部１０２は、現音響信号ループが対象とする音響信号について、現時間フレームから複数の時間フレーム分の長さに対応する時間ブロック（時間区間）分の音響信号を解析し、その結果を解析データとして取得する。
【００２６】
ここで、図３は、本実施形態に係る音響信号選択の説明図である。スタジアムのフィールドのような収音対象エリアにおいて、サッカーのキック音といった収音対象エリア内で発生する目的音を、収音対象エリアの周囲に収音対象エリア内に向けて並べた複数の収音部を用いて収音する例を挙げて説明を行う。
【００２７】
複数の収音部で目的音を収音する場合、例えば或るキックの音が、図３に示すように複数の収音部でそれぞれ収音された複数の音響信号３０１〜３０５に、時間差を伴って入ってくる場合がある。図３の各音響信号３０１〜３０５に対応する上下２段の表示は、上段が時間波形、下段が高域（５〜２０ｋＨｚ）のスペクトログラムである。
【００２８】
例えば、音響信号３０２は、目的音の時間波形３１２から分かるように、目的音が最も早く到達する信号である。これは、音響信号３０２に対応する収音部が目的音の発生位置に最も近いことを意味している。しかし、目的音の周波数特性３２２が十分高域まで伸びていない（高域が失われている）ため、音質の観点から必ずしも適していない。これは、音響信号３０２に対応する収音部から見て、目的音の位置が近くても指向方向（指向性マイクの軸方向）から外れているためである。
【００２９】
また、目的音の時間波形３１４から分かるように、目的音の到達順は音響信号３０１〜３０５の中で２番目でも、目的音の周波数特性３２４が十分高域まで伸びている（高域が失われていない）ため、音質の観点からは音響信号３０４を選択すべきである。これは、音響信号３０４に対応する収音部から見て、目的音の位置が多少遠くても指向方向に近いためである。
【００３０】
この図３の例の場合、時間ブロック３３０の左端が現在の時間フレームに対応する。ここで、時間ブロック長は、時間差を伴って複数の音響信号に入ってくる或る目的音が含まれる長さであり、例えば１５０ｍｓとする。Ｓ２０５の解析データとは、具体的に、時間ブロック３３０内の時間フレームごとの目的音検出結果（Ｓ２０３と同様の処理で検出）や、フーリエ変換等で得られる時間フレームごとの周波数特性（スペクトログラム）などである。
【００３１】
Ｓ２０６では、信号処理部１０２は、Ｓ２０５で取得した時間ブロック分の解析データを用いて、現音響信号ループが対象とする音響信号の選択優先度を決定するための、評価関数ｆの値を算出する。ここで、評価関数値が小さいほど選択優先度が高くなるように、評価関数ｆを定めるものとする。なお、時間ブロック分の音響信号から目的音が検出されていなければ、この音響信号が後のステップで選択されないよう、評価関数値を十分大きな値にする。
【００３２】
時間ブロック分の音響信号から目的音が検出されている場合、目的音の周波数特性が十分高域まで伸びている（高域が失われていない）音響信号が選択されるよう、評価関数ｆを式（１）のような考え方で定める。
【００３３】
ｆ＝（目的音の高域減衰量）...（１）
式（１）の（目的音の高域減衰量）に係る項の具体的な算出方法として、例えば目的音が検出された時間フレームの周波数特性（Ｓ２０５の解析データ）について、近似特性、例えば近似直線（一般に周波数軸に対して右下がり）を算出する。そして、近似直線の傾きが緩やかな（傾きの絶対値が小さい）ほど目的音の高域減衰量は小さいとして、音響信号の選択優先度を高くする。ここで、図４は、目的音が検出された時間フレームの周波数特性と、その近似直線を模式的に示した例である。この場合、実線で表された周波数特性４０１の近似直線４１１の傾きより、点線で表された周波数特性４０２の近似直線４１２の傾きの方が緩やかな（傾きの絶対値が小さい）ため、周波数特性４０２に対応する音響信号が選択される。
【００３４】
なお、上記の算出方法に限らず、他の方法で算出してもよい。例えば、目的音が検出された時間フレームの周波数特性（Ｓ２０５の解析データ）について、所定レベル以上の周波数成分の数が多いほど周波数帯域が広いとする。そして、周波数帯域が広い（所定レベル以上の周波数成分の数が多い）ほど目的音の高域減衰量は小さいとして、音響信号の選択優先度を高くする。
【００３５】
或いは、目的音が検出された時間フレームの周波数特性（Ｓ２０５の解析データ）について、所定周波数（例えば５ｋＨｚ）以上の高域の平均レベルを算出する。そして、平均レベルが大きいほど目的音の高域減衰量は小さいとして、音響信号の選択優先度を高くする。
【００３６】
なお、複数の時間フレームに亘って目的音が検出されている場合は、それらの時間フレームに亘って平均化した周波数特性を用いればよい。
【００３７】
以上のような考え方で音響信号の選択優先度を決定することで、図３の例では目的音の周波数特性が十分高域まで伸びている（高域が失われていない）音響信号３０４が選択されるため、音質の観点で適している。
【００３８】
なお、式（１）の（目的音の高域減衰量）に係る項は、音質の考え方として目的音の高域が失われていないかの観点に着目したものであった。しかし、もし目的音の周波数特性が十分高域まで伸びていたとしても、（中低域に）重畳している雑音（収音対象エリア外からの歓声音など）が多く、目的音の信号対雑音比（ＳＮ比）が小さくなっていたら、音質の観点で必ずしも最適でないかもしれない。そこで、音質の考え方として目的音の高域が失われていないかの観点に、目的音の信号対雑音比の観点も加えて、評価関数ｆを例えば式（２）のような考え方で定めてもよい。
【００３９】
ｆ＝（目的音の高域減衰量）−β×（目的音の信号対雑音比）...（２）
ここで、β≧０は（目的音の信号対雑音比）に係る項の重み係数であり、マイナスを付けたのは、目的音の信号対雑音比が大きいほど評価関数値が小さくなって、選択優先度が高くなるようにするためである。このように、所定周波数以上の周波数特性の減衰量が小さい音響信号であって、信号対雑音比が大きい音響信号を選択されるように選択優先度が設定される。
【００４０】
式（２）の（目的音の信号対雑音比）に係る項の具体的な算出方法として、例えば目的音が検出された時間フレームの時間ブロック内でのタイミングに着目する。そして、目的音の（到達）タイミングが早い、すなわち目的音の（発生）位置と音響信号に対応する収音部の位置との間の距離が小さいほど、目的音の信号対雑音比は大きいと考えて音響信号の選択優先度を高くする。
【００４１】
または、目的音が検出された時間フレームの信号レベルや、それ以外の時間フレームの信号レベル（雑音に対応）からおおよその目的音の信号対雑音比を算出し、目的音の信号対雑音比が大きいほど音響信号の選択優先度を高くしてもよい。
【００４２】
なお、目的音の信号対雑音比を考慮することに関して、式（２）に代えて以下のようにして音響信号が選択されるように構成してもよい。例えば雑音（歓声音）が少ない、すなわち目的音の信号対雑音比が大きいときは、目的音の周波数特性が十分高域まで伸びている（高域が失われていない）音響信号（図３の例では音響信号３０４）が選択されるように構成してもよい。一方、雑音が多い、すなわち目的音の信号対雑音比が小さいときほど、信号対雑音比が大きい音響信号が選択されるように、目的音のタイミングが最も早い音響信号（図３の例では音響信号３０２）が選択されるように構成してもよい。これにより、音質が良好な音響信号を選択することができる。
【００４３】
Ｓ２０７では、信号処理部１０２は、Ｓ２０６で算出した各音響信号１２０−１〜１２０−Ａの選択優先度の評価関数値を参照する。そして、評価関数値が最小となった音響信号の識別番号ａ（１〜Ａの何れか）から、現時間フレームを含めた時間ブロック分の複数の時間フレームの選択情報を設定する。このとき、時間ブロック分の音響信号１２０−ａの中で、目的音が検出された時間フレームのみ選択情報をａに設定し、それ以外の時間フレームの選択情報は０（選択なし）に設定してもよい。
【００４４】
Ｓ２０８では、信号処理部１０２は、Ｓ２０４またはＳ２０７で設定した現時間フレームの選択情報Ｓ（０〜Ａの何れか）に基づき、目的音を含む音響信号を１２０−１〜１２０−Ａから選択する（Ｓ＝０の場合は選択なし）。そして、これを用いて再生部１０６から再生する再生信号を生成する。例えば、収音部１１０−１〜１１０−Ｍ以外の、不図示の収音部で収音している他の音響信号とのミキシング処理等を行うことで、再生信号を生成する。Ｓ２０９では、再生部１０６は、Ｓ２０８で生成した再生信号を再生する。
【００４５】
なお、表示処理部１０４が図３のような選択に関する表示内容（グラフ）を生成して、表示部１０３に表示するようにしてもよい。このとき、各音響信号の横に選択優先度を表示したり（例えば優先度の高い順に１〜５）、優先度が最も高い選択された音響信号をハイライト表示したりしてもよい。
【００４６】
なお、操作受付部１０５を介して、式（２）の重み係数βをユーザ操作入力に従って調整できるようにしてもよい。すなわち、音質の考え方について、目的音の高域が失われていないかの観点と、目的音の信号対雑音比の観点との重みを調整できるようにしてもよい。なお、Ｓ２０３の目的音検出の前に、スペクトル減算やウィナーフィルタといった、目的音以外の雑音を抑制する公知の雑音抑制処理を行ってもよい。
【００４７】
以上説明したように、本実施形態では、目的音が含まれる時間区間の音響信号の周波数特性に基づいて、複数の音響信号の中から音響信号を選択する。例えば、目的音の高域減衰量に基づいて、目的音の周波数特性が十分高域まで伸びている（高域が失われていない）音響信号を選択する。これにより、音質が良質な音響信号を選択することができる。なお、本実施形態では複数のマイクによる収音に基づく複数の音響信号の中から１つの音響信号を選択して再生に用いるものとしたが、これに限定されない。例えば、信号処理装置１００は、高域の周波数成分を多く含む２以上の音響信号を選択し、それらの音響信号を、遅延を考慮して合成することで再生信号を生成してもよい。
【００４８】
（実施形態２）
＜構成＞
図５は、本発明の実施形態２に係る信号処理システム５００のブロック図である。実施形態１で説明した図１の信号処理システム１００との差異点を中心に説明する。
【００４９】
信号処理システム５００は、信号処理装置５０と、収音部１１０−１〜１１０−Ｍと、撮影部５１０とを備える。また、信号処理装置５０は、取得部５０１と、信号処理部１０２に代えて信号処理部５０２とを備えている点で実施形態１に係る信号処理装置１０と異なっているが、その他の構成要素は実施形態１と同様である。
【００５０】
取得部５０１は、目的音が発生した位置の情報を取得する。また、複数の音響信号を収音する収音部１１０−１〜１１０−Ｍの（設置）位置および指向方向の情報や、指向特性の情報を記憶部１０２から取得する。
【００５１】
信号処理部５０２は、映像信号や音響信号に係る処理を行う。撮影部５１０は、収音対象エリアを撮影するカメラで構成されており、撮影に係るＩ／Ｆを備え、撮影している映像信号を記憶部１０１に遂次記録する。
【００５２】
＜処理＞
以下、図６のフローチャートを参照しながら、実施形態２に係る信号処理装置が実施する処理の手順を説明する。
【００５３】
Ｓ６０１は、実施形態１で説明した図２のＳ２０１と同じ処理であるため、説明を省略する。
【００５４】
Ｓ６０２では、取得部５０１は、記憶部１０２があらかじめ保持している各収音部１１０−１〜１１０−Ｍの（設置）位置や指向方向、指向特性の情報を取得する。ここで、位置や指向方向はグローバル座標系で記述するものとする。典型的には例えば、収音対象エリアの中心にグローバル座標系の原点を取り、収音対象エリアの各辺と平行になるようにｘ軸およびｙ軸を取って、それらの軸と垂直に鉛直上方向にｚ軸を取る。また、指向特性とは、図８に模式的に示すような指向方向とのずれ角度（０°、３０°、６０°等）ごとの周波数特性である。図８の詳細については後述する。
【００５５】
なお、収音対象エリア周囲の収音部１１０−１〜１１０−Ｍの映像を含む映像信号に、映像認識処理を適用することで収音部を検出し、収音部１１０−１〜１１０−Ｍの位置・指向方向やマイク種別（指向特性と対応付けることが可能）を取得してもよい。このとき、あらかじめ種々の収音部の映像で学習済みの映像認識処理を用いてもよい。なお、各収音部がＧＰＳや姿勢センサを備えることで、収音部１１０−１〜１１０−Ｍの位置・指向方向を取得するようにしてもよい。なお、操作受付部１０５を介して、収音部１１０−１〜１１０−Ｍの位置・指向方向やマイク種別をユーザが入力できるようにしてもよい。
【００５６】
Ｓ６０３以降の処理は、時間フレームごとの処理のため、時間フレームループの中で行う。
【００５７】
Ｓ６０３では、信号処理部５０２は、現時間フレームの選択情報Ｓを参照し、選択情報Ｓが既に設定済み（Ｓ≠−１）であるか否かを判定する。選択情報Ｓが既に設定済み（Ｓ≠−１）である場合はＳ６０９へ進む。一方、選択情報Ｓが未設定（Ｓ＝−１）である場合はＳ６０４へ進む。
【００５８】
Ｓ６０４では、取得部５０１は、撮影部５１０で撮影している現時間ブロックの映像信号に対して、学習済みの映像認識処理を適用することで、目的音の発生源（音源）となるボールや選手を検出する。そして、取得部５０１は、目的音の発生源のグローバル座標系における位置を射影変換等で取得する。なお、ボールや選手にＧＰＳを装着することで、位置を取得するようにしてもよい。
【００５９】
Ｓ６０５では、信号処理部５０２は、Ｓ６０４で取得したボール位置等の情報を用いて、目的音が発生しているか否かを判定する。目的音が発生していると判定された場合はＳ６０７へ進む。一方、目的音が発生していないと判定された場合はＳ６０６へ進む。ここで、目的音の発生は、ボールと選手の接触（ボールと選手の距離が閾値内）、ボールと地面の接触（ボールのｚ座標≒０）、ボールの速度変化や動きベクトルの反転などから判定するものとしてもよい。また、現在だけでなく過去の時間フレームの位置情報も適宜用いてもよい。
【００６０】
Ｓ６０６では、信号処理部５０２は、現時間フレームにおける音響信号の選択情報Ｓ＝０（選択なし）と設定して、Ｓ６０９へ進む。
【００６１】
Ｓ６０７の処理は、音響信号ごとの処理のため、音響信号ループの中で行う。
【００６２】
Ｓ６０７では、信号処理部５０２は、Ｓ６０２で取得した収音部１１０−１〜１１０−Ｍの情報や、Ｓ６０４で取得した目的音（ボール）の位置情報を用いて、現音響信号ループが対象とする音響信号（１２０−１〜１２０−Ａの何れか）の選択優先度を決定するための、評価関数ｆの値を算出する。
【００６３】
まず、音質の考え方として目的音の高域が失われていないかの観点に着目した、式（１）の評価関数を用いる場合を考える。このとき、式（１）の（目的音の高域減衰量）に係る項の実施形態２における具体的な算出方法として、音響信号に対応する収音部から見た目的音の位置について、収音部の指向方向からのずれ角度を算出する。そして、ずれ角度が小さいほど目的音の高域減衰量は小さいとして、音響信号の選択優先度を高くする。
【００６４】
図７の収音対象エリア７００における例では、収音部７０１から見た目的音位置７１０の方向７１１と指向方向７２１とのずれ角度７３１よりも、収音部７０２から見た目的音位置７１０の方向７１２と指向方向７２２とのずれ角度７３２の方が小さい。したがって、収音部７０１が収音している音響信号の選択優先度よりも、目的音の周波数特性が高域まで伸びている（高域が失われていない）と考えられる、収音部７０２が収音している音響信号の選択優先度の方が高くなるため、音質の観点で適している。
【００６５】
なお、上記の処理は各収音部のマイク種別（に起因する指向特性）が同じであることを想定しているが、収音部の指向特性の情報が利用できる場合は、指向方向からのずれ角度ごとの収音部の周波数特性の（高域）減衰量を算出してもよい。そして、収音部の周波数特性の減衰量が小さいほど目的音の高域減衰量は小さいとして、音響信号の選択優先度を高くする。図８の例では、目的音の位置の指向方向からのずれ角度について、収音部８０１の６０°より収音部８０２の３０°の方が小さいが、ずれ角度に対応する周波数特性の減衰量８１１は減衰量８１２より小さいため、収音部８０１が収音している音響信号が選択される。
【００６６】
次に、音質の考え方として目的音の高域が失われていないかの観点に、目的音の信号対雑音比の観点も加えた、式（２）の評価関数を用いる場合を考える。このとき、式（２）の（目的音の信号対雑音比）に係る項の実施形態２における具体的な算出方法として、目的音の位置と音響信号に対応する収音部の位置との間の距離を算出する。そして、距離が小さいほど目的音の信号対雑音比は大きいと考えて、音響信号の選択優先度を高くする。
【００６７】
または、収音部の指向性が鋭い（指向性利得が大きい）ほど目的音の信号対雑音比は大きいと考えて、音響信号の選択優先度を高くしてもよい。
【００６８】
なお、目的音の信号対雑音比を考慮することに関して、式（２）に代えて以下のようにして音響信号が選択されるように構成してもよい。図７の例では、目的音の信号対雑音比が大きいときは、目的音の位置の指向方向からのずれ角度が最も小さい、収音部７０２が収音している音響信号が選択されるように構成してもよい。一方、目的音の信号対雑音比が小さいときほど、信号対雑音比が大きい音響信号が選択されるように、目的音の位置との間の距離が最も小さい、収音部７０１が収音している音響信号が選択されるように構成してもよい。
【００６９】
また図８の例では、目的音の信号対雑音比が大きいときは、指向方向からのずれ角度に対応する収音部の周波数特性の減衰量がより小さい、収音部８０１が収音している音響信号が選択されるように構成してもよい。一方、目的音の信号対雑音比が小さいときは、指向性がより鋭い（指向性利得がより大きい）収音部８０２が収音している音響信号が選択されるように構成してもよい。
【００７０】
Ｓ６０８では、信号処理部５０２は、Ｓ６０７で算出した音響信号１２０−１〜１２０−Ａの選択優先度の評価関数値を参照する。そして、評価関数値が最小となった音響信号の識別番号ａ（１〜Ａの何れか）から、現時間フレーム含め時間ブロック分の複数の時間フレームの選択情報を設定する。
【００７１】
以降のＳ６０９〜Ｓ６１０の各処理は、実施形態１で説明した図２のＳ２０８〜Ｓ２０９と同じ処理であるため、説明を省略する。
【００７２】
なお、目的音の位置ごとに各音響信号の選択優先度を決定するための評価関数値をあらかじめ算出することで、目的音の位置ごとの音響信号の選択情報を予め規定したルックアップテーブルを準備してもよい。そして、当該ルックアップテーブルに基づいて音響信号を選択するようにしてもよい。
【００７３】
なお、目的音の位置の指向方向からのずれ角度について、サッカーのようにｘｙ平面内の方位角成分が支配的である場合は、目的音の位置や収音部の位置・指向方向など、本実施形態を２次元（ｘ、ｙ）で考えてもよい。一方、バレーボールのようにずれ角度の仰角成分も大きくなり得る場合は、本実施形態を３次元（ｘ、ｙ、ｚ）で考えてもよい。
【００７４】
なお、表示処理部１０４が図７や図８のような表示内容（鳥観図やグラフ）を生成して、表示部１０３に表示するようにしてもよい。このとき、各収音部の傍に収音している音響信号の選択優先度を表示したり、図７に示されるように優先度が高いほど収音部の塗り潰し色を濃くしたりするようにしてもよい。図７の例では、収音部７０２の優先度が最も高く、収音部７０１の優先度が次に高いことを、容易に視認することができる。
【００７５】
なお、実施形態１、２を適宜組み合わせて音響信号を選択するようにしてもよい。例えば、式（１）の（目的音の高域減衰量）に係る項について、音響信号から算出する周波数特性の近似特性（近似直線）の傾き（実施形態１）と、映像信号から算出する目的音の位置の指向方向からのずれ角度（実施形態２）の、重み付き和で算出するようにしてもよい。
【００７６】
以上説明したように、本実施形態では、目的音の発生位置に対する各収音部の指向方向のずれに基づいて、複数の音響信号の中から音響信号を選択する。例えば、音響信号に対応する収音部から見た目的音の位置について、収音部の指向方向からのずれ角度を算出し、ずれ角度が小さいほど音響信号の選択優先度を高くする。これにより、音質が良質な音響信号を選択することができる。なお、本実施形態では複数のマイクによる収音に基づく複数の音響信号の中から１つの音響信号を選択して再生に用いるものとしたが、これに限定されない。例えば、信号処理装置５０は、音源に対する指向方向のずれが小さい２以上のマイクによる収音に基づく２以上の音響信号を選択し、それらの音響信号を、遅延を考慮して合成することで再生信号を生成してもよい。
【００７７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７８】
１０，５０：信号処理装置、１０２，５０２：信号処理部、５０１：取得部
【図１】
2020088653.tif 000003
【図２】
2020088653.tif 000004
【図３】
2020088653.tif 000005
【図４】
2020088653.tif 000006
【図５】
2020088653.tif 000007
【図６】
2020088653.tif 000008
【図７】
2020088653.tif 000009
【図８】
2020088653.tif 000010