(57)【要約】【課題】空間を分割した複数のエリアから音声を取得して再生用信号を生成する構成において、処理の効率化を可能にする技術を提供する。【解決手段】音響システムは、音声を収集するマイクアレイと、マイクアレイが収集した音声を、一定の空間を分割した複数の分離エリアおける音声に分離する分離手段と、一定の空間の複数の分離エリアへの分割を制御する制御手段と、分離した音声に基づき、再生用信号を生成する生成手段とを備える。【選択図】  図１
2018074252.tif 000002
【特許請求の範囲】
【請求項１】
音声を収集するマイクアレイと、
前記マイクアレイが収集した音声を、一定の空間を分割した複数の分離エリアおける音声に分離する分離手段と、
前記一定の空間の前記複数の分離エリアへの分割を制御する制御手段と、
前記分離した音声に基づき、再生用信号を生成する生成手段と
を備えることを特徴とする音響システム。
【請求項２】
前記制御手段は、前記複数の分離エリアの配置及び個数を制御することを特徴とする請求項１に記載の音響システム。
【請求項３】
前記制御手段は、前記分離手段及び前記生成手段の少なくともいずれかの処理の負荷に基づいて、前記複数の分離エリアの配置及び個数を制御することを特徴とする請求項２に記載の音響システム。
【請求項４】
前記制御手段は、前記一定の空間において、前記分離手段及び前記生成手段の少なくともいずれかの処理の負荷がより大きい領域を、より細かい分離エリアに分割するように制御することを特徴とする請求項３に記載の音響システム。
【請求項５】
前記制御手段は、前記一定の空間において検出された音声に基づいて、前記複数の分離エリアの配置及び個数を制御することを特徴とする請求項２に記載の音響システム。
【請求項６】
前記制御手段は、前記一定の空間において、より高い音声レベルが検出された領域を、より細かい分離エリアに分割するように制御することを特徴とする請求項５に記載の音響システム。
【請求項７】
前記制御手段は、前記一定の空間において、予め定められた特徴を示す音声が検出された領域を、他の領域よりも細かい分離エリアに分割するように制御することを特徴とする請求項５に記載の音響システム。
【請求項８】
前記一定の空間を撮影して画像を生成する撮影手段を備え、
前記制御手段は、前記撮影手段により生成された画像に基づいて、前記複数の分離エリアの配置及び個数を制御する
ことを特徴とする請求項２に記載の音響システム。
【請求項９】
前記制御手段は、前記画像により多くの特定の被写体が写り込んでいる領域を、より細かい分離エリアに分割するように制御することを特徴とする請求項８に記載の音響システム。
【請求項１０】
前記制御手段は、音声を聴取する聴取点の位置が指定された場合に、当該聴取点により近い領域をより細かい分離エリアに分割するように制御することを特徴とする請求項２に記載の音響システム。
【請求項１１】
前記制御手段は、前記聴取点における聴取の向きが指定された場合に、当該聴取の向きに存在する領域をより細かい分離エリアに分割するように制御することを特徴とする請求項１０に記載の音響システム。
【請求項１２】
前記生成手段は、前記聴取点において聴取される音声の信号を前記再生用信号として生成することを特徴とする請求項１０又は１１に記載の音響システム。
【請求項１３】
前記制御手段により分割された前記複数の分離エリアの配置を示す画像を表示手段に表示させる表示制御手段をさらに備えることを特徴とする請求項１から１２のいずれか１項に記載の音響システム。
【請求項１４】
前記制御手段は、ユーザによる指示に応じて、前記複数の分離エリアの配置及び個数を制御することを特徴とする請求項２に記載の音響システム。
【請求項１５】
音声を収集するマイクアレイを備えた音響システムの制御方法であって、
前記マイクアレイが収集した音声を、一定の空間を分割した複数の分離エリアおける音声に分離する分離工程と、
前記分離した音声に基づき、再生用信号を生成する生成工程と
を有し、
前記分離工程の前に前記一定の空間の前記複数の分離エリアへの分割を制御する制御工程を有する
ことを特徴とする音響システムの制御方法。
【請求項１６】
音声を収集するマイクアレイが収集した音声に基づき再生用信号を生成する信号生成装置であって、
前記マイクアレイが収集した音声を、一定の空間を分割した複数の分離エリアおける音声に分離する分離手段と、
前記一定の空間の前記複数の分離エリアへの分割を制御する制御手段と、
前記分離した音声に基づき、再生用信号を生成する生成手段と
を備えることを特徴とする信号生成装置。
【請求項１７】
コンピュータを請求項１６に記載の信号生成装置が備える各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音響システム及びその制御方法、信号生成装置、コンピュータプログラムに関する。
【背景技術】
【０００２】
空間を複数のエリアに分割してエリアごとの音声を取得する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−７２７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、複数のエリアに分割したエリアの音声をリアルタイム処理し、放送しようとすると、処理や伝送が間に合わずデータが欠損し、音声が途切れてしまう可能性があった。
【０００５】
本発明は上記課題に鑑みなされたものであり、空間を分割した複数のエリアから音声を取得して再生用信号を生成する構成において、処理の効率化を可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明による音響システムは以下の構成を備える。即ち、
音声を収集するマイクアレイと、
前記マイクアレイが収集した音声を、一定の空間を分割した複数の分離エリアおける音声に分離する分離手段と、
前記一定の空間の前記複数の分離エリアへの分割を制御する制御手段と、
前記分離した音声に基づき、再生用信号を生成する生成手段と
を備える。
【発明の効果】
【０００７】
本発明によれば、空間を分割した複数のエリアから音声を取得して再生用信号を生成する構成において、処理を効率化することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】音声信号処理装置の構成を示すブロック図。
【図２】分離エリア制御の説明図。
【図３】分離エリア制御の時間変化を表す説明図。
【図４】音声信号処理装置のハードウェア構成を示すブロック図。
【図５】音声信号処理を示すフローチャート。
【図６】分離エリア制御の表示装置を説明する図。
【図７】音響システムを説明する図。
【図８】音響システムの構成の詳細を示すブロック図。
【図９】分離エリア制御の説明図。
【図１０】音声信号処理を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１０】
＜実施形態１＞
本発明の第一の実施形態（実施形態１）では、音源分離処理がリアルタイム再生に間に合わなくなった場合に、使用する分離エリア数を低減する構成を説明する。
【００１１】
（音声信号処理装置）
図１は音声信号処理装置１００の構成を示すブロック図である。音声信号処理装置１００は、マイクアレイにより所定の空間エリアから音声を収集し、収集した音声を複数の分離エリアに基づき複数の音声信号に分離して音声処理を行い、ミキシングを行って再生用信号を生成する装置である。音声信号処理装置１００はマイクアレイ１１１、音源分離部１１２、分離エリア制御部１１３、音声信号処理部１１４、記憶部１１５、リアルタイム再生用信号生成部１１６、及び、リプレイ再生用信号生成部１１７を備える。
【００１２】
マイクアレイ１１１は複数のマイクロホンからなる。マイクアレイ１１１は、担当する空間の音声をマイクロホンで収集する。マイクアレイ１１１を構成する各マイクロホンがそれぞれ収音するため、マイクアレイ１１１が収集する音声は、全体として、各マイクロホンが収集した複数の音声からなるマルチチャネルの信号となる。マイクアレイ１１１は、空間の音声をマイクロホンで収音し、収音した信号をＡ／Ｄ変換（アナログ／デジタル変換）したのち、音源分離部１１２へ出力する。
【００１３】
音源分離部１１２、分離エリア制御部１１３、音声信号処理部１１４、リアルタイム再生用信号生成部１１６、リプレイ再生用信号生成部１１７は例えばＣＰＵ（中央演算処理装置）やＤＳＰ、ＭＰＵなどの演算処理装置からなる。ＤＳＰはDigital Signal Processorの略称であり、ＭＰＵはMicro-processing unitの略称である。
【００１４】
音源分離部１１２は、マイクアレイ１１１が収音を担当する空間をＮ（Ｎ＞１）個のエリア（以下、「分離エリア」）に分割した場合に、マイクアレイ１１１から入力された信号を各分離エリアにおける音声に分離する音源分離処理を行う。前述のように、マイクアレイ１１１から入力される信号は各マイクロホンが収集した複数の音声からなるマルチチャネルの信号である。そのため、マイクアレイ１１１を構成する各マイクロホンと集音したい分離エリアとの位置関係に基づき、マイクロホンが収集した音声信号に位相制御および重みづけをして加算することで、任意の分離エリアの音声を再現することができる。なお、本実施形態では、この分離エリアの配置が予め定められている例を説明する。音源分離部１１２はマイクアレイ１１１から入力された信号を用いて空間をＮ（Ｎ＞１）個のエリアに分割するように音源分離処理を行う。分離処理は処理フレームごと、つまり所定の時間間隔ごとに行われる。例えば、所定の時間ごとにビームフォーミング処理を行い、エリアごとの音声を取得する。分離して取得した音声は音声信号処理部１１４および記憶部１１５へ出力される。
【００１５】
分離エリア制御部１１３は、音源の分離や再生用信号の生成等を行うための処理負荷に応じてマイクアレイが収音する一定の空間の複数の分離エリアへの分割を制御する。具体的には、複数の分離エリアの配置及び個数を制御する。例えば、処理装置の処理負荷が大きく、全てのエリアの音源分離処理を行うと処理がリアルタイム再生に間に合わない場合、分離エリア制御部１１３は音源分離部１１２で行う音源分離エリアを結合してエリア数を減らす。例えば、処理が十分に間に合っている状態では、例えば図２（Ａ）のように収音空間Ａ１を８×８＝６４個の分離エリアＡ２に細かくエリア分割する。処理が間に合わなくなった場合には、例えば前フレームの処理においてそのエリアの音声が所定のレベル以上であったか否かを判定し、所定のレベル未満のエリアについては図２（Ｂ）に示すようにエリアを結合しエリア数を減らす。所定のレベル以上の音声は有意な音声である蓋然性が高い一方で、所定のレベル未満の音声は雑音等の有意でない音声である蓋然性が高い。そのため、音声が所定のレベル以上のエリアには細かい分離エリアを優先的に割り当てることで、有意な音声を忠実に再現するとともに、所定レベル未満のエリアでは分離エリアを統合することで、処理を高速化することができる。
【００１６】
エリアの分離サイズ変化の例を図３に示す。図３（Ｄ）は、処理負荷に基づいたエリア制御が行われている（エリア制御ＯＮ）か否（エリア制御ＯＦＦ）かの状態を示している。ｆｐからｆｐ＋７はフレーム番号を表す。図３（Ｃ）は、エリアごとに分離した音声のレベルが所定のレベル以上（音有）か所定のレベル未満（音無）かの状態を示している。ここではフレームｆｐ＋１およびｆｐ＋３において音有の状態となっている。図３（Ｂ）は最も細かく分割されたエリアの分割サイズを示している。この分割サイズは、収音空間Ａ１の面積を１とした場合の最小エリアの面積を表している。例えばフレームｆｐでは空間を６４のエリアに等分割しているため最少のエリアサイズは１／６４となっている。図３（Ａ）は、各フレームが複数のエリアに分離された様子を示している。
【００１７】
ｆｐ＋１からｆｐ＋６までが処理負荷が大きくエリア数を減らす必要がある時間である。フレームｆｐにおいては、どこのエリアでも音声レベルが所定値を超えなかった（図３（Ｃ）で音無）。そのため、フレームｆｐ＋１ではエリアサイズは１辺が収音空間の１／２で収音空間を４つに分割した大きなエリアになる（図３（Ｂ）で１／４）。
【００１８】
フレームｆｐ＋１では音声レベルが所定値を超えたエリアがあった（図３（Ｃ）で音有）。そのため、フレームｆｐ＋２では音声のあったエリアＡ３は再び１辺が収音空間Ａ１の１／８の小さなエリアに分割される（図３（Ｂ）で１／６４）。
【００１９】
続いてフレームｆｐ＋２ではどこのエリアでも音声レベルが所定値を超えなかった（図３（Ｃ）で音無）。そのため、フレームｆｐ＋３では、一部のエリアが結合され１辺が収音空間の１／４の中間の大きさのエリアに分割される（図３（Ｂ）で１／１６）。
【００２０】
フレームｆｐ＋３では音声レベルが所定値を超えたエリアがあった（図３（Ｃ）で音有）。そのためフレームｆｐ＋４では音声のあったエリアＡ３は再び１辺が収音空間の１／８の小さなエリアに分割される（図３（Ｂ）で１／６４）。
【００２１】
フレームｆｐ＋４、ｆｐ＋５ではどこのエリアも音声レベルが所定値を超えなかった（図３（Ｃ）で音無）。そのため、エリアが結合されフレームｆｐ＋６では１辺が収音空間の１／２で収音空間を４つに分割した大きなエリアになる。
【００２２】
分離エリア制御部１１３は、このようにして音声検出の有無に応じて分離エリア数を増減させる。ここで分離エリア制御部１１３は音源分離エリアを結合してエリア数を減らす例を説明した。もっとも、実際には音源分離部１１２に複数のエリアサイズに分離するビームフォーミング用のフィルタを持ち、分離エリア制御部１１３は使用するフィルタを制御するようにしてもよい。
【００２３】
さらに分離エリア制御部１１３では分離エリア制御によって結合したエリアについてフレームと結合したエリア情報を分離エリア制御リストとして管理する。例えばフレームｆｑにおいて４つのエリアを結合した場合、フレームｆｑと４つのエリアがリストとして管理される。ここでエリアはあらかじめＩＤなどを付けて区別が付けられるようにしておく。分離エリア制御部１１３は、処理の負荷が小さくなったことに応じて分離エリア制御リストに記録されたフレームと結合されたエリアについてそれぞれのエリアの音源分離を行うように音源分離部１１２へ指示を出す。音源分離が行われるとそのフレームとエリアはリストから削除される。
【００２４】
音声信号処理部１１４では、フレーム、エリアごとの音声信号の処理を行う。音声信号処理部１１４で行われる処理は、例えば、エリアと収音装置の距離による影響を補正するための遅延補正処理、ゲイン補正処理や、エコー除去などである。
【００２５】
記憶部１１５は、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）、メモリのような記憶装置である。記憶部１１５は、音源分離部１１２において分離エリア制御されたフレームの全音声チャンネルの信号と音声信号処理部１１４で音声信号処理を行った信号を、時刻情報とともに記録する。
【００２６】
リアルタイム再生用信号生成部１１６では音源分離部１１２から得たエリアごとの音声を収音から所定の時間内にミキシングすることでリアルタイム再生用の信号を生成し出力する。例えば、外部から時間に応じて変化する空間内の仮想の聴取点と仮想の聴取者の向き（以下、単に聴取点と聴取者の向きと称する）と、再生環境の情報とを取得し、音源のミキシングを行う。ここで再生環境とは、リアルタイム再生用信号生成部１１６で生成した信号を再生する再生装置がスピーカ（ステレオ、サラウンド、その他マルチチャンネル）か、あるはヘッドホンかといった、再生装置の構成に関する環境である。すなわち、音源のミキシングにおいては、各分割エリアの音声信号を、再生装置のチャンネル数等の環境に合わせて合成・変換する処理を行う。
【００２７】
リプレイ再生用信号生成部１１７は、リプレイ再生が要求された場合に、該当する時刻のデータを記憶部１１５から取得し、リアルタイム再生用信号生成部１１６と同様の処理を行い出力する。
【００２８】
図４は、音声信号処理装置１００のハードウェア構成例を示すブロック図である。音声信号処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）や組込みシステム、タブレット端末、スマートフォン等により実現される。
【００２９】
図４において、ＣＰＵ９９０は中央演算処理装置であり、コンピュータプログラムに基づいて他の構成要素と協働し、音声信号処理装置１００全体の動作を制御する。ＲＯＭ９９１は読出し専用メモリであり、基本プログラムや基本処理に使用するデータ等を記憶する。ＲＡＭ９９２は書込み可能メモリであり、ＣＰＵ９９０のワークエリア等として機能する。
【００３０】
外部記憶ドライブ９９３は記録媒体へのアクセスを実現し、ＵＳＢメモリ等のメディア（記録媒体）９９４に記憶されたコンピュータプログラムやデータを本システムにロードすることができる。ストレージ９９５はＳＳＤ（ソリッドステートドライブ）等の大容量メモリとして機能する装置である。ストレージ９９５には、各種コンピュータプログラムやデータが格納される。
【００３１】
操作部９９６はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等がこれに相当する。ディスプレイ９９７は、操作部９９６から入力されたコマンドや、それに対する音声信号処理装置１００の応答出力等を表示する表示装置である。インターフェイス（Ｉ／Ｆ）９９８は外部装置とのデータのやり取りを中継する装置である。また、マイクアレイ１１１は、インターフェイス９９８を介して音声信号処理装置１００に接続される。システムバス９９９は、音声信号処理装置１００内のデータの流れを司るデータバスである。
【００３２】
図１の各機能要素は、ＣＰＵ９９０がコンピュータプログラムに基づき装置全体を制御することにより実現される。なお、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００３３】
（処理手順）
続いて、音声信号処理装置１００が実行する処理の手順について図５を参照して説明する。図５（Ａ）から図５（Ｃ）は、本実施形態の音声信号処理装置１００が実行する処理の手順を示すフローチャートである。
【００３４】
図５（Ａ）は、収音からリアルタイム再生用信号を生成するまでのフローである。はじめに、マイクアレイ１１１において空間内の音の収音が行われる（Ｓ１１１）。収音された各チャンネルの音声信号は音源分離部１１２へ出力される。
【００３５】
続いて分離エリア制御部１１３において処理の負荷の観点から音源分離がリアルタイム再生に間に合うか否かを判定する（Ｓ１１２）。この処理は、図３を参照して説明したように、所定のレベルの音声の有無等に基づいて行われる。
【００３６】
リアルタイム再生に間に合わないと判定された場合（Ｓ１１２でＮＯ）、分離エリア制御部１１３では音源分離エリアが少なくなるようにエリア数を制御する（Ｓ１１３）。具体的には、例えば、一定レベル以上の音声が検出されないエリア等の重要度の低い分離エリアを統合して分離エリアの個数を減少させる。そして、どのようなエリアで分離するかという情報を音源分離部１１２へ出力する。さらに分離エリア制御部１１３では分離エリア制御リストを作成する。
【００３７】
続いて記憶部１１５において分離エリア制御を行ったフレームの音声信号を記録する（Ｓ１１４）。
【００３８】
リアルタイム再生に間に合うと判定された場合、あるいはＳ１１４において記録を行った後、音源分離部１１２において音源分離が行われる（Ｓ１１５）。すなわち、Ｓ１１１で集音したマルチチャネルの信号をもとに、各分離エリアにおける音声を合成する。前述のように、分離エリアの音声は、マイクアレイ１１１を構成するマイクロホンと、分離エリアの位置との関係に基づき、各マイクロホンが収集した音声信号に位相制御および重みづけをして加算することで再現することができる。分離されたエリアごとの音声信号は音声信号処理部１１４へ出力される。
【００３９】
続いて音声信号処理部１１４において分離エリアごとの音声信号の処理を行う（Ｓ１１６）。音声信号処理部１１４による処理は、前述のように、例えば、分離エリアと収音装置との距離による影響を補正するための遅延補正処理、ゲイン補正処理や、エコー除去による雑音処理などである。処理された音声信号はリアルタイム再生用信号生成部１１６および記憶部１１５へ出力される。
【００４０】
続いてリアルタイム再生用信号生成部１１６においてリアルタイム再生用の音声のミキシングが行われる（Ｓ１１７）。ミキシングにおいては、再生機器の仕様（例えば、チャンネル数等）に合わせて再生できるように信号を合成・変換したりする。リアルタイム再生用にミキシングされた音声は外部の再生機器あるいは放送用信号として出力される。
【００４１】
続いて記憶部１１５において各エリアの音声の記録が行われる（Ｓ１１８）。リプレイ再生用の音声信号は記憶部１１５のエリアごとの音声を用いて作成される。
【００４２】
次に、図５（Ｂ）を用いて図５（Ａ）のＳ１１２においてリアルタイム再生に処理が間に合わなかった場合（Ｓ１１２でＮＯ）の処理を説明する。
【００４３】
分離エリア制御部１１３では処理装置の負荷が所定値より低い場合に、分離エリア制御リストに基づいて記憶部１１５からデータを読み出す（Ｓ１２１）。
【００４４】
続いて分離エリア制御リストに記載のエリアを結合して音源分離を行ったエリアについて再度結合前のエリアについて音源分離処理を行う（Ｓ１２２）。処理を行った音声信号は音声信号処理部１１４へ出力する。対応するフレームとエリアは処理が終わると分離エリア制御リストから削除される。Ｓ１２３はＳ１１６と同様のため詳細な説明を省略する。
【００４５】
続いて記憶部１１５では入力されたエリアの音声信号を以前のデータに上書きし記録する（Ｓ１２４）。
【００４６】
次に、図５（Ｃ）を用いてリプレイが要求された場合の処理フローを説明する。リプレイが要求されると、リプレイ再生用信号生成部１１７は記憶部１１５からリプレイ時間に対応したエリアごとの音声信号を読み出す（Ｓ１３１）。
【００４７】
続いてリプレイ再生用信号生成部１１７においてリプレイ再生用の音声のミキシングが行われる（Ｓ１３２）。リプレイ再生用にミキシングされた音声は外部の再生機器あるいは放送用信号として出力される。
【００４８】
以上説明したように、処理負荷に応じて分離エリアを制御する。すなわち、一定の空間において、音源の分離及び再生用信号の生成の少なくともいずれかの処理の負荷がより大きい領域を、より細かい分離エリアに分割するように制御する。そのため、音量レベルが所定値より低いエリアの分離度は低下するが、音量レベルが所定値以上のエリアは高い分解能でリアルタイム再生用信号生成に間に合う。さらに処理負荷が軽い時に分離エリア制御したエリアの分離を行う事でリプレイ時には十分な分解能のデータを得ることができる。
【００４９】
本実施形態においてマイクアレイ１１１はマイクロホンからなる例を説明したが、反射板などの構造物とセットであってもよい。またマイクアレイ１１１で使用するマイクロホンは無指向性であってもよいし、指向性マイクであってもよく、それらの混合でもよい。
【００５０】
本実施形態において音源分離部１１２はビームフォーミングを用いてエリアごとの音声収音を行う例を説明したが、その他の音源分離を用いてもよい。例えばエリアごとのパワースペクトル密度(ＰＳＤ)を推定し、推定したＰＳＤに基づいてウィナーフィルタによる分離を行ってもよい。
【００５１】
本実施形態において分離エリア制御部１１３はエリアの音声レベルが所定値以上か否かで分離エリアを制御する例を説明したが、その他の判定基準を持っていてもよい。例えば同じ音声を使用する場合でも、レベルではなく、音の特徴量を検出する構成を備え、特徴量の有無を判定してもよい。具体的には、音声の特徴量解析により悲鳴や銃声や、ボールの音、自動車の音などが音声に含まれる場合など、予め定められた特徴を示す音声が検出されたときは分離エリアを小さくして、詳細な音声を再現するようにしてもよい。また、例えば全てのエリアを含む空間を撮影し、その撮影した動画像から分離エリアを制御してもよい。例えば、動画から人物や動物、マーカ等の特定の被写体を検出し、その被写体周辺の分離エリアの大きさがより小さくなるように制御してもよい。
【００５２】
またテレビ放送などの生中継では、時間調整や、不慮の事態に対応するため実際の撮影から数秒から数分程度の一定の遅延を持たせて放送するようなシステムが一般に知られている。そのようなシステムを用いた場合、分離エリア制御部１１３は遅延時間分の映像や音声に含まれる事象に応じて分離順序を制御してもよい。例えば、スポーツのライブ中継において２分の遅延がある場合、２分間の試合展開から分離エリアを設定して、音源分離をしてもよい。例えばサッカーなどの競技においてゴールが決まると、２分間の映像からゴールを決めた選手やボールの動きを検出し、その軌跡周辺の分離エリアが細かくなるように設定されるようになっていてもよい。反対に選手やボールが入らないエリアについては分離エリアが粗くなるように設定されるようにするとよい。
【００５３】
また本実施形態では分離エリア制御部１１３はエリア数を極力減らしたが、処理負荷に応じてエリア数を計算し、必要最低限のエリア数を低減するようにしてもよい。
【００５４】
また本実施形態では分離エリア制御部１１３は前フレームの音声のレベルを用いて分離エリアを制御したが、処理フレームの情報を用いて分離エリアを制御してもよい。つまり、分離エリア制御部１１３は分離したエリアの音声のレベルが所定値以上であれば、そのエリアをさらに細かく分割したエリアでの音源分離を行うように音源分離部１１２へ指示する。分離エリア制御部１１３および音源分離部１１２はこの処理をエリアが所定のサイズまで小さくなるまで繰り返し行う。このようにして１フレーム分、分離エリア制御が遅れないようにすることができる。ただし、この手法は音源数が増えると、処理量が増えてしまうため、あらかじめ音源数が少ないとわかっている場面で用いるか、繰り返しの回数を処理負荷の許容範囲内に制限するようにするとよい。
【００５５】
本実施形態において音声信号処理部１１４は遅延補正処理、ゲイン補正処理、エコー除去を行うとしたが、他の処理も行ってもよい。例えばエリアごとの雑音除去処理などを行うようになっていてもよい。
【００５６】
本実施形態においては、リプレイ再生用信号生成部１１７とリアルタイム再生用信号生成部１１６は同様の処理を行う例を説明した。ただし、リプレイ再生用信号生成部１１７とリアルタイム再生用信号生成部１１６では異なるミキシングをしてもよい。たとえばリアルタイム再生用信号生成部１１６では分離エリアの大きさが粗い音声が入力されることがあるため、処理の実施済みか否かに応じて例えばエリアサイズの大きいエリアはミキシング時のレベルを下げるなどしてもよい。
【００５７】
また本実施形態では示さなかったが、図６に示すようにエリア制御の状況を表示装置に表示させる表示制御を行うようにしてもよい。例えば表示画面にはタイムバー５０１とタイムカーソル５０２、エリア分割表示５０３、エリア分割割合表示５０４等が表示される。ここで、タイムバー５０１は現在までの録音時間を表すバーで、タイムカーソル５０２の位置が表示画面の時間を表す。エリア分割表示５０３にはタイムカーソル５０２の指す時刻におけるエリアの分割状態を示す。この分割状態を示す画像は、実際の空間の画像や、実際の空間を再現したＣＧ等に重畳されて表示されるようにしてもよい。エリア分割割合表示５０４にはエリア分割のサイズごとの割合が表示される。あるいは図３のような画面が表示されていてもよい。このように表示を行うことで、エリア分割の状態を直感的に分かりやすくすることができる。またこの表示装置はさらにタッチパネルのような入力装置を備えていてもよい。例えばユーザがエリアサイズの大きくなっているエリアをタッチなどで選択し、そのエリアの分割を細かくする処理を優先的に行うように設定できるようにしてもよい。
【００５８】
＜実施形態２＞
本発明の第二の実施形態（実施形態２）は複数のユーザがそれぞれ聴取点を設定し、その聴取点に応じた音響を再生装置で再生する音響システムに関する。
【００５９】
（音響システム）
図７は音響システム２０の構成を示すブロック図である。音響システム２０は収音部２１と再生信号生成部２２、および複数の再生部２３を備える。収音部２１と再生信号生成部２２、複数の再生部２３は互いに有線もしくは無線の伝送経路を通じてデータの送受信を行う。収音部２１、再生信号生成部２２、及び、再生部２３の間の伝送経路はＬＡＮ等の専用の通信経路により実現されるが、インターネット等の公衆通信網を経由してもよい。
【００６０】
図８（Ａ）収音部２１の構成を示すブロック図、図８（Ｂ）は再生信号生成部２２の構成を示すブロック図、図８（Ｂ）は再生部２３の構成を示すブロック図である。図８（Ａ）の収音部２１は、マイクアレイ１１１、及び、収音信号送信部２１１を備える。マイクアレイ１１１は実施形態１と同様のため詳細な説明は省略する。収音信号送信部２１１はマイクアレイ１１１から入力されたマイク信号を送信する。
【００６１】
図８（Ｂ）の再生信号生成部２２は、音源分離部１１２、分離エリア制御部１１３、音声信号処理部１１４、記憶部１１５、収音信号受信部２２１、聴取点受信部２２２、再生用信号生成部２２３、再生信号送信部２２４を備える。音源分離部１１２、音声信号処理部１１４、記憶部１１５は実施形態１とほぼ同様のため詳細な説明を省略する。
【００６２】
分離エリア制御部１１３は後述する聴取点受信部２２２から入力される複数の聴取点に基づいて音源分離部１１２の音源分離を行うエリアを制御する。ここで聴取点とは、ユーザが設定する空間内での仮想の聴取者の位置と向き、および時刻からなる情報である。例えば、分離エリア制御部１１３では再生信号生成部２２の処理負荷を監視し、負荷が大きくなると聴取点の分布に基づいて分離エリア数を減らすようにエリアを制御する。例えばリアルタイムで聴取しているユーザが設定している聴取者の位置が図９（Ａ）の様に分布したとする。その場合、図９（Ｂ）に示すように、より多くの聴取点が設定されているエリアの周辺を細かく分割し、聴取点が少ないエリアを粗く分割するようにエリアを制御する。
【００６３】
また、過去の時刻の聴取点をユーザが指定してきた場合、つまりリプレイが要求された場合にはその時刻における分離エリアの状況と指定された視点に基づいて音源分離処理が必要か否かを判定し、必要な場合には処理負荷に応じて音源分離を実施する。例えば、指定された時刻においてエリア制御が行われていない場合、あるいはエリア制御されたが、今回指定された聴取点周辺は十分に細かいエリアで音源分離されている場合には改めて分離を行う必要はない。一方、指定された時刻においてエリア制御が行われ、かつ、今回指定された聴取点周辺のエリアの分割が粗い場合、分離エリア制御部１１３は聴取点の周辺のエリア分割を細かくするように音源分離部１１２へ制御信号を出力する。
【００６４】
収音信号受信部２２１は収音部２１から収音信号を受信する。聴取点受信部２２２は複数の再生部２３の各々から聴取点を受信する。受信した聴取点は分離エリア制御部１１３および再生用信号生成部２２３へ出力する。再生用信号生成部２２３は、実施形態１のリアルタイム再生用信号生成部１１６とリプレイ再生用信号生成部１１７を合わせた機能を持つ。聴取点受信部２２２から入力された聴取者の位置と向き、時刻に応じて再生信号を生成する。入力された時刻がリアルタイムであればリアルタイム再生用信号生成部１１６と同様であり、時刻が過去であればリプレイ再生用信号生成部１１７と同様になる。聴取点ごとに生成した音声信号は再生信号送信部２２４へ出力される。再生信号送信部２２４では受信した聴取点ごとの音声信号を、それぞれの再生部２３へ出力する。
【００６５】
図８（Ｃ）の再生部２３は、聴取点入力部２３１、聴取点送信部２３２、再生信号受信部２３３、及び、スピーカ２３４を備える。聴取点入力部２３１は、ユーザが時刻と収音を行っている空間内の仮想的な聴取者の位置と聴取者の向きを設定できる入力装置である。聴取点入力部２３１は、キーボード、ポインティング装置、あるいは、タッチパネル等により実現される。設定された聴取点は聴取点送信部２３２へ出力される。
【００６６】
聴取点送信部２３２はユーザによって設定された聴取点を聴取点受信部２２２へ出力する。再生信号受信部２３３は聴取点入力部２３１で設定した聴取点に対応する音声信号を受信し、スピーカ２３４へ出力する。スピーカ２３４では入力された音声信号をＤ／Ａ変換してスピーカから放音する。
【００６７】
（処理手順）
続いて、音響システム２０が実行する処理の手順について９４を参照して説明する。図１０Ａから図１０Ｃは、本実施形態の音響システム２０が実行する処理の手順を示すフローチャートである。
【００６８】
図１０Ａに示すように、はじめにマイクアレイ１１１において空間内の音の収音が行われる（Ｓ２０１）。収音された音声は収音信号送信部２１１へ出力される。続いて収音信号が収音部２１の収音信号送信部２１１から送信され、再生信号生成部２２の収音信号受信部２２１において受信される（Ｓ２０２）。受信された収音信号は音源分離部１１２へ出力される。続いて複数の再生部２３の聴取点入力部２３１において聴取点が入力される（Ｓ２０３）。入力された聴取点は聴取点送信部２３２へ出力される。
【００６９】
続いて聴取点が聴取点送信部２３２から送信され、再生信号生成部２２の聴取点受信部２２２において受信される（Ｓ２０４）。受信された複数の聴取点は分離エリア制御部１１３および再生用信号生成部２２３へ出力される。
【００７０】
続いて分離エリア制御部１１３において処理がリアルタイム再生に間に合うか否かの判定が行われる（Ｓ２０５）。リアルタイム再生に間に合うと判定された場合（Ｓ２０５でＹＥＳ）はＳ２０８へ進み、リアルタイム再生に間に合わないと判定された場合（Ｓ２０５でＮＯ）はＳ２０６へ進む。
【００７１】
Ｓ２０６では、分離エリア制御部１１３において分離エリアの制御が行われる。すなわち、Ｓ２０６では複数のエリアを結合し、エリア数を減らす制御を音源分離部１１２へ出力する。さらに分離エリア制御リストを生成し、分離エリアの制御情報を管理する。続いて音源分離部１１２ではエリアが制御されると、そのフレームの収音信号を記憶部１１５へ出力し、記憶部１１５において入力された収音信号を記録する（Ｓ２０７）。そして、Ｓ２０８へ進む。
【００７２】
Ｓ２０８では、音源分離部１１２においてエリアごとの音源分離が行われる。分離されたエリアごとの音声信号は音声信号処理部１１４へ出力される。
【００７３】
続いて音声信号処理部１１４において音声信号の処理が行われる（Ｓ２０９）。処理された音声信号は記憶部１１５へ出力される。
【００７４】
続いて記憶部１１５において処理されたエリアごとの音声信号が記録される（Ｓ２１０）。続いて再生用信号生成部２２３では記憶部１１５から聴取点受信部２２２から入力された複数の聴取点の時刻に応じてエリアごとの音声を取得し、聴取点ごとに再生用の音声のミキシングが行われる（Ｓ２１１）。ミキシングされた複数の再生信号は再生信号送信部２２４へ出力される。
【００７５】
続いて聴取点ごとに生成された複数の再生信号は再生信号送信部２２４から送信され、入力した聴取点に対応する再生信号が、それぞれの再生部２３の再生信号受信部２３３において受信される（Ｓ２１２）。最後に再生信号受信部２３３で受信した再生信号はスピーカから再生される（Ｓ２１３）。
【００７６】
次に、図１０（Ｂ）を用いて図１０（Ａ）のＳ２０５において処理が間に合わないと判定された場合で、エリア数を減らした場合の処理を説明する。
【００７７】
分離エリア制御部１１３では処理負荷が所定値を下回った場合に、分離エリア制御リストを参照し、分離を行う時刻（フレーム）とエリアを決定する（Ｓ２２１）。分離するエリアや時刻の情報は音源分離部１１２へ出力される。
【００７８】
続いて音源分離部１１２において、記憶部１１５から入力された時刻情報に基づいて収音信号を読み出す（Ｓ２２２）。Ｓ２２３からＳ２２５についてはＳ２０８からＳ２１０と同様のため詳細な説明を省略する。
【００７９】
以上説明したように、処理負荷および複数の聴取点の分布に基づいて分離エリアを結合して、エリア数を低減させる。そのため、重要な音声信号を忠実に再現することができるとともに、処理を効率化してリアルタイム処理を実現することができる。さらにリプレイ時にはリアルタイム時には伝送が間に合わなかったエリアに対しても分離された音を使って再生信号を生成できる。
【００８０】
本実施形態において再生部２３は簡単のため全て同じ構成としたが、その構成は異なっていてもよい。本実施形態では記載しなかったが、自由視点映像を生成する自由視点映像生成システムと組み合わせて用いてもよい。例えば複数の撮像装置で音声を収音した空間と略同じ空間をあらゆる方向から撮像し、その撮像した画像から自由視点映像を生成する。その場合、聴取点は視点から算出するようになっていてもよいし、聴取点に連動して自由視点映像が生成されるようになっていてもよい。
【００８１】
本実施形態において再生用信号生成部２２３は再生信号生成部２２内に構成されたが、再生部２３内に構成されるようになっていてもよい。本実施形態において分離エリア制御部１１３は、複数の聴取者の位置のみを用いて分離エリアを決定したが図９（Ｃ）に示すように聴取者の向きに応じて聴取の向き前方の前方に存在する領域を細かく分割し、後方を粗く分割するようにしてもよい。
【００８２】
本実施形態においてエリア制御を行った場合、聴取点入力部２３１において入力できる聴取位置を制限するようにしてもよい。本実施形態において再生部２３は一律で扱ったが、分離エリアを制御するために聴取点ごとに異なる重みを持っていてもよい。また実施形態１と同様に、エリア制御の状況を表示する表示装置や分離エリア制御を指示する入力装置を備えていてもよい。
【００８３】
本発明の各実施形態においては、再生までの時間が限られているリアルタイム再生においても音源分離するエリアの数を制御することで空間全体を収音し、かつ重要なエリアの分解能を保ったまま再生することができる。
【００８４】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８５】
１００：音声信号処理装置、１１１：マイクアレイ、１１２：音源分離部、１１３：分離エリア制御部、１１４：音声信号処理部、１１５：記憶部、１１６：リアルタイム再生用信号生成部、１１７：リプレイ再生用信号生成部
【図１】
2018074252.tif 000003
【図２】
2018074252.tif 000004
【図３】
2018074252.tif 000005
【図４】
2018074252.tif 000006
【図５】
2018074252.tif 000007
【図６】
2018074252.tif 000008
【図７】
2018074252.tif 000009
【図８】
2018074252.tif 000010
【図９】
2018074252.tif 000011
【図１０】
2018074252.tif 000012