(57)【要約】【課題】複数エリアを有する空間から収音した音声の欠損を低減させた音声信号処理装置を提供すること。【解決手段】音声信号処理装置は、複数のエリアを有する空間から収音した音声の音声信号を処理する処理手段と、前記音声信号の処理量または処理後の音声信号の再生部への送信量が所定量以上であるかを判定する判定手段と、前記判定手段が前記処理量または送信量は前記所定量以上であると判定した場合、前記処理量または送信量を制限する制御手段と、を備える。【選択図】  図１
2018006892.tif 000002
【特許請求の範囲】
【請求項１】
複数のエリアを有する空間から収音した音声の音声信号を処理する処理手段と、
前記音声信号の処理量または処理後の音声信号の再生部への送信量が所定量以上であるかを判定する判定手段と、
前記判定手段が前記処理量または送信量は前記所定量以上であると判定した場合、前記処理量または送信量を制限する制御手段と、
を備えることを特徴とする音声信号処理装置。 
【請求項２】
前記判定手段は、前記再生部におけるリアルタイム再生の状況に基づいて、前記判定を行うことを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
前記制御手段により処理量または送信量が制限された音声信号を復元する復元手段をさらに備えることを特徴とする請求項１または２に記載の音声信号処理装置。
【請求項４】
前記制御手段は、隣接する少なくとも２つのエリアの音声信号を合成することにより前記送信量を制限することを特徴とする請求項１から３のいずれか１項に記載の音声信号処理装置。
【請求項５】
前記制御手段は、前記音声の聴取点から略同じ方向にある複数のエリアの音声信号を合成することにより前記送信量を制限することを特徴とする請求項１から３のいずれか１項に記載の音声信号処理装置。
【請求項６】
各エリアの音声信号を比較する比較手段をさらに備え、
前記制御手段は、前記比較手段の比較結果に基づいて、合成するエリアを決めることを特徴とする請求項４または５に記載の音声信号処理装置。
【請求項７】
前記比較手段は、エリアごとの音声信号の相関度に基づいて前記比較を行うことを特徴とする請求項６に記載の音声信号処理装置。
【請求項８】
前記制御手段は、エリアごとの音声信号の量子化ビット数を低減することにより前記送信量を制限することを特徴とする請求項１から３のいずれか１項に記載の音声信号処理装置。
【請求項９】
前記制御手段は、エリアごとの音声信号のサンプリング周波数を低減することにより前記送信量を制限することを特徴とする請求項１から３のいずれか１項に記載の音声信号処理装置。
【請求項１０】
前記制御手段は、前記音声の聴取点からエリアまでの距離に応じて、エリアごとに前記処理量または送信量の制限を行うことを特徴とする請求項１から９のいずれか１項に記載の音声信号処理装置。
【請求項１１】
前記制御手段は、エリアごとに設定された重要度に応じて、エリアごとに前記処理量または送信量の制限を行うことを特徴とする請求項１から９のいずれか１項に記載の音声信号処理装置。
【請求項１２】
前記処理は音源分離処理であることを特徴とする請求項１から１１のいずれか１項に記載の音声信号処理装置。
【請求項１３】
前記制御手段は、音源分離処理に使用する音声のチャンネル数を低減することにより前記処理量を制限することを特徴とする請求項１２に記載の音声信号処理装置。
【請求項１４】
前記制御手段は、音源分離処理に使用するフィルタのタップ数を低減することにより前記処理量を制限することを特徴とする請求項１２に記載の音声信号処理装置。
【請求項１５】
前記制御手段による前記処理量または送信量の制限の状況を表示する表示手段をさらに備えることを特徴とする請求項１から１４のいずれか１項に記載の音声信号処理装置。
【請求項１６】
前記復元手段による音声信号の復元の順序を設定する手段をさらに備えることを特徴とする請求項３に記載の音声信号処理装置。
【請求項１７】
前記空間から収音を行う複数のマイクロホンからなる収音手段をさらに備えることを特徴とする請求項１から１６のいずれか１項に記載の音声信号処理装置。
【請求項１８】
前記複数のマイクロホンは、少なくとも１本の指向性マイクを含むことを特徴とする請求項１７に記載の音声信号処理装置。
【請求項１９】
請求項１から１８のいずれか１項に記載の音声信号処理装置と、
前記音声信号処理装置から送信された音声信号を受信して再生する再生部と、
を備える音響システム。
【請求項２０】
複数のエリアを有する空間から収音した音声の音声信号を処理するステップと、
前記音声信号の処理量または処理後の音声信号の再生部への送信量が所定量以上であるかを判定するステップと、
前記処理量または送信量が前記所定量以上であると判定された場合、前記処理量または送信量を制限するステップと、
を有することを特徴とする音声信号処理方法。
【請求項２１】
コンピュータを請求項１から１８のいずれか１項に記載の音声信号処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声信号処理装置および音声信号処理方法に関する。
【背景技術】
【０００２】
従来、空間を複数のエリアに分割してエリアごとの音声を取得（収音）する技術が知られている（特許文献１）。近年では、より指向性の高い収音技術が提案され、遠方の音声をクリアに録音・強調することが可能になってきている（特許文献２）。特許文献２のように、より指向性が鋭く、遠距離の音声まで録音可能なマイクを使って目的エリアの収音をすると、かなり広範囲な空間を細かいエリアに分けて収音することが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−７２７０８号公報
【特許文献２】特開２０１２−１６５１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、広範囲な空間を細かいエリアに分割してエリアごとに収音すると、収音エリア数が多くなる。収音エリア数が増加すると、エリアごとの音声分離処理量（音源分離処理量）も増加する。収音エリア数が多い場合に、収音した音声を例えばリアルタイム再生しようとすると、音声分離処理が間に合わず音声データが欠損してしまう（音声が途切れてしまう）可能性がある。
本発明は上記した従来技術の課題を解決するためになされたものであり、複数エリアを有する空間から収音した音声の音声処理の過負荷による音声欠損を低減させた音声信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の１つの態様による音声信号処理装置は、複数のエリアを有する空間から収音した音声の音声信号を処理する処理手段と、前記音声信号の処理量または処理後の音声信号の再生部への送信量が所定量以上であるかを判定する判定手段と、前記判定手段が前記処理量または送信量は前記所定量以上であると判定した場合、前記処理量または送信量を制限する制御手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、音声信号の処理量または送信量が所定量以上になることを制限するので、音声の欠損を低減させて再生することができる。
【図面の簡単な説明】
【０００７】
【図１】実施形態１の音声信号処理装置の機能構成を示すブロック図。
【図２】実施形態１の音声信号処理を示すフローチャート。
【図３】実施形態１の音声信号処理装置のハードウェア構成を示すブロック図。
【図４】実施形態２の音声信号処理システムの構成を示すブロック図。
【図５】実施形態２の音声信号処理を示すフローチャート。
【図６】エリア音声の合成を説明する図。
【図７】データ制御状況を表示する表示部を示す図。
【発明を実施するための形態】
【０００８】
以下、本発明の音声信号処理装置の実施形態を、添付図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正または変更され得る。なお、以下の記載においては、同一の構成については、同じ符号を付して説明する。本明細書において、音声とは、人の発する声に限定されず、人や動物の声はもとより楽音や環境音などのマイクロホンで収音可能な種々の音一般を意味する。
【０００９】
実施形態１
（音声信号処理装置の構成）
図１は音声信号処理装置１００の構成を示す機能ブロック図である。音声信号処理装置１００は、マイクアレイ１１１、音源分離部１１２、データ制御部１１３、第１記憶部１１４、リアルタイム再生用信号生成部１１５、第２記憶部１１６およびリプレイ再生用信号生成部１１７を有する。音声信号処理装置１００の各構成要素は、バス１１８により相互接続されている。音声信号処理装置１００は、有線または無線により、再生装置１１９に接続されている。リアルタイム再生用信号生成部１１５は、リアルタイムで音声を再生する再生部である。
【００１０】
マイクアレイ１１１は空間から収音を行う複数のマイクロホンからなる。マイクアレイ１１１は、音源分離部１１２に接続されている。マイクアレイ１１１は、空間の音声をマイクロホンで収音し、収音した音声の音声信号をＡ／Ｄ変換したのち、音源分離部１１２へ出力する。マイクアレイ１１１は、収音部である。
音源分離部１１２は、マイクロプロセッサなどの処理装置からなる。音源分離部１１２は、マイクアレイ１１１から入力された音声信号を用いて空間をＮ（Ｎ＞１）のエリアに分割するように音源分離処理を行う。音源分離処理は、処理フレームごと、つまり所定の時間（時間間隔、時間単位）ごとに行われる。音源分離部１１２は、例えば前記所定の時間ごとにビームフォーミング処理を行い、エリア（ａ）ごとの音声信号を取得する。取得した音声信号は、時刻（ｔ）情報と共にリアルタイム再生用信号生成手段１１５および第２記憶手段１１６へ出力される。本実施形態では、マイクアレイ１１１が有するマイク数をＭとする。つまり、マイクアレイ１１１はＭチャンネル（音声チャンネル）のマイクアレイである。
【００１１】
データ制御部１１３は、音源分離部１１２の処理量を常時検出する。そして、データ制御部１１３は、音源分離部１１２の処理量と音源分離部１１２の処理許容量とに基づいて、音源分離部１１２で音源分離に使用する音声チャンネル数を制御（制限）する。例えば、音源分離部１１２の処理負荷が大きく、マイクアレイ１１１の全てのマイクを使って音源分離処理を行うと処理がリアルタイム再生に間に合わない場合、データ制御部１１３は音源分離部１１２で使用する音声チャネルの数を減らす。つまり、音源分離部１１２の処理量（処理負荷）が処理許容量以上である場合、音源分離部１１２はＭチャンネルのうちＰ（Ｐ＜Ｍ）チャンネルの音声をピックアップして、音源分離処理を行う。データ制御部１１３は、音声チャンネル数を制御・制限することによって、音源分離部１１２の取り扱いデータ量を低減している。本実施形態において、音源分離部１１２の処理量が処理許容量以上である場合とは、例えば、音源分離処理がリアルタイム再生に間に合わない場合である。なお、音源分離のビームフォーミング処理に使用するフィルタは、使用するマイク数に応じて事前に用意しておくとよい。
【００１２】
データ制御部１１３はさらに、データ制限リストを作成して管理する。より詳しくは、データ制御部１１３は、時間ごとおよびエリアごとに使用したマイク数などのデータをデータ制限リストとして管理する。また、データ制御部１１３は、音源分離部１１２の処理負荷が軽くなると（処理許容量より小さくなると）、データ制限リストを参照し、データ制限の行われたフレーム（時間フレーム）の再処理が行われるように音源分離部１１２へ命令を送信する。「データ制限を行う」または「データ制限する」とは、音源分離部１１２における音源分離処理の処理量を制限することをいう。
第１記憶部１１４は例えばＨＤＤ、ＳＳＤ、メモリのような記憶装置である。第１記憶部１１４は、音源分離部１１２においてデータ制限された（チャンネル数を削減された）時間フレームの全音声チャンネルの信号を、時刻情報とともに記録（記憶）する。ＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略である。ＳＳＤは、Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅの略である。音源分離部１１２の処理許容量は、例えば、第１記憶部１１４に記憶されている。
【００１３】
リアルタイム再生用信号生成部１１５は、音源分離部１１２から得たエリアごとの音声信号を収音から所定の時間内にミキシングすることでリアルタイム再生用の信号を生成し、当該信号を再生装置１１９に出力する。例えば、リアルタイム再生用信号生成部１１５は、時間に応じて変化する空間内の仮想の聴取点（聴取者の位置）と仮想の聴取者の向き（以下、「聴取点と聴取者の向き」と称する）と、再生環境の情報とを外部から取得し、音源のミキシングを行う。再生環境とは、例えば、リアルタイム再生用信号生成部１１５で生成した信号を再生する再生装置１１９の種類（スピーカであればステレオ、サラウンド、マルチチャンネルスピーカなのか、あるいはヘッドホンなのか）を意味する。
【００１４】
第２記憶部１１６は、例えばＨＤＤ、ＳＳＤ、メモリのような記憶装置である。第２記憶部１１６は、音源分離部１１２において分離されたエリアごとの音声信号を、エリアおよび時刻情報とともに記録する。
リプレイ再生用信号生成部１１７は、時刻を指定されてリプレイ再生が要求された場合、当該時刻の音声データ（音声信号）を第２記憶部１１６から取得し、リアルタイム再生用信号生成部１１５と同様の処理を行う。そして、リプレイ再生用信号生成部１１７は、処理後の音声データを再生装置１１９に出力する。つまり、リプレイ再生用信号生成部１１７は、第２記憶部１１６から得たエリアごとの音声信号をミキシングすることでリプレイ再生用の信号を生成し、当該音声信号を再生装置１１９に出力する。
【００１５】
（音声信号処理のフロー）
図２（Ａ）から図２（Ｃ）は、本実施形態の音声信号処理装置１００が実行する処理を示すフローチャートである。
図２（Ａ）は、収音からリアルタイム再生用信号を生成するまでのフローを示す。図２（Ａ）に示されているように、はじめに、マイクアレイ１１１により、空間内の音声の収音が行われる（Ｓ１１１）。収音された各チャンネルの音声の音声信号は、マイクアレイ１１１から音源分離部１２へ出力される。
続いてデータ制御部１１３が、音源分離部１１２の処理量に基づいて、音源分離処理がリアルタイム再生に間に合うか否かを判定する（Ｓ１１２）。Ｓ１１２の判定がＹｅｓの場合、Ｓ１１５に進む。Ｓ１１２の判定がＮｏの場合、Ｓ１１３に進む。
【００１６】
リアルタイム再生に間に合わないと判定された場合（Ｓ１１２：Ｎｏ）、データ制御部１１３は、音源分離部１１２へ、音源分離処理に使用するチャンネル数を減らすように命令を出力する。さらに、データ制御部１１３は、データ制限リストを作成する。
続いて音源分離部１１２は、データ制御部１１３からの命令に基づいて、チャンネル数の削減を行う（Ｓ１１３）。音源分離部１１２は、データ制御部１１３からの命令に基づいて、音源分離に使用する音声（チャンネル）をあらかじめ決められた通りに削減する。本実施形態では、すべてのエリアの音源分離のチャンネル数を一律に削減する。
続いて、音源分離部１１２は、第１記憶部１１４に、チャンネル数を削減されたフレームの全チャンネルの音声信号を記録する（Ｓ１１４）。Ｓ１１４の後に、Ｓ１１５に進む。
【００１７】
Ｓ１１５において、音源分離部１１２は音源分離処理を行う。より詳しくは、音源分離部１１２は、あらかじめ設定された境界に基づき前記空間を分割したエリアごとの音源（音声信号）を取得する。取得されたエリアごとの音声信号は、音源分離部１１２からリアルタイム再生用信号生成部１１５および第２記憶部１１６へ出力される。
Ｓ１１５の後（音源分離部１１２から音声信号を受け取ると）、リアルタイム再生用信号生成部１１５は、リアルタイム再生用の音声信号のミキシングを行う（Ｓ１１６）。リアルタイム再生用にミキシングされた音声信号は、リアルタイム再生用信号として、リアルタイム再生用信号生成部１１５から外部の再生装置１１９に出力される。なお、リアルタイム再生用信号は、再生装置１１９に出力せずに、放送用信号として音声信号処理装置１００から他の機器に出力（送信）されてもよい。
第２記憶部１１６は、音源分離部１１２から音声信号を受け取ると、各エリアの音声信号の記録を行う（Ｓ１１７）。
なお、リプレイ再生用の音声信号は、第２記憶部１１６のエリアごとの音声信号を用いて作成される。
【００１８】
次に、図２（Ｂ）を用いて、図２（Ａ）のＳ１１２の判定がＮｏになった後に、音源分離部１１２の負荷が小さくなった場合の処理を説明する。より詳しくは、Ｓ１１２においてリアルタイム再生に処理が間に合わなかったと判定された後に、音源分離部１１２の処理量が所定量（処理許容量）より小さくなった場合の処理を説明する。
データ制御部１１３は、音源分離部１１２の処理量が所定量（処理許容量）より小さくなると、データ制限リストに基づいて第１記憶部１１４から音声データ（音声信号）を読み出す（Ｓ１２１）。読み出された音声信号は、音源分離部１１２に送られる。
読み出された音声信号を受け取った音源分離部１１２は、データ制限リストに記載されているフレーム（Ｓ１１３でチャンネル数を削減されたフレーム）の音声信号に、再度音源分離処理を行う（Ｓ１２２）。音源分離処理を行った音声信号は、音源分離部１１２から第２記憶部１１６へ出力される。つまり、当該フレームについては、すべてのチャンネルの音声信号の音源分離処理が行われたものが、第２記憶部１１６へ出力される。換言すると、当該フレームについて、全チャンネルデータを使用した音源分離を行った音声信号が、第２記憶部１１６へ出力される。
【００１９】
第２記憶部１１６は、入力されたエリアの音声信号を以前の音声データ（音声信号）に上書きし記録する（Ｓ１２３）。
図２（Ｃ）は、リプレイ再生が要求された場合の処理フローを示している。リプレイ再生が要求されると、リプレイ再生用信号生成部１１７は、第２記憶部１１６からリプレイ時間に対応したエリアごとの音声信号を読み出す（Ｓ１３１）。
続いてリプレイ再生用信号生成部１１７は、リプレイ再生用の音声信号のミキシングを行う（Ｓ１３２）。リプレイ再生用にミキシングされた音声信号は、リプレイ再生用信号生成部１１７から再生装置１１９へ出力されるか放送用信号として他の機器に出力される。
【００２０】
（実施形態１の効果）
以上説明したように、本実施形態の音声信号処理装置１００は、音源分離部１１２の処理量に応じて音源分離に使用するマイク数（チャンネル数）を制御（制限、削減）する。マイク数を制限・削減すると、音源分離度（分解能）は低下するが、音声信号処理装置１００は、リアルタイム再生に間に合うように音源分離を終了することができる。つまり、リアルタイム再生において、音声が欠損することはない。
より詳しくは、音源分離部１１２における信号処理の処理量が所定量以上である場合、従来の手法では、リアルタイム再生時に音声が欠損する可能性があった。これに対し、本実施形態では、音源分離部１１２における信号処理の処理量が所定量以上である場合、リアルタイム再生に間に合う範囲（量）で音源分離処理を行って、音声信号を音声再生部に供給している。よって、リアルタイム再生において音声欠損がないか、あるいは音声欠損を低減させることができる。
【００２１】
また、本実施形態では、音源分離部１１２の処理負荷が所定量未満になると、全チャンネルデータを使用した音源分離を行うことができる。そして、全チャンネルデータを使用した音源分離を行った後の音声データは第２記憶部１１６に記憶される。リプレイ再生時に、第２記憶部１１６に記憶した音声データを使用すれば、十分な分解能の音声データをリプレイ再生することができる。本実施形態では、リアルタイム再生時にはすべての音源分離が間に合わなかったエリアに対しても、後に音源分離を行うので（図２（Ｂ）のＳ１２２）、リプレイ再生時には、完全に音源分離された音声信号を使って再生音声を生成できる。
本実施形態は、チャンネル数を制御することにより、音源分離処理がリアルタイム再生に間に合わない場合に使用するデータ量を低減している。
【００２２】
（変形例）
なお、本実施形態においてマイクアレイ１１１はマイクロホンからなるとしたが、マイクロホンと反射板などの構造物との組み合わせからなってもよい。
またマイクアレイ１１１で使用するマイクロホンは、無指向性マイクロホンであってもよいし、指向性マイクロホンであってもよいし、それらの組み合わせでもよい。つまり、マイクアレイ１１１は、少なくとも１本の指向性マイクを含んでもよい。
本実施形態においてデータ制御部１１３はある時間フレームにおいて全てのエリアの音源分離のチャンネル数を一律に削減したが、エリアごとにチャンネルの削減率を変えてもよい。例えば、音声信号処理装置１００は、エリア重要度設定部をさらに備える。そして、エリア重要度設定部は、エリアごとの重要度（優先度）を設定する。音声信号処理装置１００は、設定されたエリアごとの重要度に応じて、例えば、重要度の高いエリアはチャンネルの削減率が低く、重要度の低いエリアはチャンネルの削減率が高くなるようにする。より具体的には、収音すべき空間がサッカースタジアムの場合、ゴール付近のエリアの重要度を高く設定する。また収音すべき空間が道路である場合、信号機付近のエリアの重要度を高く設定する。
【００２３】
またエリアごとの重要度は、処理フレームよりも前のフレームの音声信号に基づいて決定してもよい。例えば連続する音声がフレーム間にまたがる場合、処理を急に変えると音質が変わってしまうおそれがある。そのため、例えば、直前のフレームの音声信号のレベルが所定レベルより高いエリアは、重要度が高くなるように設定する。あるいは、所定時間の平均音声レベルが所定値より高いエリアは重度が高くなるように設定してもよい。
本実施形態においてデータ制御部１１３は、処理負荷が所定量より小さくなった場合に、チャンネル数を削除されたフレームの全チャンネルの音声信号を使用して再度音源分離を行った（Ｓ１２１〜Ｓ１２２）が、チャンネルの一部を用いてもよい。例えば、音源分離のビームフォーミング処理が遅延和処理である場合、音源分離を行った際に使用しなかったチャンネルの遅延和信号を先の音源分離で遅延和処理した信号に加算する。この加算により、全部のチャンネルを使用して遅延和処理した場合と同様の信号が得られる。ビームフォーミング処理は線形処理であるためチャンネルを分割して別々に処理を行い後で加算（あるいは減算）を行うことができる。このようにすれば処理量の増加を抑えることができる。
【００２４】
本実施形態において音源分離部１１２はビームフォーミングを用いてエリアごとの音声収音を行ったが、その他の音源分離の手法を用いてもよい。例えばエリアごとのパワースペクトル密度(ＰＳＤ)を推定し、推定したＰＳＤに基づいてウィナーフィルタによる音源分離を行ってもよい。ＰＳＤは、Ｐｏｗｅｒ  Ｓｐｅｃｔｒａｌ  Ｄｅｎｓｉｔｙの略である。
またマイクアレイ１１１の各マイクロホンを指向性マイクとして、隣接するエリアとのクロストークを分離するために、非負値行列因子分解（ＮＭＦ）を用いてもよい。つまり、隣接するエリア同士に含まれる同じ基底を持つ成分をクロストーク成分として、アクティビティの大きさの比から音源位置を決定するようにしてもよい。その場合、処理負荷が所定量以上の場合には、基底数を減らした状態で処理を行い、処理負荷が所定量未満の場合には必要十分な基底数を用いて処理を行うようにしてもよい。ＮＭＦはＮｏｎ−ｎｅｇａｔｉｖｅ  Ｍａｔｒｉｘ  Ｆａｃｔｏｒｉｚａｔｉｏｎの略である。
【００２５】
本実施形態において、音源分離部１１２は音声チャンネル数を減らすことで音源分離部１１２の処理量を低減させたが、音声チャンネル数を減らさずに処理量を低減してもよい。例えば、音源分離部１１２は、音源分離処理に使用するフィルタのタップ数を減らすことで音源分離部１１２の処理量を低減させてもよい。例えば、処理負荷が所定量以上の場合には、フィルタをフィルタ長の半分の長さの矩形窓で切り出して使用する。そして、処理負荷が所定量未満になると、残りの半分のフィルタでフィルタリングした音声を出力し、前記フィルタ長の半分のサンプル分遅延させて加算するようにしてもよい。
【００２６】
あるいはリアルタイム再生用信号生成で設定される仮想の聴取点（仮想の聴取者の位置）および仮想の聴取者の向きに応じて音声データの処理量を制御するようにしてもよい。例えば、仮想の聴取点からエリアまでの距離が近いエリアの音声信号ほど、データ処理量が多くなるようにしてもよい。
本実施形態においてリプレイ再生用信号生成部１１７とリアルタイム再生用信号生成部１１５は同様の処理（ミキシング）を行うとした。しかしリプレイ再生用信号生成部１１７とリアルタイム再生用信号生成部１１５では異なるミキシングをしてもよい。例えば、リアルタイム再生時とリプレイ再生時とで、仮想の聴取点が異なる場合には、リプレイ再生のミキシングは、リアルタイム再生のミキシングとは異なってもよい。
【００２７】
図１に示した構成には、遅延補正、ゲイン補正、エコー除去、雑音除去等を行う音声信号処理部が含まれていないが、必要に応じて、例えば、音源分離部１１２につながる位置に音声信号処理部を設けてもよい。また、図１の音声信号処理装置１００は表示部を備えてもよい。表示部がユーザインタフェイス機能を備えていれば、音声信号処理装置１００のユーザは、表示部の表示画面を使ってエリアごとの重要度などを設定することができる。
図１に示した構成では、マイクアレイ１１１が音声信号処理装置１００に含まれているが、マイクアレイ１１１は音声信号処理装置１００に含まれなくてもよい。その場合、音声信号処理装置１００（音源分離部１１２）は、外部装置であるマイクアレイ１１１から音声信号を受け取る。また、図１に示した構成では、リアルタイム再生用信号生成部１１５およびリプレイ再生用信号生成部１１７が音声信号処理装置１００に含まれているが、再生用信号生成部１１５および（または）１１７は音声信号処理装置１００に含まれなくてもよい。
【００２８】
図２（Ａ）のフローチャートにおいて、Ｓ１１７はＳ１１６の後に実行されるように示されているが、Ｓ１１７はＳ１１６と同時に実行されてもよいし、Ｓ１１６の前に実行されてもよい。
上記の説明では、音源分離部１１２の処理量と音源分離部１１２の処理許容量とに基づいて、音源分離処理がリアルタイム再生に間に合うか否かを判定した（図２のＳ１１２）が、他の構成要素等の処理量と処理許容量に基づいて上記判定をしてもよい。例えば、音源分離部１１２の処理量と図３のＣＰＵ１２１の処理許容量に基づいて上記判定をしてもよい。音源分離部１１２がマイクプロセッサなどの処理装置からなる場合、音源分離部１１２の処理量と当該処理装置の処理許容量に基づいて上記判定をしてもよい。
【００２９】
（ハードウェア構成）
図１に示す機能ブロックの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、たとえば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡは、Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ  Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。さらに、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
【００３０】
図３は音声信号処理装置１００のハードウェア構成の一例を示す図である。この例において、音声信号処理装置１００は、ＣＰＵ１２１、ＲＡＭ１２２、ＲＯＭ１２３、外部メモリ１２４、通信インタフェイス（Ｉ／Ｆ）１２５、表示部１２６、入力部１２７及びマイクアレイ１１１を有する。ＣＰＵ１２１は、ＲＡＭ１２２、ＲＯＭ１２３、外部メモリ１２４等に格納されたプログラムを実行することにより、上記した実施形態１の音声信号処理装置１００の各部の機能を実現することができる。音声信号処理装置１００は、ＣＰＵ１２１が必要なプログラムを読み出して実行することにより、図２に示す各処理を実現することができる。通信Ｉ／Ｆ１２５は、外部の装置や機器との通信を行うインタフェイスである。音声信号処理装置１００は、通信Ｉ／Ｆ１２５を介して、図１の再生装置１１９と通信することができる。表示部１２６は、各種ディスプレイにより構成することができる。表示部１２６は、例えば、データ制御部１１３のデータ制御の実施状況（例えば、マイク数の削減状況やフィルタ長の削減状況）を表示することができる。入力部１２７は、キーボード、ポインティングデバイス（マウスなど）、タッチパネルおよび各種スイッチにより構成することができる。ユーザは、入力部１２７を用いて、音声信号処理装置１００にリプレイ再生を要求することができる。
【００３１】
実施形態２
実施形態１ではマイクアレイ１１１と音源分離部１１２とデータ制御部１１３とリアルタイム再生用信号生成部１１５とリプレイ再生用信号生成部１１７とが１つの装置１００に含まれる構成を説明したが、本発明はこのような構成に限定されない。例えば、マイクアレイと音源分離部とデータ量制御部を１つの装置に含むようにし、再生用信号生成部は当該装置から分離した構成（システム）でも実施することができる。また、マイクアレイは指向性マイクアレイを採用してもよい。このような構成を有する音声信号処理システム（音響システム）を、実施形態２として説明する。なお、実施形態１と同様な構成部には同じ参照符号を付ける。
【００３２】
（音響システム２００の構成）
図４は実施形態２の音響システム２００の構成を示すブロック図である。音響システム２００は、収音処理部（収音処理装置）２１０と再生信号生成部（再生信号生成装置）２２０とを有する。収音処理部２１０と再生信号生成部２２０は、有線もしくは無線で相互接続されており、有線もしくは無線の伝送経路（通信経路）１１８ｃを通じてデータの送受信を行うことができる。生成信号生成部は、音声信号の再生部と称してもよい。
【００３３】
収音処理部２１０は、指向性マイクアレイ２１１、音源分離部２１２、データ量制御部２１３、第１送受信部２１４および第１記憶部２１５を有する。収音処理部２１０の各構成部は、バス１１８ａにより相互接続されている。
指向性マイクアレイ２１１は、複数の指向性マイクロホンからなる。複数の指向性マイクロホンは、例えば、複数のショットガンマイクである。指向性マイクアレイ２１１は、空間をＮ（Ｎ＞１）のエリアに分割した各エリアの音声を収音するように配置される。収音したエリアごとの音声は、Ａ／Ｄ変換されたのち、所定の時間フレームサイズごとに指向性マイクアレイ２１１から音源分離部２１２へ出力される。
音源分離部２１２は、指向性マイクアレイ２１１でエリアごとに収音された音声（音源）に混じったエリア外の音声を分離する。例えば、指向性マイクで発生するサイドローブで収音してしまった音声を、他の指向性マイクの出力を使って低減する。音源分離したデータは、音源分離部２１２からデータ量制御部２１３へ出力される。つまり、音源分離部２１２は、処理後（音源分離処理後）の音声信号をデータ量制御部２１３へ出力する。
【００３４】
データ量制御部２１３は、第１送受信部２１４から再生信号生成部２２０（第２送受信部２２１）への伝送経路１１８ｃの音声データ通信量をモニタする。そして、データ量制御部２１３は、当該通信量に応じて、データ量制御部２１３から第１送受信部２１４へ出力する音声データの通信量を制御する。例えば、第２送受信部２２１への通信量（通信負荷）が所定量以上であるために、全エリアの音声データを送信する余裕がない場合、データ量制御部２１３は、隣接する２つの音源（音声信号）を合成して一つの音源として第１送受信部２１４へ出力する。全エリアに対してこの処理を行うことにより、通信量は半分に減る。その結果、第１送受信部２１４から第２送受信部２２１へ送信（伝送）される音声データの通信量も半分に減る。つまり、データ量制御部２１３は、収音処理部２１０（第１送受信部２１４）から再生信号生成部２２０へのデータ通信量を制御していると言える。なお、全エリアの音声データを送信する余裕がない場合とは、全エリアの音声データを送信するとリアルタイム再生に間に合わない場合（通信量が所定量以上である場合）のことである。音声信号を合成した場合、データ量制御部２１３は、合成した音声信号のエリア番号、フレーム番号および合成時のゲインパラメータ等が記録されている合成リストを作成する。
【００３５】
例えば、エリアＡの音声ＳＡとエリアＢの音声ＳＢをそれぞれ１：α（≦１）の比率で合成した音声をＳＣとすると、ＳＣ＝ＳＡ＋α×ＳＢとなる。第１送受信部２１４から第２送受信部２２１へのデータ通信量が所定量以上の場合、データ量制御部２１３は、合成した音声ＳＣを第１送受信部２１４に出力する。その後、前記通信量が所定量未満になると、データ量制御部２１３は、上記合成リストに基づいて音声信号を第１送受信部２１４へ送信する。より詳しくは、データ量制御部２１３は、通信の負荷が低くなり余裕ができると、ゲインパラメータαとエリアＢの音声ＳＢとフレーム番号を第１送受信部２１４へ送信する。
【００３６】
第１送受信部２１４は、データ量制御部２１３から入力されたエリアごとの音声信号を再生信号生成部２２０へ出力する。より詳しくは、データ量制御部２１３においてデータ合成がされていない場合、第１送受信部２１４は、当該エリアの音声信号を第２送受信部２２１へ送信する。データ量制御部２１３においてデータ合成がされている場合、第１送受信部２１４は、データ合成された音声信号を第２送受信部２２１へ送信する。データ量制御部２１３が上記合成リストに基づいて音声信号を第１送受信部２１４へ送信した場合、この音声信号はゲインパラメータを含む。
【００３７】
再生信号生成部２２０は、第２送受信部２２１、リアルタイム再生用信号生成部２２２、第２記憶部２２３、リプレイ再生用信号生成部２２４およびデータ復元処理部２２５を有する。再生信号生成部２２０の各構成部は、バス１１８ｂにより相互接続されている。
第２送受信部２２１は、第１送受信部２１４から出力された音声信号を受信し、当該音声信号をリアルタイム再生用信号生成部２２２および第２記憶部２２３へ出力する。
また、第２送受信部２２１は、ゲインパラメータαを含む音声データ（音声信号ＳＢ）を第１送受信部２１４から受信した場合、当該受信データをデータ復元処理部２２５へ出力する。
【００３８】
リアルタイム再生用信号生成部２２２、第２記憶部２２３、リプレイ再生用信号生成部２２４は、それぞれ、実施形態１のリアルタイム再生用信号生成部１１５、第２記憶部１１６、リプレイ再生用信号生成部１１７とほぼ同様のものである。
データ復元処理部２２５は、第２送受信部２２１から音声信号ＳＢ、ゲインパラメータα、エリア情報および時間情報を受け取ると、当該時間とエリアに対応する音声信号ＳＣを第２記憶部２２３から取得する。第２記憶部２２３から取得した音声信号ＳＣと第２送受信部２２１から入力された音声信号ＳＢとゲインパラメータαとを用いて、データ復元処理部２２５は、エリアＡの音声信号ＳＡ（＝ＳＣ−α×ＳＢ）を算出する。データ復元処理部２２５は、算出した音声信号ＳＡ、入力された音声信号ＳＢ、エリア情報および時間情報を第２記憶部２２３へ出力する。これにより、データ復元処理部２２５は、音声信号ＳＡと音声信号ＳＢを復元したと言える。
リアルタイム再生用信号生成部２２２は、第２送受信部２２１から入力された音声信号をミキシングして、リアルタイム再生信号を生成する。
リプレイ再生用信号生成部２２４は、第２記憶部２２３から入力された音声信号をミキシングして、リプレイ再生信号を生成する。
【００３９】
（音響システム２００の処理フロー）
次に、音響システム２００の処理フローを、図５（Ａ）から図５（Ｃ）を参照して説明する。
図５（Ａ）に示すように、はじめに、指向性マイクアレイ２１１が、空間内の音の収音を行う（Ｓ２１１）。収音された各エリアの音声の音声信号は、指向性マイクアレイ２１１から音源分離部２１２へ出力される。
音源分離部２１２は、入力された音声信号に対してエリアごとの音声信号を取得するための音源分離処理を行う（Ｓ２１２）。音源分離処理された音声信号は、音源分離部２１２からデータ量制御部２１３へ出力される。
【００４０】
データ量制御部２１３は、データ伝送がリアルタイム再生に間に合うか否かの判定（Ｓ２１３）を行う。データ量制御部２１３は、収音処理部２１０と再生信号生成部２２０との間の伝送経路１１８ｃの通信負荷（音声データの送信量）に応じて、音声データの伝送完了までの時間を推定し、リアルタイム再生に間に合うか否かを判定する。リアルタイム再生に間に合うと判定した場合、データ量制御部２１３は、そのエリアの音声データを第１送受信部２１４へ出力する。第１送受信部２１４は、当該音声データを第２送受信部２２１へ送信する（Ｓ２１６）。
【００４１】
一方、データ量制御部２１３は、リアルタイム再生に間に合わないと判定した場合、隣接する２つのエリアの音声データを合成する（Ｓ２１４）。上記した例と同じように、データ量制御部２１３は、エリアＡの音声ＳＡとエリアＢの音声ＳＢを１：αの比率で合成し、合成音声ＳＣを生成するとする。合成の情報は、合成リストとして管理される。合成された音声データはエリアＡの音声データとして、データ量制御部２１３から第１送受信部２１４へ出力される。
音声データの合成が行われると、第１記憶部２１５は、合成前の音声データ（ＳＡ，ＳＢ）と、ゲインパラメータαとを、時刻情報とエリア情報とに紐づけて記録する（Ｓ２１５）。
Ｓ２１５の後、第１送受信部２１４は、合成した音声データを第２送受信部２２１送信する（Ｓ２１６）。
第２送受信部２２１は、第１送受信部２１４から送信されたエリアの音声信号を受信する（Ｓ２１７）。受信されたエリアの音声信号は、第２送受信部２２１からリアルタイム再生用信号生成部２２２および第２記憶部２２３へ出力される。
Ｓ２１８およびＳ２１９は、実施形態１のＳ１１６およびＳ１１７と同様であるので詳細な説明は省略する。
【００４２】
次に、図４（Ｂ）を用いて図４（Ａ）のステップＳ２１３においてリアルタイム再生にデータ伝送が間に合わなかった場合で、エリアＡとエアリＢの音声が合成された場合の処理を説明する。
データ量制御部２１３は、通信負荷が所定量より小さくなると、合成リストに基づき第１記憶部２１５から合成したエリアＢの音声信号ＳＢとゲインパラメータαの読み出しを行う（Ｓ２２１）。読み出された音声信号ＳＢおよびゲインパラメータαは、データ量制御部２１３から第１送受信部２１４へ出力される。
ステップＳ２２２は図５（Ａ）のＳ２１６と同様のため説明を省略する。
【００４３】
続いて第２送受信部２２１が、第１送受信部２１４から音声データＳＢを受信する（Ｓ２２３）。第２送受信部２２１は、ゲインパラメータαを含む音声データＳＢを受信すると、当該データＳＢをデータ復元処理部２２５へ出力する。
データ復元処理部２２５は、エリアＡの音声データＳＡの復元算出を行う（Ｓ２２４）。データ復元処理部２２５で算出された音声データＳＡは、第２記憶部２２３へ出力される。
最後に第２記憶部２２３は、算出された音声データＳＡおよびＳ２２３で受信した音声データＳＢを記録する（Ｓ２２５）。
図５（Ｃ）に示されているリプレイ再生が要求された場合の処理フロー（Ｓ２３１、Ｓ２３２）については実施形態１の処理（Ｓ１３１、Ｓ１３２）と同様のため説明を省略する。
【００４４】
（実施形態２の効果）
以上説明したように、実施形態２の音響システム２００は、伝送経路１１８ｃの音声信号の送信量（伝送量、負荷）に基づいて隣接するエリアの音声信号を合成し、伝送経路１１８ｃの音声信号の量（データ量）を制御している。このような制御をすることで、実施形態２の音響システム２００は、すべての収音エリアについて、リアルタイム再生に間に合うように音声信号をリアルタイム再生用信号生成部２２２に供給することができる。よって、再生装置１１９でリアルタイム再生が行われるときに、音声が途切れることのない（あるいは音声の途切れが少ない）リアルタイム再生（放送）を行うことができる。
【００４５】
さらにリプレイ再生時には、リアルタイム再生のときに伝送が間に合わず合成音声ＳＣを使ったエリア（ＡとＢ）についても、音響システム２００は、分離された音（ＳＡとＳＢ）を使ってリプレイ再生音声を生成できる。つまり、リプレイ再生時には、すべてのエリアについて、元の音声信号を使って（合成した音声信号を使わずに）再生音を生成できる。
第１送受信部２１４から第２送受信部２２１への信号送信量が所定量以上である場合、従来の手法ではリアルタイム再生時に音声が欠損する可能性がある。これに対し、本実施形態では、リアルタイム再生に間に合う範囲で、複数のエリアの音声信号を合成し、合成音声信号と、合成されていない音声信号とを第１送受信部２１４から送信している。よって、確実にリアルタイム再生できるように、音声信号が第１送受信部２１４から第２送受信部２２１に届くようになっている。
【００４６】
（変形例）
本実施形態においてエリアごとの音声の収音には指向性マイクアレイ２１１を用いたが、実施形態１のようにマイクアレイを用いて収音した後、音源分離を行ってもよい。また、無指向性のマイクロホンは、設定したエリアそれぞれの略中心に配置して音声を取得するようにしてもよい。
本実施形態においては、データ量制御部２１３は、説明を容易にするために、隣接する２つのエリアの音声信号を合成したが、隣接する３つ以上のエリアの音声信号を合成してもよい。つまり、合成するエリア数は２に限定されず、３以上でもよい。例えば、データ量制御部２１３は、隣接する４つのエリアの音声信号を合成するようにしてもよい。ただし、合成するエリアの数を多くしすぎると、聴取点に応じたミキシングが難しくなる可能性がある。したがって、合成するエリアの数は、例えば、聴取点に応じたミキシングの困難の程度に応じて決める。
【００４７】
またデータ量制御部２１３は、リアルタイム再生用信号生成時の聴取点および聴取者の向きに基づいて、所定数のエリアの音声信号を合成してもよい。リアルタイム再生用信号生成時の聴取点および聴取者の向きは、例えば、リアルタイム再生用信号生成部２２２から第２送受信部２２１および第１送受信部２１４を経由してデータ量制御部２１３へ送られる。より具体的には、データ量制御部２１３は、聴取点からエリアまでの距離に応じて、低減するデータ量を決定（変更）してもよい。つまり、聴取点の近傍のエリアについては、エリアの粒度を適切な粒度に保つためエリア同士の合成はせず、聴取点から離れるに従って合成するエリアの数を増やすようにしてもよい。あるいは音声の聴取点からの略同じ方向にある複数のエリアの音声信号を合成するようにしてもよい。
データ量制御部２１３は、エリアごとの重要度を設定する設定部を有してもよい。その場合、重要度に応じて、低減するデータ量を決定（変更）してよい。
【００４８】
音声信号の合成によりエリアの数を減らす場合、合成後のエリアの形状は、合成前のエリアの形状に基づいていなくてもよい。音声信号の合成により全体としてエリアの数が減少していれば、第１送受信部２１４から第２送受信部２２１への音声信号の送信量は減少するので、合成後のエリアの形状はユーザが適宜決めてよい。図６（Ａ）には、合成前の４つのエリア５０１、５０２、５０３および５０４が示されている。以下の記載において、これら４つのエリアは、エリアＡ、エリアＢ、エリアＣおよびエリアＤと称する。図６（Ａ）の４つのエリア（エリアＡ、エリアＢ、エリアＣおよびエリアＤ）は、音声信号の合成により、図６（Ｂ）に示すような３つのエリア５０３、５０５および５０６になるとする。つまり、図６の例では、４つのエリアＡ〜エリアＤが３つのエリアＣ、ＥおよびＦになる。図６の例では、エリアＣは合成されておらず、エリアＡ、ＢおよびＤがエリアＥおよびＦに合成されている。
図６の例では、エリアＣの音声はＳＣである。エリアＥの音声ＳＥは、ＳＥ＝ＳＡ＋ＳＢ／２で算出され、エリアＦの音声ＳＦはＳＦ＝ＳＤ＋ＳＢ／２で算出する。
【００４９】
また音声信号を合成するエリアはエリアの音声信号に基づいて決めてもよい。つまり、どのエリアをどのエリアと合成するかは、当該エリアの音声信号に基づいて決めてよい。例えば、隣接する２つのエリアの音声信号を比較し、比較結果に基づいて当該隣接する２つのエリアの音声信号を合成するか否かを決めてもよい。具体的には、例えば隣接するエリア同士の音声信号の相関度を計算し、相関度が所定値以上の場合（相関度が高い場合）には、当該隣接するエリア同士の音声信号を合成する。相関度が高いエリア同士では、同じ音源の音声が隣接するエリアにクロストークしていると考えられるため、隣接するエリアの音声信号を合成するようにしてもよいからである。
【００５０】
また本実施形態においてデータ量制御部２１３はエリアごとの音声信号を合成することでチャンネル数を少なくし、送信するデータ量を減らしたが、他の方法でデータ量を制御（制限）してもよい。例えば、エリアの音声信号の量子化ビット数やサンプリング周波数を制御してもよい。具体的には、聴取点から遠いエリアの音声信号はミキシングを行う際に小さいゲインで合成されるため、通常時の音声信号の量子化ビット数を２＾Ｑ（２のＱ乗）とすると聴取点から遠いエリアについては２＾Ｒ（Ｒ＜Ｑ）としてもよい。またサンプリング周波数についても通常時４８ｋＨｚでサンプリングしていた音声信号を２サンプルごとに平均値をとり、２４ｋＨｚの音声データ（音声信号）として出力してもよい。このように量子化ビット数を減らした場合、リアルタイム再生用信号生成部２２２は、音声データを削減した２＾（Ｑ−Ｒ）ビット分の音声データにゼロを詰めて他の音声データとビット数を合わせてからミキシングする。またサンプリング周波数を減らした場合、リアルタイム再生用信号生成部２２２は、線形補間などの補間を行い４８ｋＨｚの音声データとしてミキシングを行う。データ量制御部２１３は、制御した量子化ビット数やサンプリング周波数のデータ（情報）をデータ量制御リストで管理する。つまり、削除した音声データがどのようなものであるかは、データ量制御リストを参照すると分かるようになっている。
【００５１】
データ量制御部２１３は、第１送受信部２１４からの音声信号の通信量が所定量未満になると、データ量制御リストに基づいて、削減した音声データを第１送受信部２１４へ出力する。データ復元処理部２２５は、第１送受信部２１４から送られてきた音声データの時刻とエリアの情報に基づいて第２記憶部２２３から音声データを読み出し、音声データを復元する。なお、データ量制御部２１３は、量子化ビット数およびサンプリング周波数の削減を、聴取点から当該エリアまでの距離に応じて制御するようにしてもよい。
【００５２】
実施形態２の音響システム２００は、データ量制御の実施状況を表示する表示部を備えてもよい。図７（Ａ）〜（Ｃ）は、表示部の表示画面６００の例を示している。表示画面６００は、タイムバー６０１とタイムカーソル６０２とエリア６０３を有する。あるフレームの全エリアのデータを第１送受信部２１４から第２送受信部２２１へ送信できている場合には、表示画面６００は図７（Ａ）のようになる。つまり、図７（Ａ）の表示画面６００は、データ量制御が実施されていない状況を表示している。図７（Ａ）の表示画面６００には４０個のエリア６０３が表示されている。一方、データ量制御（エリアの音声信号の合成）が実施されたときは、例えば、表示画面６００は図７(Ｂ)に示すようになる。より詳しくは、表示画面６００は、４つのエリア６０３と、複数の合成エリア６０４（２つの合成エリア６０４ａと、１つの合成エリア６０４ｂと、２つの合成エリア６０４ｃ）とを表示する。つまり、合成された複数のエリア６０３は、それぞれ合成エリア６０４ａ、６０４ｂ、６０４ｃとして、ひとまとめにされて表示される。
【００５３】
なお、データ量制御が実施されたときの表示画面６００は図７(Ｂ)のような表示画面に限定されない。例えば、図７（Ｃ）に示すように、エリア６０３に、データ量制御がされたことが分かる表示６０６を追加（重畳表示）してもよい。例えば、量子化ビット数が１/２になった場合は、図７（Ｄ）に示すように「Ｂｉｔ１／２」という表示６０６がエリア６０３に追加される。サンプリング周波数が１/２になった場合は、図７（Ｅ）に示すように「Ｆｒｅｑ１／２」という表示６０６がエリア６０３に追加される。
なお、実施形態１の音声信号処理装置１００も、図７（Ｃ）の表示画面６００を有する表示部を備えてよい。実施形態１において例えば、マイク数を１／２に制御した場合には、図７（Ｆ）のように、「Ｍｉｃ１／２」という表示６０６がエリア６０３に追加される。また、例えば、フィルタ長が１/２にされた場合は、図７（Ｇ）に示すように「Ｆｉｌｔ１／２」という表示６０６がエリア６０３に追加される。
【００５４】
また、表示画面６００にはリアルタイム再生時の視点、リプレイ再生時の視点、被写体の位置などを重ねて表示するようにしてもよい。また、全エリア表示は実際の空間の画像に重ねて表示してもよい。
表示画面６００は、表示機能だけでなくユーザインタフェイスとして機能を備えてもよい。その場合、実施形態２の音響システム２００のユーザは、例えば、音声データの復元を行う際に、表示画面６００の合成エリア６０４を少なくとも１つ選択し、タイムカーソル６０２を用いて時間区間を選択することができる。このような選択をすることにより、復元すべき合成エリアを指定して、且つ、復元すべき時間区間を指定することができる。また、復元すべき合成エリアが複数ある場合には、復元順序を指定することもできる。
【００５５】
（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラム（コンピュータプログラム）を、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５６】
１００…音声信号処理装置、１１１…マイクアレイ、１１２…音源分離部、１１３…データ制御部、１１４…第１記憶部、１１５…リアルタイム再生用信号生成部
【図１】
2018006892.tif 000003
【図２】
2018006892.tif 000004
【図３】
2018006892.tif 000005
【図４】
2018006892.tif 000006
【図５】
2018006892.tif 000007
【図６】
2018006892.tif 000008
【図７】
2018006892.tif 000009