(57)【要約】  本発明の信号分離システムは、第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする。
2009051132.tif 000002
【特許請求の範囲】
【請求項１】
第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする信号処理システム。
【請求項２】
前記レンダリング部は、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項１に記載の信号処理システム。
【請求項３】
複数の信号を含む信号を受け、前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理部をさらに備えることを特徴とする請求項１または２に記載の信号処理システム。
【請求項４】
前記強調処理部は、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする請求項３に記載の信号処理システム。
【請求項５】
前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項１乃至４のいずれか一項に記載の信号処理システム。
【請求項６】
前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項１乃至５のいずれか一項に記載の信号処理システム。
【請求項７】
前記所望信号は、音声であることを特徴とする請求項５または６に記載の信号処理システム。
【請求項８】
前記所望信号以外の信号は、雑音であることを特徴とする請求項５乃至７のいずれか１項に記載の信号処理システム。
【請求項９】
前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉するマイクロホンをさらに備えることを特徴とする請求項５乃至８のいずれか１項に記載の信号処理システム。
【請求項１０】
前記マイクロホンを複数備え、
前記複数のマイクロホンの間を遮蔽する部材を備えることを特徴とする請求項９に記載の信号処理システム。
【請求項１１】
前記複数のマイクロホンを筐体の異なった面に備えることを特徴とする請求項９に記載の信号処理システム。
【請求項１２】
第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする信号処理装置。
【請求項１３】
前記レンダリング部は、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項１２に記載の信号処理装置。
【請求項１４】
前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項１２または１３に記載の信号処理装置。
【請求項１５】
前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項１２乃至１４のいずれか一項に記載の信号処理装置。
【請求項１６】
前記所望信号は、音声であることを特徴とする請求項１４または１５に記載の信号処理装置。
【請求項１７】
前記所望信号以外の信号は、雑音であることを特徴とする請求項１４乃至１６のいずれか１項に記載の信号処理装置。
【請求項１８】
前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉するマイクロホンをさらに備えることを特徴とする請求項１４乃至１７のいずれか１項に記載の信号処理装置。
【請求項１９】
前記マイクロホンを複数備え、
前記複数のマイクロホンの間を遮蔽する部材を備えることを特徴とする請求項１８に記載の信号処理装置。
【請求項２０】
前記複数のマイクロホンを筐体の異なった面に備えることを特徴とする請求項１８に記載の信号処理装置。
【請求項２１】
第一及び第二の入力信号を受ける受信ステップと、
レンダリング情報に基づいて第一の入力信号を定位させるレンダリングステップと、
を含むことを特徴とする信号処理方法。
【請求項２２】
前記レンダリングステップにおいて、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項２１に記載の信号処理方法。
【請求項２３】
複数の信号を含む信号を受ける受信ステップと、
前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理ステップと、
をさらに含むことを特徴とする請求項２１または２２に記載の信号処理方法。
【請求項２４】
前記強調処理ステップにおいて、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする請求項２３に記載の信号処理方法。
【請求項２５】
前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項２１乃至２４のいずれか一項に記載の信号処理方法。
【請求項２６】
前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項２１乃至２５のいずれか一項に記載の信号処理方法。
【請求項２７】
前記所望信号は、音声であることを特徴とする請求項２５または２６に記載の信号処理方法。
【請求項２８】
前記所望信号以外の信号は、雑音であることを特徴とする請求項２５乃至２７のいずれか１項に記載の信号処理方法。
【請求項２９】
前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉する信号捕捉ステップをさらに含むことを特徴とする請求項２５乃至２８のいずれか１項に記載の信号処理方法。
【請求項３０】
コンピュータに、
第一及び第二の入力信号を受ける受信処理と、
レンダリング情報に基づいて第一の入力信号を定位させるレンダリング処理と、
を実行させる信号処理プログラム。
【請求項３１】
前記レンダリング処理において、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項３０に記載の信号処理プログラム。
【請求項３２】
コンピュータに
複数の信号を含む信号を受ける受信処理と、
前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理と、
を実行させることを特徴とする請求項３０または３１に記載の信号処理プログラム。
【請求項３３】
前記強調処理において、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする請求項３２に記載の信号処理プログラム。
【請求項３４】
前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項３０乃至３３のいずれか一項に記載の信号処理プログラム。
【請求項３５】
前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項３０乃至３４のいずれか一項に記載の信号処理プログラム。
【請求項３６】
前記所望信号は、音声であることを特徴とする請求項３４または３５に記載の信号処理プログラム。
【請求項３７】
前記所望信号以外の信号は、雑音であることを特徴とする請求項３４乃至３６のいずれか１項に記載の信号処理プログラム。
【請求項３８】
コンピュータに、
前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉する信号捕捉処理を実行させることを特徴とする請求項３４乃至３７のいずれか１項に記載の信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の信号成分を含む入力信号を分離するための、信号処理のシステム、信号処理の装置、信号処理の方法及び信号処理のプログラムに関する。
【背景技術】
【０００２】
複数の信号成分が混合された入力信号を与えられた場合に、特定の信号成分を分離して取り出すという要求は、日常生活の様々な場面で存在する。このような場面の例として、騒音環境下における会話や所望音声の認識などがあげられる。これらの場面において、通常、会話や所望音声は空間上の一点においてマイクロホンなどの音響電気変換素子を用いて捕捉される。捕捉された会話や所望音声は、電気信号に変換され、入力信号として扱われる。【０００３】
複数の信号成分が所望音声と背景雑音とである入力信号に対して、背景雑音を抑圧することによって所望音声を強調するシステムとして、雑音抑圧システム（以下、ノイズサプレッサという。）が知られている。ノイズサプレッサは、所望の音声信号に重畳されている雑音(ノイズ)を抑圧するシステムである。一般的に、ノイズサプレッサは、周波数領域に変換した入力信号を用いて雑音成分のパワースペクトルを推定し、入力信号から雑音成分の推定パワースペクトルを差し引く。或いは、差し引いた結果と同等の結果が得られるように、入力信号に１より小さい利得を乗算することも広く行われている。これにより、所望の音声信号に混在する雑音が抑圧される。さらに、これらのノイズサプレッサは、雑音成分のパワースペクトルを継続的に推定することにより、非定常な雑音の抑圧にも適用される。このようなノイズサプレッサに関連する技術としては、例えば、特許文献１に記載されている技術がある（以下、第一の関連技術という）。【０００４】
通常、第一の関連技術であるノイズサプレッサでは、抑圧しきれずに残留する残留雑音、すなわち所望音声と背景雑音との分離度と出力される強調音声に含まれる歪とはトレードオフの関係にある。分離度を高くし、残留雑音を減らすと歪が増え、歪を減らすと分離度が低くなり、残留雑音が増える。特に、所望音声対雑音のパワー比が小さくなるほど、最低限の雑音抑圧効果を得た際に出力に含まれる歪が無視できなくなる。【０００５】
一方、人間の聴覚器官は、異なった定位を有する信号を識別する能力があることが、非特許文献１に開示されている。定位を知覚するためには、マルチチャネル信号が必要である。従って、モノラル信号が入力される場合はモノラル信号をマルチチャネル信号に変換しなければならない。信号の定位を制御する方法として、与えられた信号の振幅と位相を操作するレンダリング処理がある。レンダリング処理に関する技術は、特許文献２に開示されている。人間の聴覚器官は、少なくとも2チャネルの信号が入力された場合、これらの信号間の振幅差と位相差(受聴点における相対遅延)を用いて、それぞれの信号を空間に定位させる。レンダリングはこの原理に基づいて、入力信号の振幅と位相を操作することによって、定位位置を制御する。例えば、定位感のないモノラル信号と、特定の関係を有した振幅と位相で規定される複数の伝達関数とを畳み込むことによってマルチチャネル出力を生成するレンダリングシステムがある。このレンダリングシステムを、図２０に示す（以下、第二の関連技術という）。【０００６】
図２０に示すように、第二の関連技術におけるレンダリングシステムは、レンダリング部９にモノラルの入力０を入力し、出力０〜出力Ｍo-1のＭoチャネル信号を出力する。レンダリング部９は、入力０をレンダリング情報に基づいてレンダリングし、出力０〜出力Ｍo-1として出力する。入力０が複数の信号成分を含む場合には、これらすべての信号成分は同一の空間上の点に定位する。これは、すべての信号成分に対して、同一のレンダリング処理が適用されているためである。
【特許文献１】特開２００２−２０４１７５号公報
【特許文献２】特開平１１―４６４００号公報
【非特許文献１】2005年、「脳の計算機構―ボトムアップ・トップダウンのダイナミクス―」、 朝倉書店、203から216ページ
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述の第一の関連技術では、残留雑音、すなわち所望音声と背景雑音との分離度は信号に含まれる歪とのトレードオフの関係にある。従って、分離度を高くすると分離された信号に含まれる歪が無視できなくなるという問題がある。また、上述の第二の関連技術では、全ての信号成分が空間上の同一の点に定位するために、信号分離効果がないという問題がある。空間上の異なった点に定位した信号が複数存在した場合、人間の聴覚器官は、本来、それぞれの信号を識別することができる。第二の関連技術では、全ての信号成分が空間上の同一の点に定位しているので、このような人間の聴覚器官の分離能力を利用することができないためである。【０００８】
本発明の目的は、複数の入力信号毎に異なった定位を付与し、信号の高信号分離度化及び低歪化を実現することができる信号処理システムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の信号分離システムは、第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする。
【発明の効果】
【００１０】
上述した手段によれば、本発明の信号処理システムは、多重レンダリング部により、信号成分を異なった割合で含む複数の入力信号を異なった空間上の位置に定位させる。これは、信号分離能力は落ちるが歪を少なくする処理である。しかし、分離能力を人間本来の聴覚器官の機能により補償することができるので、信号分離能力を保ったまま歪みを低減することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は本発明の第一の実施の形態を示すブロック図である。
【図２】図２は多重レンダリング部５の構成例である。
【図３】図３は多重レンダリング部５の第二の構成例である。
【図４】図４は多重レンダリング部５の第三の構成例である。
【図５】図５は本発明の第二の実施の形態を示すブロック図である。
【図６】図６は前処理部11の構成例である。
【図７】図７は信号成分強調部110の構成例である。
【図８】図８は前処理部11の第二の構成例である。
【図９】図９は前処理部11の第三の構成例である。
【図１０】図１０は前処理部11の第四の構成例である。
【図１１】図１１は雑音抑圧システム120の構成例である。
【図１２】図１２は前処理部11の第五の構成例である。
【図１３】図１３は前処理部11の第六の構成例である。
【図１４】図１４は信号成分強調部110の第二の構成例である。
【図１５】図１５は本発明の第三の実施の形態を示すブロック図である。
【図１６】図１６は本発明の第四の実施の形態を示すブロック図である。
【図１７】図１７は携帯電話の表面と裏面に二つのマイクロホンを装備した例である。
【図１８】図１８は携帯電話の表面と側面に二つのマイクロホンを装備した例である。
【図１９】図１９はＰＣのキーボード上面とディスプレイ裏面に二つのマイクロホンを装備した例である。
【図２０】図２０は関連技術を示すブロック図である。
【符号の説明】
【００１２】
５  多重レンダリング部
６  マイクロホン
７  音源
10  障害物
11  前処理部
12  マイクロホン
51、52  レンダリング部
53、54、115、1132  加算器
55  分離部
56、57  メモリ
110  信号成分強調部
111  固定ビームフォーミング部
112  適応ブロッキング部
113  多入力キャンセラ
114  遅延素子
116、118、126  適応フィルタリング部
117、119、121、1133  減算器
120  雑音抑圧システム
1201  変換部
1202  雑音推定部
1203  抑圧係数生成部
1204  乗算器
1205  逆変換部
1131  適応フィルタリング部
【発明を実施するための最良の形態】
【００１３】
本発明の信号処理システムの実施の形態について図面を参照して詳細に説明する。【００１４】
図１を参照し、本発明の信号処理システムの第一の実施の形態について説明する。本発明の信号処理システムは、多重レンダリング部５から構成される。多重レンダリング部５は、複数の入力信号である入力０〜入力Ｍi-1とレンダリング情報を受ける。多重レンダリング部５は、入力信号をレンダリング情報に基づいてレンダリングし、出力０〜出力Ｍo-1として出力する。入力０〜入力Ｍi-1は、混合された複数の信号から構成されている。 入力信号に含まれる複数の信号の混合割合は、全て異なっている。また、入力信号に含まれる複数の信号は、同じ割合で混合されていてもよい。【００１５】
例として、混合された２信号を分離する場合を考える。入力０には信号成分０が最も多い割合で含まれ、入力１には信号成分１を最も多い割合で含まれている場合を考える。出力チャネル数を２とすると、出力は出力０と出力１であり、左と右（或いは右と左）のチャネル信号として用いる。このとき、多重レンダリング部５は、入力０と入力１を異なった位置に定位するようにレンダリング処理して、出力0、出力１として出力する。出力０及び出力１は、スピーカー、ヘッドホンなどの電気音響変換素子によって音響信号に変換され、最終的に聴取のために人間の聴覚器官に入力される。入力０及び入力１が、低歪で信号分離度の不十分な信号であっても、前述した人間本来の聴覚器官に備わった信号分離機能により補償することができる。すなわち、信号分離能力を保ったまま歪みを低減することができる。【００１６】
また、混合された２信号が、所望信号と所望信号以外の信号、すなわち非所望信号とである場合について説明する。この場合、入力０としては所望信号が支配的、すなわち所望信号が強調された信号が入力される。入力１としては非所望信号が支配的、すなわち非所望信号が強調された信号が入力される。レンダリング処理によって、入力０が正面前方に、入力１が後方に定位するようすることができる。このように定位させることによって、所望信号が支配的な信号が前方から、非所望信号が支配的な信号が後方から到来するように知覚される。また、入力０を正面前方に定位させ、入力１を空間全体に拡散的に聞こえるように定位させることによって、所望信号が支配的な信号が前方から、非所望信号が支配的な信号が空間全体から拡散的に到来するように知覚される。このように点音源と拡散音源として知覚されるように各入力信号に定位を与えることによって、これらの信号の分離がされたように知覚される。これは、特定の点から到来するように知覚される信号の方が拡散的に到来するように知覚される信号よりも聴取対象として集中しやすいためである。例えば、所望信号には、音声などが含まれる。また、非所望信号には、ノイズ、背景雑音、他音源からの信号などが含まれる。【００１７】
次に、より一般的に、混合されたＭiチャンネルの信号を入力して、Ｍoチャネルに出力する場合を考える。入力ｊには、信号成分ｊ−１が最も多い割合で含まれていると仮定する。このとき、多重レンダリング部５は、入力０〜入力Ｍi-1がそれぞれ異なった位置に定位するようにレンダリング処理して、出力０〜出力Ｍi-1として出力する。入力ｊに着目すると、入力ｊを特定の音響空間上の点に定位するようにレンダリングすることによって、出力０〜出力Ｍi-1の入力ｊに対応した成分を生成する。同様の処理をｊ＝０〜Ｍi-1に対して繰り返し、各出力において入力０〜入力Ｍi-1に対応した成分の総和をとることによって、出力０〜出力Ｍi-1を生成する。【００１８】
続いて、図２を参照して、多重レンダリング部５の構成例を詳細に説明する。多重レンダリング部５は、レンダリング部51、レンダリング部52、加算器53、54、および分離部55から構成される。まず、入力０と入力１が、それぞれレンダリング部51とレンダリング部52に入力される。また、レンダリング情報が分離部55に入力される。分離部55は、レンダリング情報を各レンダリング部に対応した個別レンダリング情報に分離して、対応するレンダリング部に出力する。【００１９】
レンダリング情報とは、レンダリング部51または52の入力信号と出力信号との関係を周波数成分毎に表した情報である。レンダリング情報は、信号間のエネルギ差、時間差や相関などを用いて表される。レンダリング情報の一例が、非特許文献２（2007年、アイエスオー／アイイシー 23003-1:2007 パート1 エムペグ  サラウンド、（ISO/IEC 23003-1:2007 Part 1 MPEG Surround））に開示されている。【００２０】
レンダリング部51は、分離部55から入力された個別レンダリング情報を用いて、入力０を変換して出力信号を生成する。出力０に対応した出力信号は加算器53に、出力１に対応した出力信号は加算器54に出力される。レンダリング部52は、分離部55から入力された個別レンダリング情報を用いて、入力１を変換して出力信号を生成する。出力０に対応した出力信号は加算器53に、出力１に対応した出力信号は加算器54に出力される。加算器53は、レンダリング部51とレンダリング部52から入力された出力０に対応する出力信号を加算して和を求め、出力０として出力する。加算器54は、レンダリング部51とレンダリング部52から入力された出力１に対応する出力信号を加算して和を求め、出力１として出力する。【００２１】
個別レンダリング情報の最も一般的なものはフィルタに関する情報であり、フィルタ係数や周波数応答(振幅と位相)によって表現される。個別レンダリング情報が有限インパルス応答(FIR)フィルタの係数ベクトルとして与えられているときには、レンダリング部51は、入力０及び入力１とフィルタ係数ｈの畳み込み結果を出力する。すなわち、時刻kにおける入力0及び入力１との畳み込み結果をｙ0,k、ｙ1,k、入力0及び入力1の信号ベクトルをｘ0,k、ｘ1,kとすれば、入力と出力の関係は、【００２２】
【数１】
2009051132.tif 000003
で表すことができる。ここに、Ｌはフィルタのタップ数である。この表現において、フィルタ係数ｈが個別レンダリング情報である。特に、頭外音像定位を目的として適用する場合には、上記のフィルタ係数は、頭部伝達関数(HRTF: head related transfer function)として知られている。図２の例では、出力チャネル数が２であるので、２組のフィルタ係数ｈ0、ｈ1が入力される。出力チャネル数が２以上、すなわち出力がＭoチャネルの場合には、Ｍo組のフィルタ係数が入力される。レンダリング部52の動作は、入力とフィルタ係数が異なるが、レンダリング部51の動作と等しい。また、入力信号の種類が増えると、レンダリング部及びフィルタ係数の組の数が増加する。【００２３】
個別レンダリング情報が周波数応答として与えられている場合には、入力０及び入力１の周波数領域表現と周波数応答とに相当する複素数の積を求めて出力０と出力１とを生成する。このときは、レンダリング部の前後に、フーリエ変換などの時間周波数変換とその逆変換とが適用される。この演算は、［数１］の周波数領域表現で表される。【００２４】
続いて、図３を参照して、多重レンダリング部５の第２の構成例を詳細に説明する。多重レンダリング部５は、レンダリング部51、レンダリング部52、加算器53、54、およびメモリ56から構成される。図３の多重レンダリング部５は、図２に含まれる分離部55をメモリ56で置換した構成となっている。すなわち、レンダリング情報は、外部から入力する代わりに、多重レンダリング部内部のメモリに格納されている。多重レンダリング部５は、メモリに格納されたレンダリング情報を固定的に用いることによって、定位を決定する。第２の構成例では、メモリ56に格納されている特定のレンダリング情報を用いるので、レンダリング情報入力と分離に伴う演算が不要となる。従って、第２の構成例の多重レンダリング部５は、演算量を減らすことが出来るとともに、システムを簡略化できる。【００２５】
続いて、図４を参照して、多重レンダリング部５の第３の構成例を詳細に説明する。多重レンダリング部５は、レンダリング部51、レンダリング部52、加算器53、54、およびメモリ57から構成される。図４の多重レンダリング部５は、図３に含まれるメモリ56をメモリ57で置換した構成となっている。メモリ57には、複数のレンダリング情報が記憶されている。メモリ５７には、メモリ５７の内部に記憶された複数のレンダリング情報を選択して個別レンダリング情報とするためのレンダリング選択情報が入力されている。すなわち、固定的なレンダリング情報を利用する代わりに、メモリ５７の内部に記憶された複数のレンダリング情報から適切なものを選択して利用することによって、入力信号の定位を決定する。第３の構成例は、第１及び第２の構成例の中間的な構成となっている。第２の構成例は、第１の構成例に比べて、レンダリング情報の入力と分離に伴う演算量が削減されるとともに、レンダリング情報を決定する利用者の負担を軽減している。また、第３の構成例は、第２の構成例に比べて、利用者にレンダリング情報を決定する自由度と与えることができる効果がある。【００２６】
なお、図２から図４では多重レンダリング部５の入力チャネル数及び出力チャネル数が２である場合、すなわちＭi＝Ｍo＝２の例について説明してきた。しかし、図２から図４の構成は、多重レンダリング部５の入力チャネル数及び出力チャネル数は２に限らず１又は３以上の場合にも容易に適用することができる。例えば、多重レンダリング部５に含まれるレンダリング部の数は入力の数Ｍiと等しく、各レンダリング部（51、52など）の出力数は多重レンダリング部５の出力数Ｍoに等しいことが、これまでの説明から容易に理解できる。【００２７】
以上説明したように、本発明の信号処理システムの第一の実施の形態によれば、信号成分を異なった割合で含む複数の入力信号をレンダリングして、異なった定位を付与することができる。また、本実施の形態の信号処理システムは、低歪で信号分離度の不十分な入力信号を人間の聴覚器官に本来備わった分離機能を利用することにより、信号分離度の不十分な入力信号をさらに分離して知覚させることができる。すなわち、本実施の形態の信号処理システムは、信号分離能力を保ったまま歪みを低減することができる。このため、入力信号に含まれる複数の信号成分に、小さな歪で信号成分毎に異なった定位を付与することができる信号処理システムを提供することができる。【００２８】
続いて、図５を参照して、本発明の信号処理システムの第二の実施の形態について詳細に説明する。本発明の第二の実施の形態は、前処理を行った信号を多重レンダリング部５に供給するものである。【００２９】
図５の信号処理システムでは、前処理部11が多重レンダリング部５の前に配置されている。前処理部11は、入力信号に対して信号強調処理を行う。前処理部１１は、入力信号に含まれる信号成分のそれぞれが強調された信号を、入力０〜入力Ｍi-1として、多重レンダリング部５に出力する。多重レンダリング部5は、入力０〜入力Ｍi-1を受けてそれぞれに対して異なった定位を与え、出力０〜出力Ｍo-1として出力する。図５では、多重レンダリング部５にレンダリング情報が入力される構成になっている。しかし、既に図３を用いて説明したように、多重レンダリング部5は、レンダリング情報を外部から入力せずに内部メモリに保持する構成を適用することができる。また、図４において説明したように、多重レンダリング部5は、内部メモリに複数のレンダリング情報を記憶しておき外部からレンダリング選択情報を入力する構成を適用することもできる。前処理部11を用いることによって、入力信号中の主要な信号成分を強調するといった制御をすることができる。さらに、入力信号間の分離度を高くすることが可能となり、前処理に続くレンダリングの効果を向上させることができる。【００３０】
次に、図６を参照して、前処理部11の第１の構成例について詳細に説明する。図６の前処理部１１は、複数の信号成分強調部1100〜110Ｍi-1で構成している。信号成分強調部1100〜110Ｍi-1の出力が、それぞれ入力０〜入力Ｍi-1として出力される。信号成分強調部110j(０＜ｊ＜Ｍi-1)は、入力Ａ０〜入力ＡＭi-1を受けて信号成分ｊを強調し、入力ｊとして出力する。信号成分強調部1100〜110Ｍi-1は、指向性制御、ビームフォーミング（Beamforming）、ブラインド信号源分離（Blind Source Separation）、独立成分分析（Independent Component Analysis）、ノイズキャンセリング(Noise Cancellation)、ノイズサプレッション(Noise Suppression)と呼ばれる技術を用いたシステムで構成することができる。【００３１】
例えば、指向性制御およびビームフォーミングに関連する技術は、非特許文献３（2001年、「マイクロホン・アレイズ」、シュプリンガー、（Microphone Arrays, Springer, 2001））および非特許文献４（2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 229--246）、229ページから246ページ）に開示されている。また、ブラインド信号源分離および独立成分分析の方法に関連する技術は、非特許文献５（2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 271 - 369）、271ページから369ページ）に開示されている。さらに、ノイズキャンセリングに関連する技術は、非特許文献６（1975年、「プロシーディングス・オブ・アイ・イー・イー・イー」、第63巻、第12号（Proceedings of IEEE, vol.63, No.12, 1975、pp.1692-1715）、1692―1715ページ）及び非特許文献７（1999年、「アイ・イー・アイ・シー・イー、トランザクションズ・オブ・ファンダメンタルズ」、第E82-A巻、第8号（IEICE Transactions of Fundamentals, vol.E82-A, No.8, 1999, pp.1517-1525）、1517―1525ページ）に、ノイズサプレッサに関連する技術は特許文献１に開示されている。【００３２】
続いて、図７を参照して、信号成分強調部1100〜110Ｍi-1の構成例について詳細に説明する。図７の信号成分強調部1100〜110Ｍi-1は、マイクロホンアレイの一つである一般化サイドローブキャンセラ（またはグリフィスージム・ビームフォーマ）で構成した場合を示している。信号成分強調部110j(０＜ｊ＜Ｍi-1)は、固定ビームフォーミング部111、適応ブロッキング部112、遅延素子114、多入力キャンセラ113から構成される。また、多入力キャンセラはさらに、適応フィルタリング部1131、加算器1132、減算器1133から構成される。【００３３】
入力Ａ０〜入力ＡＭi-1は、固定ビームフォーミング部111と適応ブロッキング部112に入力される。固定ビームフォーミング部111は、予め定められた所望信号到来方向に従ってその方向から到来する信号を強調し、適応ブロッキング部112と遅延素子114に出力する。このような所望信号到来方向としては、入力信号の信号成分ｊの到来方向を設定する。適応ブロッキング部112は、固定ビームフォーミング部111の出力を参照信号として、入力Ａ０〜入力ＡＭi-1に含まれる参照信号と相関のある成分を小さく又は最小化するように動作する。従って、適応ブロッキング部112の出力では、所望信号が小さく又は最小化されている。適応ブロッキング部112の出力は、適応フィルタリング部1131に出力される。遅延素子114は、固定ビームフォーミング部111の出力信号を遅延させて、減算器1133に出力する。遅延素子114の遅延量は、適応フィルタリング部1131の遅延を補償するように設定する。【００３４】
適応フィルタリング部1131は、１以上の適応フィルタによって構成される。適応フィルタリング部1131は、適応ブロッキング部112の出力を参照信号として、遅延素子114の出力に含まれるこれと相関のある信号成分を生成するように動作する。適応フィルタリング部1131の個別のフィルタで生成された信号は加算器1132に出力される。適応フィルタリング部1131の出力は、加算器1132で加算され、減算器1133に出力される。減算器1133は、遅延素子114の出力から加算器1132の出力を差し引き、その結果を入力ｊとして出力する。すなわち、減算器1133の出力では、固定ビームフォーミング部111の出力に対して、これと相関のない信号成分が最小化されている。減算器1133の出力は、入力ｊとして出力されるとともに適応フィルタリング部1131に帰還される。減算器1133の出力は、適応フィルタリング部1131の内部に含まれる適応フィルタの係数更新に使われる。適応フィルタリング部1131の係数は、減算器1133の出力を最小化するように更新される。適応フィルタリング部1131、加算器1132、減算器1133をまとめて、多入力キャンセラ113として扱ってもよい。以上説明したように、前処理部11をマイクロホンアレイとして構成することにより、空間選択性（指向性）を制御し、特定の信号を強調することができる。【００３５】
図７では、信号成分強調部1100〜110Ｍi-1をマイクロホンアレイで構成した例について説明した。さらに、非特許文献４から７を参照して、ブラインド信号源分離システム、独立成分分析システム、ノイズキャンセリングシステム、ノイズサプレッションシステムによって構成してもよい。それぞれの場合にも、マイクロホンアレイで構成した場合と同様の効果を有する。【００３６】
次に、図８を参照して、前処理部11の第２の構成例について詳細に説明する。図８の前処理部11は、ノイズキャンセラで構成されている。ノイズキャンセラは、指向性を形成するマイクロホンアレイと異なり、分離すべき信号に相関のある信号を参照信号として用いる。このため、参照信号を内部で生成するマイクロホンアレイと比較して、ノイズキャンセラは、特定の信号をより正確に強調または分離することができる。また、マイクロホンアレイが指向性に基づいて信号を分離するのに対して、ノイズキャンセラは信号の周波数スペクトルの違いに基づいて信号を分離する。このため、両者を組み合わせることによって、分離度を高くすることも可能である。さらに、マイクロホンアレイは通常３以上のマイクロホンの信号を用いて実用的な効果を得ることができる。しかし、ノイズキャンセラは、通常２マイクロホンにより同様の効果を得ることができる。このため、コストなどからマイクロホン数に制約がある場合でも、本構成例の前処理部11を適用することができる。【００３７】
前処理部11は、入力Ａ０と入力Ａ１に対して前処理を行い、入力0と入力１を出力する。前処理部11のノイズキャンセラは、適応フィルタリング部116と減算器117から構成される。入力Ａ０は適応フィルタリング部116に入力され、フィルタリングされた出力は減算器117に出力される。適応フィルタリング部116は、入力Ａ１を参照信号として、入力Ａ０に含まれる参照信号と相関のある成分を作り出すように動作する。減算器117の他方の入力には、入力Ａ０が供給されている。減算器117は、入力Ａ０から適応フィルタリング部116の出力を減算し、その結果を入力０として出力する。減算器117の出力は、同時に適応フィルタリング部116に帰還され、適応フィルタリング部116に含まれる適応フィルタの係数更新に用いられる。適応フィルタリング部116は、入力された減算器117の出力が最小化されるように、適応フィルタの係数を更新する。このとき、適応フィルタリング部116の出力は、入力Ａ０から信号成分０を取り除いたものとなっており、信号成分０以外の成分が支配的である。適応フィルタリング部116の出力を、入力１として出力する。【００３８】
次に、図９を参照して、前処理部11の第３の構成例について詳細に説明する。図９の前処理部11は、たすきがけ構造を有するノイズキャンセラで構成している。前処理部11は、入力Ａ０と入力Ａ１に対して前処理を行い、入力0と入力１を出力する。前処理部11のノイズキャンセラは、適応フィルタリング部116及び118と減算器117及び119から構成される。入力Ａ０は減算器119に入力される。減算器119の他方の入力には、適応フィルタリング部118の出力が入力されている。減算器119は、入力Ａ１から適応フィルタリング部118の出力を差し引いた結果を、適応フィルタリング部116に出力する。適応フィルタリング部116は、減算器119の出力を参照信号として、入力Ａ０に含まれる参照信号と相関のある成分を作り出すように動作する。適応フィルタリング部116の出力は、減算器117に出力される。減算器117の他方の入力には、入力Ａ０が供給されている。減算器117は、入力Ａ０から適応フィルタリング部116の出力を減算し、その結果を入力０として出力する。【００３９】
減算器117の出力は、同時に適応フィルタリング部116に誤差として帰還され、適応フィルタリング部116に含まれる適応フィルタの係数更新に使用される。適応フィルタリング部116は、誤差として入力された減算器117の出力が最小化されるように、適応フィルタの係数を更新する。減算器117の出力はまた、適応フィルタリング部118に出力されている。適応フィルタリング部118は、減算器117の出力を参照信号として、入力Ａ１に含まれる参照信号と相関のある成分を作り出すように動作する。従って、減算器119の出力では、入力０における支配的な信号成分が消去されており、入力Ａ１における支配的な要素が主たる信号成分となる。減算器119の出力は、入力Ａ１として出力される。さらに、減算器119の出力は、適応フィルタリング部118に帰還され、適応フィルタリング部118に含まれる適応フィルタの係数更新に使用される。適応フィルタリング部118は、誤差として入力された減算器119の出力が最小化されるように、適応フィルタの係数を更新する。【００４０】
第２の構成例は、入力１に入力Ａ０の支配的な信号成分が漏れこむ構成になっている。しかし、第３の構成例は、入力Ａ０の支配的な信号成分の漏れ込みのない入力１を生成できる。これは、適応フィルタリング部118と減算器119を用いて、入力Ａ０の支配的な信号成分の漏れ込みを消去するからである。このため、入力１として出力される信号（減算器119の出力）における信号分離能力が高くなる。【００４１】
次に、図１０を参照して、前処理部11の第４の構成例について詳細に説明する。図１０に示す第４の構成例は、前処理部11を単一入力の雑音抑圧システム(ノイズサプレッサ)120と減算器121で構成している。前処理部11の第１から第３の構成と異なり、前処理部11の入力が単一の信号であり、出力が入力０と入力１の２信号である。雑音抑圧システム120は、入力Ａ０を受けてその支配的な信号成分を強調し、入力０として出力する。雑音抑圧システム120の出力は、同時に減算器121にも出力されている。減算器121の他方の入力には、入力Ａ０が出力されている。減算器121は、入力Ａ０から雑音抑圧システムの出力、すなわち入力Ａ０の支配的信号成分を差し引き、その結果を入力１として出力する。従って、入力１では、入力Ａ０の主たる信号成分以外の成分が支配的となる。これにより、単一信号である入力Ａ０の信号の分離が行われることになる。【００４２】
続いて、図１１を参照して、雑音抑圧システム120の構成例について詳細に説明する。雑音抑圧システム120は、変換部1201、雑音推定部1202、抑圧係数生成部1203、乗算器1204、逆変換部1205から構成される。変換部1201には入力Ａ０が入力されており、逆変換部1205の出力が入力０として出力される。変換部1201は、入力Ａ０に含まれる複数の入力信号サンプルをまとめて１ブロックを構成し、各ブロックに対して周波数変換を適用する。周波数変換には、フーリエ変換、コサイン変換、ＫＬ（カルーネンレーベ）変換などを用いてよい。これらの変換の具体的な演算に関連する技術及びその性質は、非特許文献８（1990 年、「ディジタル・コーディング・オブ・ウェーブフォームス」、プレンティス・ホール (DIGITAL CODING OF WAVEFORMS, PRINCIPLES AND APPLICATIONS TO SPEECH AND VIDEO, PRENTICE-HALL, 1990.)）に開示されている。【００４３】
また、変換部1201は、１ブロックの入力信号サンプルを窓関数で重み付けした結果に対して、前述の変換を適用してもよい。このような窓関数としては、ハミング、ハニング（ハン）、ケイザー、ブラックマンなどの窓関数が知られている。また、さらに複雑な窓関数を用いてもよい。これらの窓関数に関連する技術は、非特許文献９（1975 年、「ディジタル・シグナル・プロセシング」、プレンティス・ホール (DIGITAL SIGNAL PROCESSING, PRENTICE-HALL, 1975.)）及び非特許文献10（1993 年、「マルチレートシステムズ・アンド・フィルタバンクス」、プレンティス・ホール (MULTIRATE SYSTEMS AND FILTER BANKS, PRENTICE-HALL, 1993.)）に開示されている。【００４４】
変換部1201が、入力Ａ０に含まれる複数の入力信号サンプルから１ブロックを構成する際に、各ブロックに重なり（オーバラップ）を許容してもよい。例えば、ブロック長の30％のオーバラップを適用する場合には、あるブロックに属する信号サンプルの最後30％は、次のブロックに属する信号サンプルの最初30％として複数のブロックで重複して用いられる。オーバラップを有するブロック化と変換に関連する技術は、非特許文献８に開示されている。【００４５】
さらに、変換部1201は、帯域分割フィルタバンクで構成してもよい。帯域分割フィルタバンクは、複数の帯域通過フィルタから構成される。帯域分割フィルタバンクは、受信した入力信号を複数の周波数帯域に分割して、出力する。帯域分割フィルタバンクの各周波数帯域は等間隔であってもよいし、不等間隔であってもよい。不等間隔に帯域分割することによって、音声の重要な成分が多く含まれる低域では狭帯域に分割して時間分解能を低く、高域では広い帯域に分割して時間分解能を高くすることができる。不等間隔分割には、低域に向かって帯域が逐次半分になるオクターブ分割や人間の聴覚特性に対応した臨界帯域分割などを用いてもよい。帯域分割フィルタバンクとその設計法に関連する技術は、非特許文献10に開示されている。【００４６】
変換部1201は、劣化音声パワースペクトルを雑音推定部1202、抑圧係数生成部1203、及び乗算器1204に出力する。劣化音声パワースペクトルは、周波数変換された信号成分の振幅に関する情報である。変換部1201は、周波数変換された信号成分の位相に関する情報を逆変換部1205に出力する。雑音推定部1202は、入力された劣化音声パワースペクトルに含まれる複数の周波数振幅情報に基づいて、複数の雑音を推定し、抑圧係数生成部1203に出力する。抑圧係数生成部1203は、入力された複数の周波数振幅情報と複数の推定雑音を用いて、これらの周波数毎に対応した複数の抑圧係数を生成する。抑圧係数は、前記周波数振幅と推定雑音との比が大きいほど大きくなり、０と１の間をとるように生成される。抑圧係数の決定方法については、特許文献１に開示されている方法を用いてもよい。抑圧係数生成部1203は、複数の抑圧係数を乗算器1204に出力する。乗算器1204は、変換部1201から入力された劣化音声パワースペクトルを抑圧係数生成部1203から入力された複数の抑圧係数で重み付けし、得られた強調音声パワースペクトルを逆変換部1205へ出力する。【００４７】
逆変換部1205は、乗算器1204から入力された強調音声パワースペクトルと変換部1201から入力される位相から再構成された情報を逆変換して、入力０として出力する。逆変換部1205が適用する逆変換は、変換部1201が適用する変換と対応する逆変換が選択されることが望ましい。例えば、変換部1201が、複数の入力信号サンプルをまとめて１ブロックを構成し、このブロックに対して周波数変換を適用するときには、逆変換部1205は同一数のサンプルに対して対応する逆変換を適用する。また、変換部1201が複数の入力信号サンプルから１ブロックを構成する際に、各ブロックに重なり（オーバラップ）を許容する場合には、これに対応して、逆変換部1205は逆変換後の信号に対して同一のオーバラップを適用する。さらに、変換部1201を帯域分割フィルタバンクで構成するときには、逆変換部1205を帯域合成フィルタバンクで構成する。帯域合成フィルタバンクとその設計法に関連する技術は、非特許文献10に開示されている。【００４８】
前処理部11の第４の構成例は、前処理部11に複数の入力信号が入力される第１から第４の構成例と異なり、一つの入力（この場合は入力Ａ０）から、信号成分の分離が可能である。これは、入力Ａ０の支配的な信号成分を強調し、それを入力Ａ０から差し引き、非支配的信号成分を生成するからである。【００４９】
次に、図１２を参照して、前処理部11の第５の構成例について詳細に説明する。図１２の前処理部11は、信号成分強調部1100〜110Ｍi-2、適応フィルタリング部1260〜126Ｍi-2、加算器115で構成されている。信号成分強調部1100〜110Ｍi-2の出力がそれぞれ入力０〜入力Ｍi-2として、加算器115の出力が入力Ｍi-1として出力される。信号成分強調部110j(０≦ｊ≦Ｍi-2)は、図６の第１の構成例において説明した通りに動作する。適応フィルタリング部1260〜126Ｍi-2には信号成分強調部1100〜110Ｍi-2の出力がそれぞれ入力されており、これらの入力と相関のある信号成分を生成する。適応フィルタリング部1260〜126Ｍi-2の出力は、すべて極性を反転させた上で、加算器115に出力されている。加算器115の他の入力には、入力Ａ０〜入力ＡＭi-1が入力されている。加算器115は、入力Ａ０〜入力ＡＭi-1の総和から適応フィルタリング部1260〜126Ｍi-2の出力の総和を差し引いて、その結果を入力Ｍi-1として出力する。従って、理論的には加算器115の出力には、信号成分強調部1100〜110Ｍi-2で強調された信号成分は、含まれないことになる。加算器115の出力は、適応フィルタリング部1260〜126Ｍi-2に帰還される。適応フィルタリング部1260〜126Ｍi-2は、加算器115の出力が最小化されるように、適応フィルタリング部1260〜126Ｍi-2に含まれる適応フィルタの係数を更新する。【００５０】
さらに、本構成例の前処理部11は、適応フィルタリング部1260〜126Ｍi-2なしで、信号成分強調部1100〜110Ｍi-2の出力を直接加算器115に出力する構成や、加算器115が入力０〜入力Ｍi-2を単に加算するだけの構成でもよい。これらの場合も、上述の本構成例の前処理部11と同様の効果が得られる。【００５１】
第５の構成例の前処理部11は、図６を用いて説明した第１の構成例の前処理部11と異なり、適応フィルタリング部1260〜126Ｍi-2及び加算器115を有する。この構成により、第５の構成例の前処理部11は信号成分強調部1100〜110Ｍi-2の出力で強調された信号を含まない信号を入力Ｍi-1として出力する。この入力Ｍi-1では、空間にほぼ一様に存在する背景雑音などの拡散的な信号が支配的になる。このように、前処理部11が適応フィルタリング部1260〜126Ｍi-2及び加算器115を備えることによって、拡散的な信号を強調することが可能となる。【００５２】
次に、図１３を参照して、前処理部11の第６の構成例について詳細に説明する。図１３の前処理部11は、複数の信号成分強調部1100〜110Ｍi-2と加算器115で構成されている。信号成分強調部1100〜110Ｍi-2の出力がそれぞれ入力０〜入力Ｍi-2として、加算器115の出力が入力Ｍi-1として出力される。信号成分強調部110j(０≦ｊ≦Ｍi-2)が一般化サイドローブキャンセラで構成される場合は、内部で固定ビームフォーミング部出力から減算される信号が、強調される信号成分以外の信号成分（非強調成分）となっている。従って、非強調成分の信号を信号成分強調部1100〜110Ｍi-2のそれぞれから取り出し、加算器115で加算する。これにより、加算器115の出力には強調された信号成分が含まれないことになる。【００５３】
上記一般化サイドローブキャンセラの例を、図１４に示す。図１４に示される一般化サイドローブキャンセラは、図７に示される一般化サイドローブキャンセラと同等な構成を有している。図１４に示される一般化サイドローブキャンセラでは、図７に示される一般化サイドローブキャンセラと異なり、加算器1132の出力が非強調成分として出力されている。この非強調成分を図１３に示される加算器115で加算することによって、拡散的な信号として強調することができる。同様に、非強調成分を得ることができる構成であれば、一般化サイドローブキャンセラ以外でも、信号成分強調部として利用することができる。【００５４】
第６の構成例の前処理部11は、図６を用いて説明した第１の構成例と異なり、新たに加算器115を有し、信号成分強調部1100〜110Ｍi-2の各々から得た非強調成分を入力Ｍi-1として出力する。この構成により、入力Ｍi-1は、空間にほぼ一様に存在する背景雑音などの拡散的な信号が支配的になる。このように、前処理部11が適応フィルタリング部1260〜126Ｍi-2及び加算器115を備えることによって、非強調成分を拡散的な信号として強調することが可能となる。【００５５】
以上説明したように、本発明の信号処理システムの第二の実施の形態によれば、信号成分を異なった割合で含む複数の入力信号をレンダリングして、異なった定位を付与することができる。また、本実施の形態の信号処理システムは、複数の入力信号に前処理を施して、それぞれに含まれる特定の信号成分を強調し、分離度を高めてから、レンダリングすることができる。また、本実施の形態の信号処理システムは、低歪で信号分離度の不十分な入力信号を人間の聴覚器官に本来備わった分離機能を利用することにより、信号分離度の不十分な入力信号をさらに分離して知覚させることができる。すなわち、本実施の形態の信号処理システムは、信号分離能力を保ったまま歪みを低減することができる。このため、入力信号に含まれる複数の信号成分に、小さな歪で信号成分毎に異なった定位を付与することができる信号処理システムを提供することができる。【００５６】
続いて、図１５を参照して、本発明の信号処理システムの第三の実施の形態の信号処理システムについて詳細に説明する。本発明の第三の実施の形態は、多重レンダリング部５に入力する信号をマイクロホンで捕捉するものである。図１５を参照して、多重レンダリング部５に対するマイクロホンによる入力信号を入力するシステムについて説明する。【００５７】
前処理部11には、マイクロホン６0〜６Mm-1から入力Ａ０〜ＡＭm-1が入力されている。マイクロホン６0は信号成分０を発生する音源７0に近い位置に、マイクロホン６1は信号成分１を発生する音源７1に近い位置に、同様にマイクロホン６Mm-1は信号成分Ｍm-1を発生する音源７Mm-1に近い位置に配置されている。このため、入力Ａ０においては信号成分０が、入力Ａ１においては信号成分１が、入力ＡＭm-1においては信号成分Ｍm-1が強調される。このようにして得られたＡ０〜ＡＭm-1を前処理部11に入力することにより、信号成分０〜Ｍm-1を空間上の異なった位置に定位させることができる。なお、マイクロホン６0〜６Mm-1として指向性マイクロホンを利用し、その指向性を音源に一致させることで、上記効果をさらに高くすることができる。また、前処理部11のない構成でも、同様の効果を得られる。【００５８】
以上説明したように、本発明の信号処理システムの第三の実施の形態によれば、信号成分を異なった割合で含む複数の入力信号をレンダリングして、異なった定位を付与することができる。また、複数の入力信号を所望する信号成分の音源に近く配置したマイクロホンを用いて捕捉するので、マイクロホン信号間の分離度を高くしてからレンダリングすることができる。このため、入力信号に含まれる複数の信号成分に、小さな歪で、信号成分毎に異なった定位を付与することができる信号処理システムを提供することができる。【００５９】
続いて、図１６を参照して、本発明の信号処理システムの第四の実施の形態について詳細に説明する。本発明の第四の実施の形態は、前処理部11に入力される信号をマイクロホンで捕捉する際に、信号の漏れ込みを低減するために、それぞれのマイクロホン間に障害物を備えたものである。図１６では、マイクロホン６0〜６Mm-1のそれぞれの間に隔壁状の障害物100〜10Mm-1が存在している。図１５に示すように自由空間にマイクロホンを配置しても、現実的には、音源７1からマイクロホン６0へ、または音源７0からマイクロホン６1へ、信号が漏れこむことがある。本実施の形態の信号処理システムは、障害物100〜10Mm-1を適切に配置することにより、これらの信号漏れ込みを低減することができる。障害物100〜10Mm-1の設置により、意図的に信号を減衰させる効果が生じる。例えば、音源７0とマイクロホン６1とを結ぶ直線をさえぎるように障害物100が存在するとき、音源７0の発生する信号の信号成分０は、減衰してマイクロホン６1に到達する。伝搬経路上に障害物100の存在しないマイクロホン６0に信号成分０が到達するときの減衰量は、マイクロホン６1に到達する信号の減衰量より小さい。すなわち、信号成分０のパワーは、マイクロホン６1からの入力信号に含まれるパワーよりマイクロホン６0からの入力信号に含まれるパワーの方が大きい。同様の議論により、信号成分１のパワーは、マイクロホン６0からの入力信号に含まれるパワーよりマイクロホン６1からの入力信号に含まれるパワーの方が大きい。このため、入力Ａ０においては音源７0の発生する信号成分０が支配的になり、入力Ａ１においては音源７1が発生する信号成分１が支配的となる。【００６０】
上記のような障害物以外を、信号を減衰させる効果があるものとして利用してもよい。例えば、携帯電話などの端末の異なる側面に装備された複数のマイクロホンを利用してもよい。特に、筐体の一方の面とそれ以外の面とに装備されたマイクロホンに関しては、筐体自身が障害物として機能するために、上記の信号処理システムと同様の効果が得られる。図１７は、このような例を示している。図１７の例では、携帯電話の一面にマイクロホン６0が、その裏面にマイクロホン６1が具備されている。【００６１】
図１８は、マイクロホンを携帯電話の表面及び側面に具備した例である。マイクロホン６1は、マイクロホン６0に対して側面に固定されている。さらに、マイクロホン６0及び６1に対して、他方のマイクロホン側からの信号漏れ込みを低減するために、板状の突起を設けてもよい。この様子を、マイクロホン６1を例として、拡大図で示す。【００６２】
パーソナルコンピュータ(ＰＣ)のキーボードとディスプレイに装備されたマイクロホンでも、上記携帯電話などの端末の構成と同様の効果が得られる。特に、ディスプレイの裏側にマイクロホンが装備されている場合には、ディスプレイが障害物として機能するために、上記携帯電話などの端末の構成と同様の効果が得られる。図１９は、このような例を示している。正面図のキーボードにはマイクロホン６0が、背面図にあるディスプレイ裏面にはマイクロホン６1が装着されている。さらに、マイクロホン６0及び６1に対して、他方のマイク路ホン側からの信号漏れ込みを低減するために、板状の突起を設けてもよい。この様子を、マイクロホン６1を例として、拡大図で示す。PC側面やディスプレイ側面へのマイクロホン装着も、上記携帯電話などの端末の構成と同様の効果が得られる。【００６３】
以上説明したように、本発明の信号処理システムの第四の実施の形態によれば、信号成分を異なった割合で含む複数の入力信号をレンダリングして、異なった定位を付与することができる。また、複数の入力信号を所望する信号成分の音源に近く配置したマイクロホンを用いて捕捉するので、マイクロホン信号間の分離度を高くしてからレンダリングすることができる。さらに、各マイクロホン間に信号の相互漏れ込みを低減する障害物を配置することにより、マイクロホン信号間の分離度をさらに高くしてからレンダリングすることができる。また、本実施の形態の信号処理システムは、低歪で信号分離度の不十分な入力信号を人間の聴覚器官に本来備わった分離機能を利用することにより、信号分離度の不十分な入力信号をさらに分離して知覚させることができる。すなわち、本実施の形態の信号処理システムは、信号分離能力を保ったまま歪みを低減することができる。このため、入力信号に含まれる複数の信号成分に、小さな歪で信号成分毎に異なった定位を付与することができる信号処理システムを提供することができる。【００６４】
また、上述した信号処理システムは、プログラムによって動作するコンピュータによっても実現できる。【００６５】
以上の如く、実施の形態を説明したが、本発明の実施例は以下の通りである。【００６６】
すなわち、本発明の第１の実施例は、第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする信号処理システムである。【００６７】
また、本発明の第２の実施例は、上記実施例において、前記レンダリング部が第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする。【００６８】
また、本発明の第３の実施例は、上記実施例において、複数の信号を含む信号を受け、前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理部をさらに備えることを特徴とする。【００６９】
また、本発明の第４の実施例は、上記実施例において、前記強調処理部が、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする。【００７０】
また、本発明の第５の実施例は、上記実施例において、前記第一の入力信号が、所望信号が強調された信号であることを特徴とする。【００７１】
また、本発明の第６の実施例は、上記実施例において、前記第二の入力信号が、所望信号以外の信号が強調された信号であることを特徴とする。【００７２】
また、本発明の第７の実施例は、上記実施例において、前記所望信号が音声であることを特徴とする。【００７３】
また、本発明の第８の実施例は、上記実施例において、前記所望信号以外の信号が雑音であることを特徴とする。【００７４】
また、本発明の第９の実施例は、上記実施例において、前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉するマイクロホンをさらに備えることを特徴とする。【００７５】
また、本発明の第１０の実施例は、上記実施例において、前記マイクロホンを複数備え、前記複数のマイクロホンの間を遮蔽する部材を備えることを特徴とする。【００７６】
また、本発明の第１１の実施例は、上記実施例において、前記複数のマイクロホンを筐体の異なった面に備えることを特徴とする。【００７７】
また、本発明の第１２の実施例は、第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする信号処理装置である。【００７８】
また、本発明の第１３の実施例は、上記実施例において、前記レンダリング部が、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする。【００７９】
また、本発明の第１４の実施例は、上記実施例において、前記第一の入力信号が、所望信号が強調された信号であることを特徴とする。【００８０】
また、本発明の第１５の実施例は、上記実施例において、前記第二の入力信号が、所望信号以外の信号が強調された信号であることを特徴とする。【００８１】
また、本発明の第１６の実施例は、上記実施例において、前記所望信号が音声であることを特徴とする。【００８２】
また、本発明の第１７の実施例は、上記実施例において、前記所望信号以外の信号が雑音であることを特徴とする。【００８３】
また、本発明の第１８の実施例は、上記実施例において、前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉するマイクロホンをさらに備えることを特徴とする。【００８４】
また、本発明の第１９の実施例は、上記実施例において、前記マイクロホンを複数備え、前記複数のマイクロホンの間を遮蔽する部材を備えることを特徴とする。【００８５】
また、本発明の第２０の実施例は、上記実施例において、前記複数のマイクロホンを筐体の異なった面に備えることを特徴とする。【００８６】
また、本発明の第２１の実施例は、第一及び第二の入力信号を受ける受信ステップと、レンダリング情報に基づいて第一の入力信号を定位させるレンダリングステップとを含むことを特徴とする信号処理方法である。【００８７】
また、本発明の第２２の実施例は、上記実施例において、前記レンダリングステップにおいて、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする。【００８８】
また、本発明の第２３の実施例は、上記実施例において、複数の信号を含む信号を受ける受信ステップと、前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理ステップと、をさらに含むことを特徴とする。【００８９】
また、本発明の第２４の実施例は、上記実施例において、前記強調処理ステップにおいて、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする。【００９０】
また、本発明の第２５の実施例は、上記実施例において、前記第一の入力信号が、所望信号が強調された信号であることを特徴とする。【００９１】
また、本発明の第２６の実施例は、上記実施例において、前記第二の入力信号が、所望信号以外の信号が強調された信号であることを特徴とする。【００９２】
また、本発明の第２７の実施例は、上記実施例において、前記所望信号が音声であることを特徴とする。【００９３】
また、本発明の第２８の実施例は、上記実施例において、前記所望信号以外の信号が雑音であることを特徴とする。【００９４】
また、本発明の第２９の実施例は、上記実施例において、前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉する信号捕捉ステップをさらに含むことを特徴とする。【００９５】
また、本発明の第３０の実施例は、コンピュータに、第一及び第二の入力信号を受ける受信処理と、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング処理と、を実行させる信号処理プログラムである。【００９６】
また、本発明の第３０の実施例は、上記実施例において、前記レンダリング処理において、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする。【００９７】
また、本発明の第３１の実施例は、上記実施例において、コンピュータに、複数の信号を含む信号を受ける受信処理と、前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理と、を実行させることを特徴とする。【００９８】
また、本発明の第３３の実施例は、上記実施例において、前記強調処理において、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする。【００９９】
また、本発明の第３４の実施例は、上記実施例において、前記第一の入力信号が、所望信号が強調された信号であることを特徴とする。【０１００】
また、本発明の第３５の実施例は、上記実施例において、前記第二の入力信号が、所望信号以外の信号が強調された信号であることを特徴とする。【０１０１】
また、本発明の第３６の実施例は、上記実施例において、前記所望信号が音声であることを特徴とする。【０１０２】
また、本発明の第３７の実施例は、上記実施例において、前記所望信号以外の信号が雑音であることを特徴とする。【０１０３】
また、本発明の第３８の実施例は、上記実施例において、コンピュータに、前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉する信号捕捉処理を実行させることを特徴とする。【０１０４】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。【０１０５】
本出願は、２００７年１０月１９日に出願された日本出願特願２００７−２７１９６３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１０６】
本発明によれば、信号処理を行う装置、信号処理をコンピュータに実現するためのプログラムといった用途に適用できる。
【図１】
2009051132.tif 000004
【図２】
2009051132.tif 000005
【図３】
2009051132.tif 000006
【図４】
2009051132.tif 000007
【図５】
2009051132.tif 000008
【図６】
2009051132.tif 000009
【図７】
2009051132.tif 000010
【図８】
2009051132.tif 000011
【図９】
2009051132.tif 000012
【図１０】
2009051132.tif 000013
【図１１】
2009051132.tif 000014
【図１２】
2009051132.tif 000015
【図１３】
2009051132.tif 000016
【図１４】
2009051132.tif 000017
【図１５】
2009051132.tif 000018
【図１６】
2009051132.tif 000019
【図１７】
2009051132.tif 000020
【図１８】
2009051132.tif 000021
【図１９】
2009051132.tif 000022
【図２０】
2009051132.tif 000023
【手続補正書】
【提出日】平成21年8月18日(2009.8.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第一及び第二の入力信号と、前記入力信号の定位を操作するためのレンダリング情報とを受け、前記レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする信号処理システム。
【請求項２】
前記レンダリング部は、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項１に記載の信号処理システム。
【請求項３】
複数の信号成分が混合された信号を受け、前記信号から特定の信号成分を強調し前記第一の入力信号とする強調処理部をさらに備え、
前記強調処理部は、前記特定の信号成分の分離度を高めることを特徴とする請求項１または２に記載の信号処理システム。
【請求項４】
前記強調処理部は、前記特定の信号成分以外の特定の信号成分を強調し前記第二の入力信号とすることを特徴とする請求項３に記載の信号処理システム。
【請求項５】
前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項１乃至４のいずれか一項に記載の信号処理システム。
【請求項６】
前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項１乃至５のいずれか一項に記載の信号処理システム。
【請求項７】
前記所望信号は、音声であることを特徴とする請求項５または６に記載の信号処理システム。
【請求項８】
前記所望信号以外の信号は、雑音であることを特徴とする請求項５乃至７のいずれか１項に記載の信号処理システム。
【請求項９】
前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉するマイクロホンをさらに備えることを特徴とする請求項５乃至８のいずれか１項に記載の信号処理システム。
【請求項１０】
前記マイクロホンを複数備え、
前記複数のマイクロホンの間を遮蔽する部材を備えることを特徴とする請求項９に記載の信号処理システム。
【請求項１１】
前記複数のマイクロホンを筐体の異なった面に備えることを特徴とする請求項９に記載の信号処理システム。
【請求項１２】
第一及び第二の入力信号と、前記入力信号の定位を操作するためのレンダリング情報とを受け、前記レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする信号処理装置。
【請求項１３】
前記レンダリング部は、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項１２に記載の信号処理装置。
【請求項１４】
前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項１２または１３に記載の信号処理装置。
【請求項１５】
前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項１２乃至１４のいずれか一項に記載の信号処理装置。
【請求項１６】
前記所望信号は、音声であることを特徴とする請求項１４または１５に記載の信号処理装置。
【請求項１７】
前記所望信号以外の信号は、雑音であることを特徴とする請求項１４乃至１６のいずれか１項に記載の信号処理装置。
【請求項１８】
前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉するマイクロホンをさらに備えることを特徴とする請求項１４乃至１７のいずれか１項に記載の信号処理装置。
【請求項１９】
前記マイクロホンを複数備え、
前記複数のマイクロホンの間を遮蔽する部材を備えることを特徴とする請求項１８に記載の信号処理装置。
【請求項２０】
前記複数のマイクロホンを筐体の異なった面に備えることを特徴とする請求項１８に記載の信号処理装置。
【請求項２１】
第一及び第二の入力信号と、前記入力信号の定位を操作するためのレンダリング情報とを受ける受信ステップと、
前記レンダリング情報に基づいて第一の入力信号を定位させるレンダリングステップと、
を含むことを特徴とする信号処理方法。
【請求項２２】
前記レンダリングステップにおいて、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項２１に記載の信号処理方法。
【請求項２３】
複数の信号成分が混合された信号を受ける受信ステップと、
前記信号から特定の信号成分を強調し前記第一の入力信号とする強調処理ステップとを更に有し、
前記強調処理ステップは、前記特定の信号成分の分離度を高める
ことを特徴とする請求項２１または２２に記載の信号処理方法。
【請求項２４】
前記強調処理ステップにおいて、前記特定の信号成分以外の特定の信号成分を強調し前記第二の入力信号とすることを特徴とする請求項２３に記載の信号処理方法。
【請求項２５】
前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項２１乃至２４のいずれか一項に記載の信号処理方法。
【請求項２６】
前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項２１乃至２５のいずれか一項に記載の信号処理方法。
【請求項２７】
前記所望信号は、音声であることを特徴とする請求項２５または２６に記載の信号処理方法。
【請求項２８】
前記所望信号以外の信号は、雑音であることを特徴とする請求項２５乃至２７のいずれか１項に記載の信号処理方法。
【請求項２９】
前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉する信号捕捉ステップをさらに含むことを特徴とする請求項２５乃至２８のいずれか１項に記載の信号処理方法。
【請求項３０】
コンピュータに、
第一及び第二の入力信号と、前記入力信号の定位を操作するためのレンダリング情報とを受ける受信処理と、
前記レンダリング情報に基づいて第一の入力信号を定位させるレンダリング処理と、
を実行させる信号処理プログラム。
【請求項３１】
前記レンダリング処理において、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項３０に記載の信号処理プログラム。
【請求項３２】
コンピュータに
複数の信号成分が混合された信号を受ける受信処理と、
前記信号から特定の信号成分を強調し前記第一の入力信号とする強調処理とを更に実行させ、
前記前記強調処理は、前記特定の信号成分の分離度を高める
ことを特徴とする請求項３０または３１に記載の信号処理プログラム。
【請求項３３】
前記強調処理において、前記特定の信号成分以外の特定の信号成分を強調し前記第二の入力信号とすることを特徴とする請求項３２に記載の信号処理プログラム。
【請求項３４】
前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項３０乃至３３のいずれか一項に記載の信号処理プログラム。
【請求項３５】
前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項３０乃至３４のいずれか一項に記載の信号処理プログラム。
【請求項３６】
前記所望信号は、音声であることを特徴とする請求項３４または３５に記載の信号処理プログラム。
【請求項３７】
前記所望信号以外の信号は、雑音であることを特徴とする請求項３４乃至３６のいずれか１項に記載の信号処理プログラム。
【請求項３８】
コンピュータに、
前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉する信号捕捉処理を実行させることを特徴とする請求項３４乃至３７のいずれか１項に記載の信号処理プログラム。
【国際調査報告】
2009051132.tif 000024
2009051132.tif 000025
2009051132.tif 000026
2009051132.tif 000027