(57)【要約】  複数の音入力部に入力された夫々の音について、第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出部と、検出した周波数成分の音に基づき第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音から前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数部と、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正部と、レベルを補正した音信号に基づいて音処理を行う処理部とを備える音処理装置、補正装置、補正方法及びコンピュータプログラム。
2009069184.tif 000002
【特許請求の範囲】
【請求項１】
音を入力される複数の音入力部を有し、該複数の音入力部が入力された音から生成した夫々の音信号に基づいて音に関する音処理を行う音処理装置において、
前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出部と、
検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音から前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数部と、
求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正部と、
レベルを補正した音信号に基づいて音処理を行う処理部と
を備えることを特徴とする音処理装置。
【請求項２】
前記検出部が検出した音の到来方向が、前記第１音入力部及び第２音入力部の配設位置にて定まる直線に対して垂直な方向から所定の角度範囲内である場合に、
前記補正係数部は、補正係数を求め、
前記補正部は、レベルを補正する
様にしてあることを特徴とする請求項１に記載の音処理装置。
【請求項３】
前記処理部は、
前記補正部による補正後の音信号のレベル差を算出する差異算出部と、
算出したレベル差に基づいて、前記第１音入力部が生成した音信号のレベルを制御する制御係数を求める制御係数部と、
求めた制御係数にて前記第１音入力部が生成した音信号のレベルを制御するレベル制御部と
を備えることを特徴とする請求項１又は請求項２に記載の音処理装置。
【請求項４】
前記処理部は、到来する方向が、前記第１音入力部及び第２音入力部の配設位置にて定まる直線の方向から所定の角度範囲内である音の周波数成分に係る音信号に対して音処理を行う様にしてあることを特徴とする請求項１乃至請求項３のいずれかに記載の音処理装置。
【請求項５】
音を入力される三以上の音入力部を同一直線上とならない様に配設し、前記三以上の音入力部が入力された音から生成した夫々の音信号に基づいて音に関する音処理を行う音処理装置において、
前記音入力部に入力された夫々の音について、前記三以上の音入力部の中の任意の二の音入力部の配設位置にて定まる第１の直線に対し、略垂直方向から到来する音の周波数成分を検出する第１検出部と、
該第１検出部が検出した周波数成分の音に基づき前記第１の直線上の二の音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める第１補正係数部と、
該第１補正係数部が求めた補正係数に基づき前記第１の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方の音信号のレベルを補正する第１補正部と、
該第１補正部にてレベルを補正した音信号に基づいて音処理を行う第１処理部と、
前記音入力部に入力された夫々の音について、前記三以上の音入力部の中で前記第１の直線上の二の音入力部と少なくとも一方が異なる任意の二の音入力部の配設位置にて定まり、前記第１の直線と同一及び平行のいずれでもない第２の直線に対し、略垂直方向から到来する音の周波数成分を検出する第２検出部と、
該第２検出部が検出した周波数成分の音に基づき前記第２の直線上の二の音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第２の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める第２補正係数部と、
該第２補正係数部が求めた補正係数に基づき前記第２の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方の音信号のレベルを補正する第２補正部と、
該第１補正部にてレベルを補正した音信号に基づいて音処理を行う第２処理部と
を備えることを特徴とする音処理装置。
【請求項６】
前記第１検出部が検出した音の到来方向が、前記第１の直線に対して垂直な方向から所定の角度範囲内である場合に、
前記第１補正係数部は、補正係数を求め、
前記第１補正部は、レベルを補正し、
前記第２検出部が検出した音の到来方向が、前記第２の直線に対して垂直な方向から所定の角度範囲内である場合に、
前記第２補正係数部は、補正係数を求め、
前記第２補正部は、レベルを補正する
様にしてあることを特徴とする請求項５に記載の音処理装置。
【請求項７】
前記第１処理部は、
前記第１補正部による補正後の音信号のレベル差を算出する第１差異算出部と、
該第１差異算出部が算出したレベル差に基づいて、前記第１の直線上の二の音入力部の一方の音入力部である第１の音入力部が生成した音信号のレベルを制御する制御係数を求める第１制御係数部と、
該第１制御係数部が求めた制御係数にて前記第１の音入力部が生成した音信号のレベルを制御する第１レベル制御部と
を備え、
前記第２処理部は、
前記第２補正部による補正後の音信号のレベル差を算出する第２差異算出部と、
該第２差異算出部が算出したレベル差に基づいて、前記第２の直線上の二の音入力部の一方の音入力部であり、かつ前記第１の音入力部と異なる第２の音入力部が生成した音信号のレベルを制御する制御係数を求める第２制御係数部と、
該第２制御係数部が求めた制御係数にて前記第２の音入力部が生成した音信号のレベルを制御する第２レベル制御部と
を備える
ことを特徴とする請求項５又は請求項６に記載の音処理装置。
【請求項８】
前記第１処理部は、到来する方向が、前記第１の直線の方向から所定の角度範囲内である音の周波数成分に係る音信号に対して音処理を行う様にしてあり、
前記第２処理部は、到来する方向が、前記第２の直線の方向から所定の角度範囲内である音の周波数成分に係る音信号に対して音処理を行う様にしてある
ことを特徴とする請求項５乃至請求項７のいずれかに記載の音処理装置。
【請求項９】
入力された音から音信号を生成する複数の音入力部を有する音入力装置が生成した音信号を補正する補正装置において、
前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出部と、
検出した音の周波数成分に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音から前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数部と、
求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正部と、
レベルを補正した音信号に基づいて音処理を行う処理部と
を備えることを特徴とする補正装置。
【請求項１０】
コンピュータを、入力された音から音信号を生成する複数の音入力部、特定の方向から到来する音の周波数成分を検出する検出部、音信号のレベルを補正する補正係数を求める補正係数部、及び補正係数に基づいて音信号のレベルを補正する補正部を有する音処理装置として機能させる補正方法であって、
前記検出部により、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出手順と、
前記補正係数部により、検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数手順と、
前記補正部により、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正手順と
を行うことを特徴とする補正方法。
【請求項１１】
コンピュータに、入力された音から音信号を生成する複数の音入力部、特定の方向から到来する音の周波数成分を検出する検出部、音信号のレベルを補正する補正係数を求める補正係数部、及び補正係数に基づいて音信号のレベルを補正する補正部を有する音処理装置として機能させるコンピュータプログラムであって、
コンピュータに、
前記検出部により、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出手順と、
前記補正係数部により、検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数手順と、
前記補正部により、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正手順と
を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音を入力する複数の音入力部を有し、該複数の音入力部が入力された音から生成した夫々の音信号に基づいて音に関する音処理を行う音処理装置、入力された音から音信号を生成する複数の音入力部を有する音入力装置が生成した音信号を補正する補正装置、前記音処理装置にて行われる補正方法、前記音処理装置として機能させるコンピュータプログラムに関する。
【背景技術】
【０００２】
コンデンサマイク等のマイクロホンを用いた音入力部を有し、音入力部に入力された音に基づいて様々な音処理を行うマイクアレイ等の音処理装置が、携帯電話、カーナビゲーションシステム、会議システム等のシステムに組み込まれる装置として開発されている。この様な音処理装置は、例えば音入力部が入力された音に基づき生成した音信号に対し、音処理装置と音源との距離に応じたレベル制御を行う処理等の音処理を行う。音処理装置は、音源からの距離に応じたレベル制御により、音入力部の近傍で話者が発声した音声のレベルは保持したまま、遠方の雑音を近似的に抑制する処理、遠方で話者が発声した音声のレベルは保持したまま、近傍の雑音を近似的に抑制する処理等の様々な処理を行うことができる。【０００３】
音源からの距離に応じたレベル制御は、音源からの音は球面波として空中を伝搬するが、伝搬距離が長くなる程、平面波に近付くという空気中を伝搬する音の性質を利用して行われる。即ち入力された音に基づく音信号のレベル（振幅）は、音源からの距離に反比例して減衰するので、一定の距離に対してレベルが減衰する割合は、音源からの距離が長い程、小さくなる。例えば音源方向に沿って第１音入力部及び第２音入力部を適当な間隔Ｄで配設し、音源から第１音入力部までの距離をＬとし、音源から第２音入力部までの距離をＬ＋Ｄとして、第１音入力部にて入力される音に対する第２音入力部にて入力される音のレベル差（比）を｛１／（Ｌ＋Ｄ）｝／（１／Ｌ）、即ちＬ／（Ｌ＋Ｄ）として示すものとする。この場合、レベル差Ｌ／（Ｌ＋Ｄ）は、音源からの距離Ｌが長い程、間隔Ｄに対する距離Ｌが大きくなるので、距離Ｌが長くなる程、レベル差Ｌ／（Ｌ＋Ｄ）は大きくなるということができる。音処理装置ではこの性質を利用し、複数の音入力部にて生成した夫々の音信号を周波数軸上の成分に変換し、周波数毎に、夫々の音信号のレベル差を求め、レベル差に基づく距離に応じて周波数毎に音信号を増幅／抑制することにより音源からの距離に応じたレベル制御を近似的に実現する。【０００４】
次に音処理装置の構成例について説明する。図１は、従来の音処理装置の構成例を示す機能ブロック図である。図１中１００００は、音処理装置であり、音処理装置１００００は、入力された音に基づいて音信号を生成する第１音入力部１０００１及び第２音入力部１０００２と、音信号に対してＡ／Ｄ変換を行う第１Ａ／Ｄ変換部１１００１及び第２Ａ／Ｄ変換部１１００２と、音信号に対してＦＦＴ（高速フーリエ変換:Fast Fourier Transformation）処理を行う第１ＦＦＴ処理部１２００１及び第２ＦＦＴ処理部１２００２と、音信号のレベル差を算出するレベル差算出部１３０００と、第１音入力部１０００１に係る音信号のレベルを制御する制御係数を求める制御係数部１４０００と、制御係数にて第１音入力部１０００１に係る音信号のレベルを制御するレベル制御部１５０００と、音信号に対してＩＦＦＴ（逆フーリエ変換）処理を行うＩＦＦＴ処理部１６０００とを備えている。なお第１音入力部１０００１及び第２音入力部１０００２は、雑音、話者が発声した音声等の音が到来する方向に沿って適切な間隔で配設されている。【０００５】
図１中において、第１音入力部１０００１にて生成された音信号は、ｘ１（ｔ）として示されており、第２音入力部１０００２にて生成された音信号は、ｘ２（ｔ）として示されている。なお変数ｔは、時刻、又はアナログ信号である音信号をサンプリングしてデジタル信号に変換した際の各サンプルを特定するサンプル番号を示している。第１音入力部１００１にて生成された音信号ｘ１（ｔ）は、第１ＦＦＴ処理部１２００１にてＦＦＴ処理されて音信号Ｘ１（ｆ）となり、第２音入力部１０００２にて生成された音信号ｘ２（ｔ）は、第２ＦＦＴ処理部１２００２にてＦＦＴ処理されて音信号Ｘ２（ｆ）となる。なお変数ｆは、周波数を示している。レベル差算出部１３０００は、音信号Ｘ１（ｆ）及びＸ２（ｆ）のレベル差ｄｉｆｆ（ｆ）を、下記の式（１）により振幅スペクトルの比として算出する。【０００６】
ｄｉｆｆ（ｆ）＝｜Ｘ２（ｆ）｜／｜Ｘ１（ｆ）｜  …式（１）【０００７】
制御係数部１４０００は、レベル差ｄｉｆｆ（ｆ）に基づいて、例えばｄｉｆｆ（ｆ）が大きくなる程、即ち音源までの距離が長い程、小さい値をとる所定の計算方法にて制御係数ｇａｉｎ（ｆ）を求め、レベル制御部１５０００は、下記の式（２）により音信号Ｘ１（ｆ）のレベルを制御係数ｇａｉｎ（ｆ）にて制御して音信号Ｘｏｕｔ（ｆ）とする。【０００８】
Ｘｏｕｔ（ｆ）＝ｇａｉｎ（ｆ）・Ｘ１（ｆ）  …式（２）【０００９】
そしてＩＦＦＴ処理部１６０００は、ＩＦＦＴ処理により、音信号Ｘｏｕｔ（ｆ）を時間軸上の信号である音信号ｘｏｕｔ（ｔ）に変換し、音処理装置１００００は、音信号ｘｏｕｔ（ｔ）に基づく音の出力等の様々な処理を実行する。【００１０】
この様な音響処理に関する技術は、例えば特許文献１に開示されている。
【特許文献１】特開平１１−１５３６６０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
図１に示した様に複数の音入力部に入力された音に基づく処理を行う場合、音入力部として用いられる複数のマイクロホンの感度が同一であることが要求される。しかしながら一般に工業生産されるマイクロホンでは、個々の感度差が比較的小さい無指向性マイクロホンでも、例えば±３ｄＢ程度の感度差があるため、使用に際して感度補正を行わなければならないという課題がある。ただし音処理装置に実装する前に、感度補正を予め人手で行うと製造コストが高騰するという問題がある。しかもマイクロホンは経年劣化し、経年劣化の程度にも差異があるため、実装前に感度補正を行ったとしても、経年劣化による感度差には対応することができないという問題がある。【００１２】
本発明は斯かる事情に鑑みてなされたものであり、複数の音入力部に入力される音の到来方向が、二の音入力部の配設位置にて定まる直線に対して垂直である場合、入力された音に係るレベルは等しいことを前提とし、二の音入力部の配設位置にて定まる直線に対して略垂直である方向から到来する音から夫々の音入力部が生成した夫々の音信号のレベルに基づいて、少なくとも一方のレベルを補正することにより、複数の音入力部の感度差を動的に補正し、人的作業の増加による製造コストの高騰を防止し、経年変化にも対応することが可能な音処理装置、補正装置、補正方法、前記音処理装置として機能させるコンピュータプログラムの提供を目的とする。
【課題を解決するための手段】
【００１３】
第１の音処理装置は、音を入力される複数の音入力部を有し、該複数の音入力部が入力された音から生成した夫々の音信号に基づいて音に関する音処理を行う音処理装置において、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出部と、検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音から前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数部と、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正部と、レベルを補正した音信号に基づいて音処理を行う処理部とを備えることを要件とする。【００１４】
第２の音処理装置は、第１の音処理装置において、前記検出部が検出した音の到来方向が、前記第１音入力部及び第２音入力部の配設位置にて定まる直線に対して垂直な方向から所定の角度範囲内である場合に、前記補正係数部は、補正係数を求め、前記補正部は、レベルを補正する様にしてあることを要件とする。【００１５】
第３の音処理装置は、第１又は第２の音処理装置において、前記処理部は、前記補正部による補正後の音信号のレベル差を算出する差異算出部と、算出したレベル差に基づいて、前記第１音入力部が生成した音信号のレベルを制御する制御係数を求める制御係数部と、求めた制御係数にて前記第１音入力部が生成した音信号のレベルを制御するレベル制御部とを備えることを要件とする。【００１６】
第４の音処理装置は、第１乃至第３の音処理装置のいずれかにおいて、前記処理部は、到来する方向が、前記第１音入力部及び第２音入力部の配設位置にて定まる直線の方向から所定の角度範囲内である音の周波数成分に係る音信号に対して音処理を行う様にしてあることを要件とする。【００１７】
第５の音処理装置は、音を入力される三以上の音入力部を同一直線上とならない様に配設し、前記三以上の音入力部が入力された音から生成した夫々の音信号に基づいて音に関する音処理を行う音処理装置において、前記音入力部に入力された夫々の音について、前記三以上の音入力部の中の任意の二の音入力部の配設位置にて定まる第１の直線に対し、略垂直方向から到来する音の周波数成分を検出する第１検出部と、該第１検出部が検出した周波数成分の音に基づき前記第１の直線上の二の音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める第１補正係数部と、該第１補正係数部が求めた補正係数に基づき前記第１の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方の音信号のレベルを補正する第１補正部と、該第１補正部にてレベルを補正した音信号に基づいて音処理を行う第１処理部と、前記音入力部に入力された夫々の音について、前記三以上の音入力部の中で前記第１の直線上の二の音入力部と少なくとも一方が異なる任意の二の音入力部の配設位置にて定まり、前記第１の直線と同一及び平行のいずれでもない第２の直線に対し、略垂直方向から到来する音の周波数成分を検出する第２検出部と、該第２検出部が検出した周波数成分の音に基づき前記第２の直線上の二の音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第２の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める第２補正係数部と、該第２補正係数部が求めた補正係数に基づき前記第２の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方の音信号のレベルを補正する第２補正部と、該第１補正部にてレベルを補正した音信号に基づいて音処理を行う第２処理部とを備えることを要件とする。【００１８】
第６の音処理装置は、第５の音処理装置において、前記第１検出部が検出した音の到来方向が、前記第１の直線に対して垂直な方向から所定の角度範囲内である場合に、前記第１補正係数部は、補正係数を求め、前記第１補正部は、レベルを補正し、前記第２検出部が検出した音の到来方向が、前記第２の直線に対して垂直な方向から所定の角度範囲内である場合に、前記第２補正係数部は、補正係数を求め、前記第２補正部は、レベルを補正する様にしてあることを要件とする。【００１９】
第７の音処理装置は、第５又は第６の音処理装置において、前記第１処理部は、前記第１補正部による補正後の音信号のレベル差を算出する第１差異算出部と、該第１差異算出部が算出したレベル差に基づいて、前記第１の直線上の二の音入力部の一方の音入力部である第１の音入力部が生成した音信号のレベルを制御する制御係数を求める第１制御係数部と、該第１制御係数部が求めた制御係数にて前記第１の音入力部が生成した音信号のレベルを制御する第１レベル制御部とを備え、前記第２処理部は、前記第２補正部による補正後の音信号のレベル差を算出する第２差異算出部と、該第２差異算出部が算出したレベル差に基づいて、前記第２の直線上の二の音入力部の一方の音入力部であり、かつ前記第１の音入力部と異なる第２の音入力部が生成した音信号のレベルを制御する制御係数を求める第２制御係数部と、該第２制御係数部が求めた制御係数にて前記第２の音入力部が生成した音信号のレベルを制御する第２レベル制御部とを備えることを要件とする。【００２０】
第８の音処理装置は、第５乃至第７の音処理装置のいずれかにおいて、前記第１処理部は、到来する方向が、前記第１の直線の方向から所定の角度範囲内である音の周波数成分に係る音信号に対して音処理を行う様にしてあり、前記第２処理部は、到来する方向が、前記第２の直線の方向から所定の角度範囲内である音の周波数成分に係る音信号に対して音処理を行う様にしてあることを要件とする。【００２１】
第９の補正装置は、入力された音から音信号を生成する複数の音入力部を有する音入力装置が生成した音信号を補正する補正装置において、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出部と、検出した音の周波数成分に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音から前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数部と、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正部と、レベルを補正した音信号に基づいて音処理を行う処理部とを備えることを要件とする【００２２】
第１０の補正方法は、コンピュータを、入力された音から音信号を生成する複数の音入力部、特定の方向から到来する音の周波数成分を検出する検出部、音信号のレベルを補正する補正係数を求める補正係数部、及び補正係数に基づいて音信号のレベルを補正する補正部を有する音処理装置として機能させる補正方法であって、前記検出部により、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出手順と、前記補正係数部により、検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数手順と、前記補正部により、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正手順とを行うことを要件とする。【００２３】
第１１のコンピュータプログラムは、コンピュータに、入力された音から音信号を生成する複数の音入力部、特定の方向から到来する音の周波数成分を検出する検出部、音信号のレベルを補正する補正係数を求める補正係数部、及び補正係数に基づいて音信号のレベルを補正する補正部を有する音処理装置として機能させるコンピュータプログラムであって、コンピュータに、前記検出部により、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出手順と、前記補正係数部により、検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数手順と、前記補正部により、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正手順とを実行させることを要件とする。【００２４】
第１、第２、第５及び第６の音処理装置、第９の補正装置、第１０の補正方法並びに第１１のコンピュータプログラムでは、複数の音入力部に入力される音の到来方向が、二の音入力部の配設位置にて定まる直線に対して垂直である場合、入力された音に係るレベルは等しいことを前提とし、二の音入力部の配設位置にて定まる直線に対して略垂直である方向から到来する音から夫々の音入力部が生成した夫々の音信号のレベルに基づいて、少なくとも一方のレベルを補正することにより、複数の音入力部の感度差を動的に補正する。【００２５】
第３及び第７の音処理装置では、一定の距離に対してレベルが減衰する割合は、音源からの距離が長い程、小さくなるという音の性質を利用し、複数の音入力部が生成した音信号のレベル差に応じて音源までの距離を推定し、推定した距離に応じて音信号のレベルを制御する。【００２６】
第４及び第８の音処理装置では、二の音入力部にて定まる直線上に目的とする音源が存在することを前提としながらも、直線から所定の角度内で傾いた場合であっても対応することが可能である。【００２７】
第５乃至第８の音処理装置では、複数の直線上に複数の目的とする音源が存在する場合であっても対応することが可能である。
【発明の効果】
【００２８】
本願は、複数の音入力部に入力された夫々の音の成分毎に、複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出し、検出した周波数成分の音に基づき第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する技術を開示する。【００２９】
この構成により、本願では、複数の音入力部に入力される音の到来方向が、二の音入力部の配設位置にて定まる直線に対して垂直である場合、入力された音に係るレベルは等しいことを前提とし、二の音入力部の配設位置にて定まる直線に対して略垂直である方向から到来する音から夫々の音入力部が生成した夫々の音信号のレベルに基づいて、少なくとも一方のレベルを補正することにより、複数の音入力部の感度差を動的に補正する。このため本願は、複数の音入力部を用いる場合に、音入力部の感度補正を予め行う必要がないので、例えば感度補正を製造時に人手で行う場合と比べて製造コストの高騰を防止することが可能である等、優れた効果を奏する。しかも本願は、例えば音入力部の経年変化に対しても容易に対応することが可能である等、優れた効果を奏する。【００３０】
また本願は、補正後の音信号のレベル差を算出し、算出したレベル差に基づいて、一の音入力部が生成した音信号のレベルを制御する技術を開示する。【００３１】
この構成により、本願では、音源からの音は球面波として空中を伝搬するが、伝搬距離が長くなる程、平面波に近付くため、一定の距離に対してレベルが減衰する割合は、音源からの距離が長い程、小さくなるという音の性質を利用し、複数の音入力部が生成した音信号のレベル差に応じて音源までの距離を推定し、推定した距離に応じて音信号のレベルを制御する。このため本願は、例えば音入力部の近傍で話者が発声した音声のレベルは保持したまま、遠方の雑音を近似的に抑制する処理、遠方で話者が発声した音声のレベルは保持したまま、近傍の雑音を近似的に抑制する処理等の様々な音処理を行うことが可能である等、優れた効果を奏する。【００３２】
さらに本願は、検出した音の到来方向が、二の音入力部の配設位置にて定まる直線の方向から所定の角度範囲内である場合に、到来する音の周波数成分に係る音信号に対して様々な処理を行うことにより、二の音入力部にて定まる直線上に目的とする音源が存在することを前提としながらも、直線から所定の角度内で傾いた場合であっても対応することが可能である。このため本願は、例えば携帯電話等の話者が携帯する装置に実装した場合に、話者の口元が設計時に想定された方向から多少傾いたとしても、本願を用いた技術に基づく処理を適正に実行することができるので、話者の体勢に拘わらず、実行する処理による機能を適正に発現することが可能である等、優れた効果を奏する。【００３３】
そして本願は、三以上の音入力部を同一直線上とならない様に配設することにより、複数の直線上に複数の目的とする音源が存在する場合であっても対応することが可能であり、例えば複数人がテーブルの周囲に分かれて着座する会議システムに適用する場合に、テーブルの中央に本願を用いた技術に基づく装置を配設し、各人の発声を適切に処理することが可能である等、優れた効果を奏する。
【図面の簡単な説明】
【００３４】
【図１】従来の音処理装置の構成例を示す機能ブロック図である。
【図２】本発明の実施の形態１に係る音処理装置の構成例を模式的に示すブロック図である。
【図３】本発明の実施の形態１に係る音処理装置が備える音処理機構の機能構成例を示す機能ブロック図である。
【図４】本発明の実施の形態１に係る音処理装置の制御係数の求め方を示すグラフである。
【図５】本発明の実施の形態１に係る音処理装置の基本処理の一例を示すフローチャートである。
【図６】本発明の実施の形態２に係る音処理装置が備える音処理機構の機能構成例を示す機能ブロック図である。
【図７】本発明の実施の形態２に係る音処理装置の位相差を求めるグラフである。
【図８】本発明の実施の形態２に係る音処理装置の第１閾値及び第２閾値を求めるグラフである。
【図９】本発明の実施の形態２に係る音処理装置の閾値設定処理の一例を示すフローチャートである。
【図１０】本発明の実施の形態３に係る音処理装置の構成例を模式的に示すブロック図である。
【図１１】本発明の実施の形態３に係る音処理装置が備える音処理機構の機能構成例を示す機能ブロック図である。
【図１２】本発明の実施の形態４に係る音処理装置が備える音処理機構の機能構成例を示す機能ブロック図である。
【図１３】本発明の実施の形態５に係る音入力装置及び補正装置の構成例を模式的に示すブロック図である。
【図１４】本発明の実施の形態５に係る補正装置の機能構成例を示す機能ブロック図である。
【符号の説明】
【００３５】
１    音処理装置
１０    制御機構
１１    記録機構
１２    通信機構
１３    音出力機構
１０１    第１音入力機構
１０２    第２音入力機構
１０３    第３音入力機構
１１１    第１Ａ／Ｄ変換機構
１１２    第２Ａ／Ｄ変換機構
１１３    第３Ａ／Ｄ変換機構
１２０    音処理機構
１２０１    第１フレーム化部
１２０２    第２フレーム化部
１２０３    第３フレーム化部
１２１１    第１ＦＦＴ処理部
１２１２    第２ＦＦＴ処理部
１２１３    第３ＦＦＴ処理部
１２３０    補正係数部
１２３１    第１補正係数部
１２３２    第２補正係数部
１２４０    補正部
１２４１    第１補正部
１２４２    第２補正部
１２５０    レベル差算出部
１２５１    第１レベル差算出部
１２５２    第２レベル差算出部
１２６０    制御係数部
１２６１    第１制御係数部
１２６２    第２制御係数部
１２７０    レベル制御部
１２７１    第１レベル制御部
１２７２    第２レベル制御部
１２８０    ＩＦＦＴ処理部
１２８１    第１ＩＦＦＴ処理部
１２８２    第２ＩＦＦＴ処理部
１２９０    閾値部
１２９１    第１閾値部
１２９２    第２閾値部
２    音入力装置
２０１    第１音入力機構
２０２    第２音入力機構
２１１    第１Ａ／Ｄ変換機構
２１２    第２Ａ／Ｄ変換機構
３    補正装置
３２０１    第１フレーム化部
３２０２    第２フレーム化部
３２１１    第１ＦＦＴ処理部
３２１２    第２ＦＦＴ処理部
３２３０    補正係数部
３２４０    補正部
３２５０    レベル差算出部
３２６０    制御係数部
３２７０    レベル制御部
３２８０    ＩＦＦＴ処理部
２００    コンピュータプログラム
１００００    音処理装置
１０００１    第１音入力部
１０００２    第２音入力部
１１００１    第１Ａ／Ｄ変換部
１１００２    第２Ａ／Ｄ変換部
１２００１    第１ＦＦＴ処理部
１２００２    第２ＦＦＴ処理部
１３０００    レベル差算出部
１４０００    制御係数部
１５０００    レベル制御部
１６０００    ＩＦＦＴ処理部
【発明を実施するための最良の形態】
【００３６】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。【００３７】
実施の形態１．
図２は、本発明の実施の形態１に係る音処理装置の構成例を模式的に示すブロック図である。図２中１は、携帯電話等の装置に適用される音処理装置であり、音処理装置１は、入力された音に基づいて音信号を生成するコンデンサマイク等のマイクロホンを用いた第１音入力機構１０１及び第２音入力機構１０２と、音信号に対してＡ／Ｄ変換を行う第１Ａ／Ｄ変換機構１１１及び第２Ａ／Ｄ変換機構１１２と、本発明のコンピュータプログラム２００及びデータ等のファームウェアが組み込まれたＤＳＰ(Digital Signal Processor)等の音処理機構１２０とを備えている。【００３８】
第１音入力機構１０１及び第２音入力機構１０２は、音処理装置１を所持する話者の口元方向等の目的とする音源からの音が到来する方向に沿って適切な間隔で配設されている。第１音入力機構１０１及び第２音入力機構１０２は夫々入力された音に基づいてアナログ信号である音信号を生成し、生成した音信号を夫々第１Ａ／Ｄ変換機構１１１及び第２Ａ／Ｄ変換機構１１２へ出力する。第１Ａ／Ｄ変換機構１１１及び第２Ａ／Ｄ変換機構１１２は、夫々入力された音信号をゲインアンプ等の増幅機能にて増幅し、ＬＰＦ(Law Pass Filter )等の濾波機能にて濾波し、８０００Ｈｚ、１２０００Ｈｚ等のサンプリング周波数でサンプリングしてデジタル信号に変換し、デジタル信号に変換した音信号を音処理機構１２０へ出力する。音処理機構１２０は、ファームウェアとして組み込まれているコンピュータプログラム２００を実行することにより、携帯電話を本発明の音処理装置１として機能させる。【００３９】
さらに音処理装置１は、携帯電話としての各種処理を実行すべく、装置全体を制御するＣＰＵ(Central Processing Unit)等の制御機構１０と、各種プログラム及びデータを記録するＲＯＭ、ＲＡＭ等の記録機構１１と、アンテナ及びその付属機器等の通信機構１２と、音を出力するスピーカ等の音出力機構１３と等の各種機構を備えている。【００４０】
図３は、本発明の実施の形態１に係る音処理装置１が備える音処理機構１２０の機能構成例を示す機能ブロック図である。音処理機構１２０は、コンピュータプログラム２００を実行することにより、音信号に対するフレーム化を行う第１フレーム化部１２０１及び第２フレーム化部１２０２と、音信号に対するＦＦＴ処理を行う第１ＦＦＴ処理部１２１１及び第２ＦＦＴ処理部１２１２と、雑音を検出する検出部１２２０と、音信号のレベルを補正する補正係数を求める補正係数部１２３０と、音信号のレベルを補正する補正部１２４０と、音信号のレベル差を算出するレベル差算出部１２５０と、音信号のレベルを制御する制御係数を求める制御係数部１２６０と、音信号のレベルを制御するレベル制御部１２７０と、音信号に対してＩＦＦＴ処理を行うＩＦＦＴ処理部１２８０と等の各種プログラムモジュールを生成する。【００４１】
図３に示した各種機能による音信号に対する信号処理について説明する。音処理機構１２０は、第１Ａ／Ｄ変換機構１１１及び第２Ａ／Ｄ変換機構１１２からデジタル信号である音信号ｘ１（ｔ），ｘ２（ｔ）を受け付ける。第１フレーム化部１２０１及び第２フレーム化部１２０２は、第１Ａ／Ｄ変換機構１１１及び第２Ａ／Ｄ変換機構１１２から出力された音信号を夫々受け付け、受け付けた音信号ｘ１（ｔ），ｘ２（ｔ）を例えば２０ｍｓ〜３０ｍｓの所定長の単位でフレーム化する。各フレームは、１０ｍｓ〜１５ｍｓずつオーバーラップしている。そして各フレームに対しては、ハミング窓、ハニング窓等の窓関数、高域強調フィルタによるフィルタリング等の音声認識の分野で一般的なフレーム処理が施される。なお信号に関する変数ｔは、デジタル信号に変換した際の各サンプルを特定するサンプル番号を示している。【００４２】
第１ＦＦＴ処理部１２１１及び第２ＦＦＴ処理部１２１２は、夫々フレーム化された音信号に対してＦＦＴ処理を行うことにより、周波数軸上の成分に変換した音信号Ｘ１（ｆ），Ｘ２（ｆ）を生成する。なお変数ｆは、周波数を示している。【００４３】
検出部１２２０は、周波数軸上の成分に変換された音信号Ｘ１（ｆ），Ｘ２（ｆ）に基づいて、第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線に対し、略垂直方向から到来する音を検出する。前述した様に第１音入力機構１０１及び第２音入力機構１０２は、目的とする音源からの音が到来する方向に沿って配設されているため、第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線に対し、略垂直方向から到来する音は、目的音源以外の音源から発生した音、即ち雑音であると推定することができる。なお雑音の検出は、周波数成分毎に行われる。到来方向は、第１音入力機構１０１及び第２音入力機構１０２に到達した夫々の音の位相差に基づいて検出することができる。第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線に対し、略垂直方向から到来する雑音は、位相差が０又は０の近似値であることから、下記の式（３）が成立する周波数ｆの成分の音が、略垂直方向から到来する音であるとして検出することができる。【００４４】
ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））≒０  …式（３）
但し、Ｘ１（ｆ），Ｘ２（ｆ）：周波数軸上の成分に変換された音信号
ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））：音信号の位相スペクトルの比【００４５】
第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線に対する略垂直方向の範囲を、垂直方向から所定の角度Ａ１範囲内の方向として設定する場合、検出部１２２０は、上記式（３）を変形した下記の式（４）が成立する周波数ｆの成分の音を検出することになる。【００４６】
｜ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））｜≦ｔａｎ-1（Ａ１）  …式（４）【００４７】
式（４）において、所定の角度ｔａｎ-1（Ａ１）は、音処理装置１の用途、形状、第１音入力機構１０１及び第２音入力機構１０２の配設位置等の各種要因に応じて適宜設定される定数である。【００４８】
補正係数部１２３０は、検出部１２２０にて検出された周波数ｆに係る音信号Ｘ１（ｆ），Ｘ２（ｆ）の成分に対し、下記の式（５）を用いた計算により、第１音入力機構１０１及び第２音入力機構１０２に係る音信号Ｘ１（ｆ），Ｘ２（ｆ）のレベル（振幅）を合わせるべく、補正係数ｃ（ｆ，ｎ）を求める。【００４９】
ｃ（ｆ，ｎ）＝α・ｃ（ｆ，ｎ−１）
＋（１−α）・（｜Ｘ１（ｆ，ｎ）｜／｜Ｘ２（ｆ，ｎ）｜）  …式（５）
但し、ｃ（ｆ，ｎ）：補正係数
α：０≦α＜１である定数
ｎ：フレーム番号
｜Ｘ１（ｆ，ｎ）｜／｜Ｘ２（ｆ，ｎ）｜：音信号の振幅スペクトルの比【００５０】
式（５）は、第１音入力機構１０１及び第２音入力機構１０２に係る音信号Ｘ１（ｆ），Ｘ２（ｆ）のレベルを合わせるべく、第２音入力機構１０２に係る音信号Ｘ２（ｆ）のレベルを補正する補正係数ｃ（ｆ，ｎ）を求める式である。なお定数αは、補正係数ｃ（ｆ，ｎ）による補正により周波数間のレベル差が極端に大きくなることを防止することを目的とした平滑化に用いられる定数である。式（５）では、時間軸方向に平滑化することを目的としているため、直前のフレームｎ−１に対する補正係数ｃ（ｆ，ｎ−１）を用い、求める対象となるフレームｎの補正係数をｃ（ｆ，ｎ）として示している。以降の説明では、フレーム番号を省略し、補正係数ｃ（ｆ）として示す。【００５１】
補正部１２４０は、補正係数部１２３０にて求めた補正係数ｃ（ｆ）に基づいて、第２音入力機構１０２に係る音信号Ｘ２（ｆ）のレベルを下記の式（６）にて補正する。【００５２】
Ｘ２’（ｆ）＝ｃ（ｆ）・Ｘ２（ｆ）  …式（６）
但し、Ｘ２’（ｆ）：レベル補正を行った音信号【００５３】
補正係数部１２３０及び補正部１２４０の補正により、第１音入力機構１０１及び第２音入力機構１０２の感度差を補正することができ、これによりマイクロホンの生産時の規格内での品質のばらつき、経年劣化により生じる感度差を是正することが可能である。なお実施の形態１として、第２音入力機構１０２に係る音信号Ｘ２（ｆ）のレベルを補正する形態を説明しているが、本発明はこれに限らず、第１音入力機構１０１に係る音信号Ｘ１（ｆ）のレベルを補正しても良く、更には第１音入力機構１０１に係る音信号Ｘ１（ｆ）及び第２音入力機構１０２に係る音信号Ｘ２（ｆ）の双方を補正する様にしても良い。【００５４】
レベル差算出部１２５０は、第１音入力機構１０１に係る音信号Ｘ１（ｆ）及び補正後の第２音入力機構１０２に係る音信号Ｘ２’（ｆ）のレベル差ｄｉｆｆ（ｆ）を、下記の式（７）により振幅スペクトルの比として算出する。【００５５】
ｄｉｆｆ（ｆ）＝｜Ｘ２’（ｆ）｜／｜Ｘ１（ｆ）｜  …式（７）
但し、ｄｉｆｆ（ｆ）：レベル差【００５６】
制御係数部１２６０は、レベル差ｄｉｆｆ（ｆ）に基づいて第１音入力機構１０１に係る音信号Ｘ１（ｆ）を制御する制御係数ｇａｉｎ（ｆ）を求める。【００５７】
図４は、本発明の実施の形態１に係る音処理装置１の制御係数ｇａｉｎ（ｆ）の求め方を示すグラフである。図４は、横軸をレベル差ｄｉｆｆ（ｆ）とし、縦軸を制御係数ｇａｉｎ（ｆ）として、その関係を示している。図４は、制御係数部１２６０が、レベル差ｄｉｆｆ（ｆ）に基づいて制御係数ｇａｉｎ（ｆ）を求める方法を、レベル差ｄｉｆｆ（ｆ）及び制御係数ｇａｉｎ（ｆ）の関係として示している。レベル差ｄｉｆｆ（ｆ）が第１閾値ｔｈｒｅ１未満である場合、制御係数ｇａｉｎ（ｆ）は、１となり、レベル差ｄｉｆｆ（ｆ）が第１閾値ｔｈｒｅ１以上第２閾値ｔｈｒｅ２未満である場合、制御係数ｇａｉｎ（ｆ）は、レベル差ｄｉｆｆ（ｆ）の増加に応じて減少する０以上１以下の値をとり、レベル差ｄｉｆｆ（ｆ）が第２閾値ｔｈｒｅ２以上である場合、制御係数ｇａｉｎ（ｆ）は、０となる。従って図４に示す方法で制御係数ｇａｉｎ（ｆ）を求める場合、レベル差ｄｉｆｆ（ｆ）が第１閾値ｔｈｒｅ１以上となる場合、レベル差ｄｉｆｆ（ｆ）が大きくなる程、音信号Ｘ１（ｆ）を抑制し、レベル差ｄｉｆｆ（ｆ）が第２閾値ｔｈｒｅ２以上となる場合に、音信号Ｘ１（ｆ）に基づく出力を０とする制御が行われる。【００５８】
前述した様に第１音入力機構１０１及び第２音入力機構１０２は、目的とする音源である話者の口元方向に沿って配設されていることから、第１音入力機構１０１及び第２音入力機構１０２にて定まる直線の方向に目的とする音源が存在することになる。目的とする音源である話者の口元は、第１音入力機構１０１の近傍にあることから、話者が発生した音声は、球面波として空中を伝搬するため、第１音入力機構１０１に入力される音に対して、第２音入力機構１０２に入力される音は伝搬中の減衰によりレベルが低くなり、式（７）にて定義されるレベル差ｄｉｆｆ（ｆ）が小さくなる。これに対し、第１音入力機構１０１及び第２音入力機構１０２にて定まる直線の方向から到来する音であっても、話者の口元より遠方で発生した雑音は、話者が発声した音声より平面波に近付くため、話者が発声した音声と比べて、第１音入力機構１０１に入力される音に対する第２音入力機構１０２に入力される音の伝搬中の減衰は小さくなり、式（７）にて定義されるレベル差ｄｉｆｆ（ｆ）が大きくなる。従って図４に示す方法で制御係数ｇａｉｎ（ｆ）を求めることにより、遠方から到来する雑音と推定される音を抑制することが可能となる。【００５９】
レベル制御部１２７０は、制御係数部１２６０にて求めた制御係数ｇａｉｎ（ｆ）に基づいて、第１音入力機構１０１に係る音信号Ｘ１（ｆ）のレベルを下記の式（８）にて制御する。【００６０】
Ｘｏｕｔ（ｆ）＝ｇａｉｎ（ｆ）・Ｘ１（ｆ）  …式（８）
Ｘｏｕｔ（ｆ）：レベル制御を行った音信号【００６１】
ＩＦＦＴ処理部１２８０は、制御係数ｇａｉｎ（ｆ）にてレベルを制御した音信号Ｘｏｕｔ（ｆ）を、ＩＦＦＴ処理により、時間軸上の信号である音信号ｘｏｕｔ（ｔ）に変換する。そして音処理装置１は、通信機構１２からの音信号ｘｏｕｔ（ｔ）の送信、音出力機構１３からの音信号ｘｏｕｔ（ｔ）に基づく音の出力、その他、音処理機構１２０による他の音響処理等の様々な処理を行う。なお音信号ｘｏｕｔ（ｔ）に基づく出力処理に際し、必要に応じてアナログ信号に変換するＤ／Ａ変換処理、増幅処理等の処理が施される。【００６２】
次に本発明の実施の形態１に係る音処理装置１の処理について説明する。図５は、本発明の実施の形態１に係る音処理装置１の基本処理の一例を示すフローチャートである。音処理装置１は、第１音入力機構１０１及び第２音入力機構１０２に夫々入力された音に基づいて夫々音信号ｘ１（ｔ），ｘ２（ｔ）を生成し（Ｓ１０１）、生成した音信号ｘ１（ｔ），ｘ２（ｔ）を第１Ａ／Ｄ変換機構１１１及び第２Ａ／Ｄ変換機構１１２により、デジタル信号に変換して、音処理機構１２０へ出力する。【００６３】
音処理装置１が備える音処理機構１２０は、第１フレーム化部１２０１及び第２フレーム化部１２０２により、入力された音信号ｘ１（ｔ），ｘ２（ｔ）をフレーム化し（Ｓ１０２）、フレーム化した音信号ｘ１（ｔ），ｘ２（ｔ）を、第１ＦＦＴ処理部１２１１及び第２ＦＦＴ処理部１２１２により、周波数軸上の成分の音信号Ｘ１（ｆ），Ｘ２（ｆ）に変換する（Ｓ１０３）。ステップＳ１０３において、周波数軸上の成分に変換する方法としては、必ずしもＦＦＴを用いる必要はなく、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform ）等の他の周波数変換方法を用いてもよい。【００６４】
音処理装置１が備える音処理機構１２０は、検出部１２２０により、周波数軸上の成分に変換された音信号Ｘ１（ｆ），Ｘ２（ｆ）に基づいて、第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線に対し、略垂直方向から到来する音、具体的には直線に対する垂直方向を基準に予め設定されている所定の角度Ａ１範囲内の方向から到来する音を検出する（Ｓ１０４）。ステップＳ１０４では、周波数ｆに係る成分毎に音の到来方向を検出する。【００６５】
音処理装置１が備える音処理機構１２０は、補正係数部１２３０により、検出部１２２０にて検出された周波数ｆに係る音信号Ｘ１（ｆ），Ｘ２（ｆ）の成分に対し、第１音入力機構１０１及び第２音入力機構１０２に係る音信号Ｘ１（ｆ），Ｘ２（ｆ）のレベル（振幅）を合わせるべく、補正係数ｃ（ｆ）を求め（Ｓ１０５）、補正部１２４０により、補正係数ｃ（ｆ）に基づいて、第２音入力機構１０２に係る音信号Ｘ２（ｆ）のレベルを補正する（Ｓ１０６）。ステップＳ１０６の補正により、第１音入力機構１０１及び第２音入力機構１０２の感度差が補正される。【００６６】
音処理装置１が備える音処理機構１２０は、レベル差算出部１２５０により、第１音入力機構１０１に係る音信号Ｘ１（ｆ）及び補正後の第２音入力機構１０２に係る音信号Ｘ２’（ｆ）のレベル差ｄｉｆｆ（ｆ）を算出する（Ｓ１０７）。【００６７】
音処理装置１が備える音処理機構１２０は、制御係数部１２６０により、レベル差ｄｉｆｆ（ｆ）に基づいて第１音入力機構１０１に係る音信号Ｘ１（ｆ）を制御する制御係数ｇａｉｎ（ｆ）を求め（Ｓ１０８）、レベル制御部１２７０により、制御係数ｇａｉｎ（ｆ）に基づいて、第１音入力機構１０１に係る音信号Ｘ１（ｆ）のレベルを制御する（Ｓ１０９）。ステップＳ１０９の制御により、遠方から到来する雑音が抑制される。【００６８】
そして音処理装置１が備える音処理機構１２０は、ＩＦＦＴ処理部１２８０により、制御係数ｇａｉｎ（ｆ）にてレベルを制御した音信号Ｘｏｕｔ（ｆ）を、ＩＦＦＴ処理により、時間軸上の信号である音信号ｘｏｕｔ（ｔ）に変換し（Ｓ１１０）、変換後の音信号ｘｏｕｔ（ｔ）を出力する（Ｓ１１１）。【００６９】
図５を用いて示した基本処理において、ステップＳ１０４に係る音の到来方向の検出からステップＳ１０９に係る音信号Ｘ１（ｆ）のレベルの制御までの処理は、周波数ｆ毎に実行される。特にステップＳ１０５に係る補正係数ｃ（ｆ）を求めてステップＳ１０９に係る音信号Ｘ１（ｆ）のレベルを制御するまでの処理は、第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線に対し、略垂直方向から到来する音、具体的には直線に対する垂直方向を基準に予め設定されている所定の角度Ａ１範囲内の方向から到来する音の成分に対して実行される。【００７０】
前記実施の形態１では、第１音入力機構及び第２音入力機構の配設位置にて定まる直線に対し、略垂直方向から到来する音を雑音として検出する方法を示したが、第１音入力機構及び第２音入力機構に係る夫々の音信号のパワー変化に基づいて雑音を検出する等、様々な形態に展開することが可能である。【００７１】
また前記実施の形態１では、第１音入力機構及び第２音入力機構の感度差を補正後、到来する距離に応じて音信号のレベルを制御する形態を示したが、感度差を補正後の夫々の音信号を他の信号処理に用いる等、様々な形態に展開することが可能である。【００７２】
さらに前記実施の形態１では、二の音入力機構を用いる形態を示したが、三以上の音入力機構を用いる等、様々な形態に展開することが可能である。【００７３】
実施の形態２．
実施の形態２は、実施の形態１において、目的とする音源方向が第１音入力機構及び第２音入力機構の配設位置にて定まる直線方向から傾いた場合であっても、感度差の補正、レベルの制御等の処理を適正に実行することにより、携帯電話である音処理装置を把持する話者の体勢に拘わらず、適正に処理を実行する形態である。なお以降の説明において、実施の形態１と同様の構成については、実施の形態１と同様の符号を付し、その詳細な説明を省略する。【００７４】
実施の形態２に係る音処理装置１の構成例は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。図６は、本発明の実施の形態２に係る音処理装置１が備える音処理機構１２０の機能構成例を示す機能ブロック図である。音処理機構１２０は、コンピュータプログラム２００を実行することにより、第１フレーム化部１２０１及び第２フレーム化部１２０２と、第１ＦＦＴ処理部１２１１及び第２ＦＦＴ処理部１２１２と、検出部１２２０と、補正係数部１２３０と、補正部１２４０と、レベル差算出部１２５０と、制御係数部１２６０と、レベル制御部１２７０と、ＩＦＦＴ処理部１２８０と、音源方向に基づいて第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２を導出する閾値部１２９０と等の各種プログラムモジュールを生成する。【００７５】
図６に示した各種機能による音信号に対する信号処理について説明する。音処理機構１２０は、第１フレーム化部１２０１及び第２フレーム化部１２０２、並びに第１ＦＦＴ処理部１２１１及び第２ＦＦＴ処理部１２１２の処理により周波数軸上の成分に変換した音信号Ｘ１（ｆ），Ｘ２（ｆ）を生成する。【００７６】
閾値部１２９０は、第２音入力機構１０２に係る音信号Ｘ２（ｆ）の振幅スペクトル｜Ｘ２（ｆ）｜に対し、時間軸方向に平滑化処理を行うことにより、定常雑音の振幅スペクトル｜Ｎ（ｆ）｜を計算する。定常雑音の振幅スペクトル｜Ｎ（ｆ）｜の計算は、話者が、断続的に音声を発声するのに対し、定常雑音は、連続的に発生するという前提に基づくものである。【００７７】
さらに閾値部１２９０は、下記の式（９）に示す条件を満たす周波数ｆに係る音信号Ｘ２（ｆ）の振幅スペクトル｜Ｘ２（ｆ）｜には、話者が発声した音声に基づく成分が含まれると見なし、振幅スペクトル｜Ｘ２（ｆ）｜のピークが式（９）の条件を満たす周波数ｆについて、第１音入力機構１０１に係る音信号Ｘ１（ｆ）及び第２音入力機構１０２に係る音信号Ｘ２（ｆ）の位相差ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））を求め、位相差ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））に基づいて、話者が発声した音声の到来方向を検出する。【００７８】
｜Ｘ２（ｆ）｜＞β・｜Ｎ（ｆ）｜  …式（９）
但し、β：β＞１である定数【００７９】
そして閾値部１２９０は、検出した音声の到来方向が第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線の方向を基準に所定の角度Ａ２範囲内の方向である音の成分に係る音信号Ｘ１（ｆ），Ｘ２（ｆ）に対し、第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２を動的に設定する。第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２を動的に設定することにより、検出した音声の到来方向が第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線の方向から所定の角度ｔａｎ-1（Ａ２）範囲内である限り、音声の不適当な抑圧が行われることを防止する。なお第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２を固定した場合では、音声の到来方向が第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線の方向から傾いたとき、第１音入力機構１０１及び第２音入力機構１０２に到達した音の位相差が小さくなるため、レベル差ｄｉｆｆ（ｆ）が大きくなり、制御係数ｇａｉｎ（ｆ）が小さくなって、音声に対する不適当な抑圧が行われる。【００８０】
図７は、本発明の実施の形態２に係る音処理装置１の位相差ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））を求めるグラフである。図７は、横軸を周波数ｆとし、縦軸を位相差ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））として、その関係を示している。図７は、話者が発声した音声の到来方向を位相差ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））として検出するためのグラフである。閾値部１２９０は、第２音入力機構１０２に係る音信号Ｘ２（ｆ）の振幅スペクトル｜Ｘ２（ｆ）｜のピークが上記の式（９）に示す条件を満たす周波数ｆについて、周波数ｆと、該周波数ｆに係る第１音入力機構１０１に係る音信号Ｘ１（ｆ）及び第２音入力機構１０２に係る音信号Ｘ２（ｆ）の位相差ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））との関係を、図７上に示される原点を通る直線として近似している。音の性質上、音源から到来する音の周波数ｆ及び位相差ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））の関係は、周波数ｆ及び位相差ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））にて定義されるグラフ上で、原点を通る直線として近似することができる。そして近似直線の傾きは、音の到来方向を示すことになる。【００８１】
閾値部１２９０は、求めた近似直線において、周波数ｆが、サンプリング周波数ｆｓの１／２の値である基準周波数Ｆｓ／２である場合の位相差ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））を基準位相差θｓとして導出する。そして閾値部１２９０は、基準位相差θｓを予め設定されている上限位相差θＡ及び下限位相差θＢと比較することにより、音声の到来方向が第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線を基準に所定の角度ｔａｎ-1（Ａ２）範囲内の方向であるか否かを判定する。上限位相差θＡは、音声の到来方向が第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線上にある場合に発生する第１音入力機構１０１及び第２音入力機構１０２の間隔に起因する位相差に基づいて設定される。下限位相差θＢは、音声の到来方向が直線の方向から所定の角度ｔａｎ-1（Ａ２）だけ傾いた場合に生じる位相差に基づいて設定される。閾値部１２９０は、基準位相差θｓが、上限位相差θＡ以下であり、かつ下限位相差θＢ以上である場合に、音声の到来方向が第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線の方向から所定の角度ｔａｎ-1（Ａ２）範囲内の方向であると判定する。【００８２】
図８は、本発明の実施の形態２に係る音処理装置１の第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２を求めるグラフである。図８は、横軸を位相差θとし、縦軸を閾値ｔｈｒｅとして、その関係を示している。図８は、上限位相差θＡ以下であり、かつ下限位相差θＢ以上である基準位相差θｓから第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２を導出するためのグラフである。閾値部１２９０は、図７を用いて求めた基準位相差θｓと、図８中ｔｈｒｅ１として示した線分との関係から、第１閾値ｔｈｒｅ１を導出し、また基準位相差θｓと、ｔｈｒｅ２として示した線分との関係から、第２閾値ｔｈｒｅ２を導出する。そして閾値部１２９０は、導出した第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２を、周波数ｆに係る音信号Ｘ１（ｆ），Ｘ２（ｆ）に対する第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２として設定する。第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２の動的な設定は、基準位相差θｓが、上限位相差θＡ以下であり、かつ下限位相差θＢ以上である周波数ｆの音信号Ｘ１（ｆ），Ｘ２（ｆ）に対して行われる。【００８３】
そして音処理機構１２０は、検出部１２２０、補正係数部１２３０、補正部１２４０、レベル差算出部１２５０、制御係数部１２６０、レベル制御部１２７０及びＩＦＦＴ処理部１２８０による処理を実行し、音信号ｘｏｕｔ（ｔ）を出力する。ただし制御係数部１２６０は、制御係数ｇａｉｎ（ｆ）を求める対象となる周波数ｆに対し、閾値部１２９０が導出した第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２が設定されている場合、設定されている第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２を用いて制御係数ｇａｉｎ（ｆ）を求める。なお音声が到来する方向が、第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線から傾く程、基準位相差θｓが小さくなり、第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２が大きくなる。従って図４に示したグラフは、図４に向かって右方向に遷移することになる。【００８４】
次に本発明の実施の形態２に係る音処理装置１の処理について説明する。図９は、本発明の実施の形態２に係る音処理装置１の閾値設定処理の一例を示すフローチャートである。実施の形態２に係る音処理装置１は、実施の形態１にて示した基本処理を実行し、更に実行処理と並行して閾値設定処理を実行する。音処理装置１が備える音処理機構１２０は、閾値部１２９０により、基本処理のステップＳ１０３にて周波数軸上の信号に変換された第２音入力機構１０２に係る音信号Ｘ２（ｆ）の振幅スペクトル｜Ｘ２（ｆ）｜に対し、時間軸方向に平滑化処理を行うことにより、定常雑音の振幅スペクトル｜Ｎ（ｆ）｜を計算する（Ｓ２０１）。【００８５】
音処理装置１が備える音処理機構１２０は、閾値部１２９０により、振幅スペクトル｜Ｘ２（ｆ）｜のピークが上述した式（９）の条件を満たす周波数ｆにおける位相差ｔａｎ-1（Ｘ１（ｆ）／Ｘ２（ｆ））に基づいて、話者が発声した音声の到来方向を検出し（Ｓ２０２）、検出した音声の到来方向が第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線の方向から所定の角度ｔａｎ-1（Ａ２）範囲内である場合に、第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２を導出する（Ｓ２０３）。ステップＳ２０３にて、導出した第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２は、基本処理のステップＳ１０８において、制御係数部１２６０による制御係数ｇａｉｎ（ｆ）を求める処理に用いられる。またステップＳ２０３の第１閾値ｔｈｒｅ１及び第２閾値ｔｈｒｅ２を導出する処理は、話者が発声した音声の到来方向が第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線の方向から所定の角度ｔａｎ-1（Ａ２）範囲内である場合に限り実行される。【００８６】
実施の形態３．
実施の形態３は、実施の形態１において、目的とする音源方向を複数にする構成である。例えば複数人がテーブルの周囲に分かれて着座する会議システム等のシステムに組み込まれたコンピュータを本発明の音処理装置として用いる場合、音処理装置をテーブルの中央に配設することにより、音処理装置は、複数方向から到来する音声を夫々目的とする音源として処理することになる。なお以降の説明において、実施の形態１と同様の構成については、実施の形態１と同様の符号を付し、その詳細な説明を省略する。【００８７】
図１０は、本発明の実施の形態３に係る音処理装置１の構成例を模式的に示すブロック図である。実施の形態３に係る音処理装置１は、複数方向に話者が存在する会議システム等のシステムに用いられる装置である。音処理装置１は、第１音入力機構１０１、第２音入力機構１０２及び第３音入力機構１０３と、第１Ａ／Ｄ変換機構１１１、第２Ａ／Ｄ変換機構１１２及び第３Ａ／Ｄ変換機構１１３と、音処理機構１２０とを備えている。音処理機構１２０には、本発明のコンピュータプログラム２００及びデータ等のファームウェアが組み込まれており、ファームウェアとして組み込まれているコンピュータプログラム２００を実行することにより、コンピュータは、本発明の音処理装置１として機能する。【００８８】
第１音入力機構１０１、第２音入力機構１０２及び第３音入力機構１０３は同一直線上とならない様に配設されてある。また第２音入力機構１０２から第１音入力機構１０１へ延びる半直線上に第１話者が位置する様に配設されてあり、第２音入力機構１０２から第３音入力機構１０３へ延びる半直線上に第２話者が位置する様に配設されている。即ち実施の形態３に係る音処理装置１は、第１音入力機構１０１及び第２音入力機構１０２に入力された音に基づいて、第１話者が発声する音声を目的とする処理を実行し、第２音入力機構１０２及び第３音入力機構１０３に入力された音に基づいて、第２話者が発声する音声を目的とする処理を実行する。【００８９】
さらに音処理装置１は、会議システムとしての各種処理を実行すべく、装置全体を制御するＣＰＵ(Central Processing Unit)等の制御機構１０と、各種プログラム及びデータを記録するハードディスク、ＲＯＭ、ＲＡＭ等の記録機構１１と、ＶＰＮ(Virtual Private Network )、専用線網等の通信網に接続する通信機構１２と、音を出力するスピーカ等の音出力機構１３と等の各種機構を備えている。【００９０】
図１１は、本発明の実施の形態３に係る音処理装置１が備える音処理機構１２０の機能構成例を示す機能ブロック図である。音処理機構１２０は、コンピュータプログラム２００を実行することにより、第１フレーム化部１２０１、第２フレーム化部１２０２及び第３フレーム化部１２０３と、第１ＦＦＴ処理部１２１１、第２ＦＦＴ処理部１２１２及び第３ＦＦＴ処理部１２１３と、第１検出部１２２１及び第２検出部１２２２と、第１補正係数部１２３１及び第２補正係数部１２３２と、第１補正部１２４１及び第２補正部１２４２と、第１レベル差算出部１２５１及び第２レベル差算出部１２５２と、第１制御係数部１２６１及び第２制御係数部１２６２と、第１レベル制御部１２７１及び第２レベル制御部１２７２と、第１ＩＦＦＴ処理部１２８１及び第２ＩＦＦＴ処理部１２８２と等の各種プログラムモジュールを生成する。【００９１】
図１１に示した各種機能による音信号に対する信号処理について説明する。音処理機構１２０は、第１Ａ／Ｄ変換機構１１１、第２Ａ／Ｄ変換機構１１２及び第３Ａ／Ｄ変換機構１１３からデジタル信号である音信号ｘ１（ｔ），ｘ２（ｔ），ｘ３（ｔ）を受け付ける。第１フレーム化部１２０１、第２フレーム化部１２０２及び第３フレーム化部１２０３は、受け付けた音信号ｘ１（ｔ），ｘ２（ｔ），ｘ３（ｔ）をフレーム化し、第１ＦＦＴ処理部１２１１、第２ＦＦＴ処理部１２１２及び第３ＦＦＴ処理部１２１３にてＦＦＴ処理を行うことにより、周波数軸上の成分に変換した音信号Ｘ１（ｆ），Ｘ２（ｆ），Ｘ３（ｆ）を生成する。【００９２】
第１検出部１２２１は、音信号Ｘ１（ｆ），Ｘ２（ｆ）に基づいて、第１音入力機構１０１及び第２音入力機構１０２の配設位置にて定まる直線を基準として所定の角度Ａ１範囲内の方向から到来する音を検出する。第１補正係数部１２３１は、検出された周波数ｆに係る音信号Ｘ１（ｆ），Ｘ２（ｆ）の成分に基づいて第１補正係数ｃ１２（ｆ）を求める。第１補正部１２４１は、第１補正係数ｃ１２（ｆ）に基づいて、第２音入力機構１０２に係る音信号Ｘ２（ｆ）のレベルを補正する。【００９３】
また第１レベル差算出部１２５１は、第１音入力機構１０１に係る音信号Ｘ１（ｆ）及び補正後の第２音入力機構１０２に係る音信号Ｘ２’（ｆ）のレベル差ｄｉｆｆ１２（ｆ）を算出する。第１制御係数部１２６１は、レベル差ｄｉｆｆ１２（ｆ）に基づいて第１制御係数ｇａｉｎ１（ｆ）を求める。第１レベル制御部１２７１は、第１制御係数ｇａｉｎ１（ｆ）に基づいて、第１音入力機構１０１に係る音信号Ｘ１（ｆ）のレベルを制御する。第１ＩＦＦＴ処理部１２８１は、レベルを制御した音信号Ｘ１ｏｕｔ（ｆ）を、ＩＦＦＴ処理により、時間軸上の信号である音信号ｘ１ｏｕｔ（ｔ）に変換する。そして音処理装置１は、音信号ｘ１ｏｕｔ（ｔ）に基づく通信、出力等の様々な処理を実行する。【００９４】
一方、第２検出部１２２２は、音信号Ｘ３（ｆ），Ｘ２（ｆ）に基づいて、第３音入力機構１０３及び第２音入力機構１０２の配設位置にて定まる直線を基準として所定の角度Ａ３範囲内から到来する音を検出する。第２補正係数部１２３２は、検出された周波数ｆに係る音信号Ｘ３（ｆ），Ｘ２（ｆ）の成分に基づいて第２補正係数ｃ３２（ｆ）を求める。第２補正部１２４２は、第２補正係数ｃ３２（ｆ）に基づいて、第２音入力機構１０２に係る音信号Ｘ２（ｆ）のレベルを補正する。【００９５】
また第２レベル差算出部１２５２は、第３音入力機構１０３に係る音信号Ｘ３（ｆ）及び補正後の第２音入力機構１０２に係る音信号Ｘ２’’（ｆ）のレベル差ｄｉｆｆ３２（ｆ）を算出する。第２制御係数部１２６２は、レベル差ｄｉｆｆ３２（ｆ）に基づいて第２制御係数ｇａｉｎ３（ｆ）を求める。第２レベル制御部１２７２は、第２制御係数ｇａｉｎ３（ｆ）に基づいて、第３音入力機構１０３に係る音信号Ｘ３（ｆ）のレベルを制御する。第２ＩＦＦＴ処理部１２８２は、レベルを制御した音信号Ｘ３ｏｕｔ（ｆ）を、ＩＦＦＴ処理により、時間軸上の信号である音信号ｘ３ｏｕｔ（ｔ）に変換する。そして音処理装置１は、音信号ｘ３ｏｕｔ（ｔ）に基づく通信、出力等の様々な処理を実行する。【００９６】
この様に実施の形態３では、実施の形態１にて実行した音信号に対する処理を、第１音入力機構１０１に係る音信号及び第２音入力機構１０２に係る音信号の組、並びに第１音入力機構１０１に係る音信号及び第２音入力機構１０２に係る音信号の組にて夫々行う形態である。そして二の音入力機構にて定まる直線毎に指向性を有するマイクアレイとして機能する。【００９７】
実施の形態３に係る音処理装置１の処理は、実施の形態１に係る音処理装置１の処理を、前述した組毎に行う処理であるので、実施の形態１を参照するものとし、その説明を省略する。【００９８】
前記実施の形態３では、三の音入力機構を用いる形態を示したが、本発明はこれに限らず、四以上の音入力機構を用いても良い等、様々な形態に展開することが可能である。また四以上の音入力機構を用いる場合、必ずしも複数組に共通する音入力機構を設ける必要はない。【００９９】
実施の形態４．
実施の形態４は、実施の形態３に実施の形態２を組み合わせた形態である。なお以降の説明において、実施の形態１乃至実施の形態３と同様の構成については、実施の形態１乃至実施の形態３と同様の符号を付し、その詳細な説明を省略する。【０１００】
実施の形態４に係る音処理装置１の構成例は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。図１２は、本発明の実施の形態４に係る音処理装置１が備える音処理機構１２０の機能構成例を示す機能ブロック図である。音処理機構１２０は、コンピュータプログラム２００を実行することにより、第１フレーム化部１２０１、第２フレーム化部１２０２及び第３フレーム化部１２０３と、第１ＦＦＴ処理部１２１１、第２ＦＦＴ処理部１２１２及び第３ＦＦＴ処理部１２１３と、第１検出部１２２１及び第２検出部１２２２と、第１補正係数部１２３１及び第２補正係数部１２３２と、第１補正部１２４１及び第２補正部１２４２と、第１レベル差算出部１２５１及び第２レベル差算出部１２５２と、第１制御係数部１２６１及び第２制御係数部１２６２と、第１レベル制御部１２７１及び第２レベル制御部１２７２と、第１ＩＦＦＴ処理部１２８１及び第２ＩＦＦＴ処理部１２８２と、第１閾値部１２９１及び第２閾値部１２９２と等の各種プログラムモジュールを生成する。【０１０１】
図１２に示した各機能による音信号に対する信号処理について説明する。音処理機構１２０は、第１フレーム化部１２０１、第２フレーム化部１２０２及び第３フレーム化部１２０３、並びに第１ＦＦＴ処理部１２１１、第２ＦＦＴ処理部１２１２及び第３ＦＦＴ処理部１２１３の処理により、周波数軸上の成分に変換した音信号Ｘ１（ｆ），Ｘ２（ｆ），Ｘ３（ｆ）を生成する。【０１０２】
第１閾値部１２９１は、第１音入力機構１０１に係る音信号Ｘ１（ｆ）及び第２音入力機構１０２係る音信号Ｘ２（ｆ）に基づいて、第１組用第１閾値ｔｈｒｅ１１及び第１組用第２閾値ｔｈｒｅ１２を導出する。【０１０３】
そして音処理機構１２０は、第１検出部１２２１、第１補正係数部１２３１、第１補正部１２４１、第１レベル差算出部１２５１、第１制御係数部１２６１、第１レベル制御部１２７１及び第１ＩＦＦＴ処理部１２８１による処理を実行し、音信号ｘ１ｏｕｔ（ｔ）を出力する。ただし第１制御係数部１２６１は、第１制御係数ｇａｉｎ１（ｆ）を求める対象となる周波数ｆに対し、第１閾値部１２９１が導出した第１組用第１閾値ｔｈｒｅ１１及び第１組用第２閾値ｔｈｒｅ１２が設定されている場合、設定されている第１組用第１閾値ｔｈｒｅ１１及び第１組用第２閾値ｔｈｒｅ１２を用いて制御係数ｇａｉｎ１（ｆ）を求める。【０１０４】
一方第２閾値部１２９２は、第３音入力機構１０３に係る音信号Ｘ３（ｆ）及び第２音入力機構１０２に係る音信号Ｘ２（ｆ）に基づいて、第２組用第１閾値ｔｈｒｅ２１及び第２組用第２閾値ｔｈｒｅ２２を導出する。【０１０５】
そして音処理機構１２０は、第２検出部１２２２、第２補正係数部１２３２、第２補正部１２４２、第２レベル差算出部１２５２、第２制御係数部１２６２、第２レベル制御部１２７２及び第２ＩＦＦＴ処理部１２８２による処理を実行し、音信号ｘ３ｏｕｔ（ｔ）を出力する。ただし第２制御係数部１２６２は、第２制御係数ｇａｉｎ３（ｆ）を求める対象となる周波数ｆに対し、第２閾値部１２９２が導出した第２組用第１閾値ｔｈｒｅ２１及び第２組用第２閾値ｔｈｒｅ２２が設定されている場合、設定されている第２組用第１閾値ｔｈｒｅ２１及び第２組用第２閾値ｔｈｒｅ２２を用いて制御係数ｇａｉｎ３（ｆ）を求める。【０１０６】
実施の形態４に係る音処理装置１の処理は、実施の形態１及び実施の形態２に係る音処理装置１の処理を、前述した組毎に行う処理であるので、実施の形態１及び実施の形態２を参照するものとし、その説明を省略する。【０１０７】
実施の形態５．
実施の形態５は、実施の形態１等に示した音処理装置を、マイクロホンアレイ装置等の音入力装置に内蔵又は接続され、音入力装置が生成した音信号を補正する補正装置として適用する形態である。【０１０８】
図１３は、本発明の実施の形態５に係る音入力装置及び補正装置の構成例を模式的に示すブロック図である。図１３中２は、マイクロホンアレイ装置等の音入力装置であり、音入力装置２には、音入力装置２が生成した音信号を補正するＶＬＳＩ等のチップを用いた補正装置３が組み込まれている。なお補正装置３を音入力装置２に外部接続する装置として構成する様にしても良い。【０１０９】
音入力装置２は、第１音入力機構２０１及び第２音入力機構２０２と、音信号に対してＡ／Ｄ変換を行う第１Ａ／Ｄ変換機構２１１及び第２Ａ／Ｄ変換機構２１２とを備えている。第１音入力機構２０１及び第２音入力機構２０２は夫々入力された音に基づいてアナログ信号である音信号を生成し、第１Ａ／Ｄ変換機構２１１及び第２Ａ／Ｄ変換機構２１２は、夫々入力された音信号を増幅及び濾波した上でデジタル信号に変換し、補正装置３へ出力する。【０１１０】
図１４は、本発明の実施の形態５に係る補正装置３の機能構成例を示す機能ブロック図である。補正装置３は、第１フレーム化部３２０１及び第２フレーム化部３２０２と、第１ＦＦＴ処理部３２１１及び第２ＦＦＴ処理部３２１２と、検出部３２２０と、補正係数部３２３０と、補正部３２４０と、レベル差算出部３２５０と、制御係数部３２６０と、レベル制御部３２７０と、ＩＦＦＴ処理部３２８０と等の各種プログラムモジュールを実行する。これらの各種プログラムモジュールの機能及び処理は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その詳細な説明を省略する。【０１１１】
前記実施の形態１乃至５は、本発明の無限にある実施の形態の一部を例示したに過ぎず、各種ハードウェア及びソフトウェア等の構成は、適宜設定することが可能であり、また例示した基本的な処理以外にも様々な処理を組み合わせることが可能である。
【図１】
2009069184.tif 000003
【図２】
2009069184.tif 000004
【図３】
2009069184.tif 000005
【図４】
2009069184.tif 000006
【図５】
2009069184.tif 000007
【図６】
2009069184.tif 000008
【図７】
2009069184.tif 000009
【図８】
2009069184.tif 000010
【図９】
2009069184.tif 000011
【図１０】
2009069184.tif 000012
【図１１】
2009069184.tif 000013
【図１２】
2009069184.tif 000014
【図１３】
2009069184.tif 000015
【図１４】
2009069184.tif 000016
【手続補正書】
【提出日】平成22年1月26日(2010.1.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本願に係る音処理装置は、第５乃至第７の音処理装置のいずれかにおいて、前記第１処理部は、到来する方向が、前記第１の直線の方向から所定の角度範囲内である音の周波数成分に係る音信号に対して音処理を行う様にしてあり、前記第２処理部は、到来する方向が、前記第２の直線の方向から所定の角度範囲内である音の周波数成分に係る音信号に対して音処理を行う様にしてあることを要件とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
第８の補正装置は、入力された音から音信号を生成する複数の音入力部を有する音入力装置が生成した音信号を補正する補正装置において、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出部と、検出した音の周波数成分に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音から前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数部と、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正部と、レベルを補正した音信号に基づいて音処理を行う処理部とを備えることを要件とする
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
第９の補正方法は、コンピュータを、入力された音から音信号を生成する複数の音入力部、特定の方向から到来する音の周波数成分を検出する検出部、音信号のレベルを補正する補正係数を求める補正係数部、及び補正係数に基づいて音信号のレベルを補正する補正部を有する音処理装置として機能させる補正方法であって、前記検出部により、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出手順と、前記補正係数部により、検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数手順と、前記補正部により、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正手順とを行うことを要件とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
第１０のコンピュータプログラムは、コンピュータに、入力された音から音信号を生成する複数の音入力部、特定の方向から到来する音の周波数成分を検出する検出部、音信号のレベルを補正する補正係数を求める補正係数部、及び補正係数に基づいて音信号のレベルを補正する補正部を有する音処理装置として機能させるコンピュータプログラムであって、コンピュータに、前記検出部により、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出手順と、前記補正係数部により、検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数手順と、前記補正部により、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正手順とを実行させることを要件とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
第１、第２、第５及び第６の音処理装置、第８の補正装置、第９の補正方法並びに第１０のコンピュータプログラムでは、複数の音入力部に入力される音の到来方向が、二の音入力部の配設位置にて定まる直線に対して垂直である場合、入力された音に係るレベルは等しいことを前提とし、二の音入力部の配設位置にて定まる直線に対して略垂直である方向から到来する音から夫々の音入力部が生成した夫々の音信号のレベルに基づいて、少なくとも一方のレベルを補正することにより、複数の音入力部の感度差を動的に補正する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
第４等の音処理装置では、二の音入力部にて定まる直線上に目的とする音源が存在することを前提としながらも、直線から所定の角度内で傾いた場合であっても対応することが可能である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
第５乃至第７等の音処理装置では、複数の直線上に複数の目的とする音源が存在する場合であっても対応することが可能である。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音を入力される複数の音入力部を有し、該複数の音入力部が入力された音から生成した夫々の音信号に基づいて音に関する音処理を行う音処理装置において、
前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出部と、
検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音から前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数部と、
求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正部と、
レベルを補正した音信号に基づいて音処理を行う処理部と
を備えることを特徴とする音処理装置。
【請求項２】
前記検出部が検出した音の到来方向が、前記第１音入力部及び第２音入力部の配設位置にて定まる直線に対して垂直な方向から所定の角度範囲内である場合に、
前記補正係数部は、補正係数を求め、
前記補正部は、レベルを補正する
様にしてあることを特徴とする請求項１に記載の音処理装置。
【請求項３】
前記処理部は、
前記補正部による補正後の音信号のレベル差を算出する差異算出部と、
算出したレベル差に基づいて、前記第１音入力部が生成した音信号のレベルを制御する制御係数を求める制御係数部と、
求めた制御係数にて前記第１音入力部が生成した音信号のレベルを制御するレベル制御部と
を備えることを特徴とする請求項１又は請求項２に記載の音処理装置。
【請求項４】
前記処理部は、到来する方向が、前記第１音入力部及び第２音入力部の配設位置にて定まる直線の方向から所定の角度範囲内である音の周波数成分に係る音信号に対して音処理を行う様にしてあることを特徴とする請求項１乃至請求項３のいずれかに記載の音処理装置。
【請求項５】
音を入力される三以上の音入力部を同一直線上とならない様に配設し、前記三以上の音入力部が入力された音から生成した夫々の音信号に基づいて音に関する音処理を行う音処理装置において、
前記音入力部に入力された夫々の音について、前記三以上の音入力部の中の任意の二の音入力部の配設位置にて定まる第１の直線に対し、略垂直方向から到来する音の周波数成分を検出する第１検出部と、
該第１検出部が検出した周波数成分の音に基づき前記第１の直線上の二の音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める第１補正係数部と、
該第１補正係数部が求めた補正係数に基づき前記第１の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方の音信号のレベルを補正する第１補正部と、
該第１補正部にてレベルを補正した音信号に基づいて音処理を行う第１処理部と、
前記音入力部に入力された夫々の音について、前記三以上の音入力部の中で前記第１の直線上の二の音入力部と少なくとも一方が異なる任意の二の音入力部の配設位置にて定まり、前記第１の直線と同一及び平行のいずれでもない第２の直線に対し、略垂直方向から到来する音の周波数成分を検出する第２検出部と、
該第２検出部が検出した周波数成分の音に基づき前記第２の直線上の二の音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第２の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める第２補正係数部と、
該第２補正係数部が求めた補正係数に基づき前記第２の直線上の二の音入力部が生成した夫々の音信号の少なくとも一方の音信号のレベルを補正する第２補正部と、
該第１補正部にてレベルを補正した音信号に基づいて音処理を行う第２処理部と
を備えることを特徴とする音処理装置。
【請求項６】
前記第１検出部が検出した音の到来方向が、前記第１の直線に対して垂直な方向から所定の角度範囲内である場合に、
前記第１補正係数部は、補正係数を求め、
前記第１補正部は、レベルを補正し、
前記第２検出部が検出した音の到来方向が、前記第２の直線に対して垂直な方向から所定の角度範囲内である場合に、
前記第２補正係数部は、補正係数を求め、
前記第２補正部は、レベルを補正する
様にしてあることを特徴とする請求項５に記載の音処理装置。
【請求項７】
前記第１処理部は、
前記第１補正部による補正後の音信号のレベル差を算出する第１差異算出部と、
該第１差異算出部が算出したレベル差に基づいて、前記第１の直線上の二の音入力部の一方の音入力部である第１の音入力部が生成した音信号のレベルを制御する制御係数を求める第１制御係数部と、
該第１制御係数部が求めた制御係数にて前記第１の音入力部が生成した音信号のレベルを制御する第１レベル制御部と
を備え、
前記第２処理部は、
前記第２補正部による補正後の音信号のレベル差を算出する第２差異算出部と、
該第２差異算出部が算出したレベル差に基づいて、前記第２の直線上の二の音入力部の一方の音入力部であり、かつ前記第１の音入力部と異なる第２の音入力部が生成した音信号のレベルを制御する制御係数を求める第２制御係数部と、
該第２制御係数部が求めた制御係数にて前記第２の音入力部が生成した音信号のレベルを制御する第２レベル制御部と
を備える
ことを特徴とする請求項５又は請求項６に記載の音処理装置。
【請求項８】
入力された音から音信号を生成する複数の音入力部を有する音入力装置が生成した音信号を補正する補正装置において、
前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出部と、
検出した音の周波数成分に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音から前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数部と、
求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正部と、
レベルを補正した音信号に基づいて音処理を行う処理部と
を備えることを特徴とする補正装置。
【請求項９】
コンピュータを、入力された音から音信号を生成する複数の音入力部、特定の方向から到来する音の周波数成分を検出する検出部、音信号のレベルを補正する補正係数を求める補正係数部、及び補正係数に基づいて音信号のレベルを補正する補正部を有する音処理装置として機能させる補正方法であって、
前記検出部により、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出手順と、
前記補正係数部により、検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数手順と、
前記補正部により、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正手順と
を行うことを特徴とする補正方法。
【請求項１０】
コンピュータに、入力された音から音信号を生成する複数の音入力部、特定の方向から到来する音の周波数成分を検出する検出部、音信号のレベルを補正する補正係数を求める補正係数部、及び補正係数に基づいて音信号のレベルを補正する補正部を有する音処理装置として機能させるコンピュータプログラムであって、
コンピュータに、
前記検出部により、前記複数の音入力部に入力された夫々の音について、前記複数の音入力部の中の第１音入力部及び第２音入力部の配設位置にて定まる直線に対し、略垂直方向から到来する音の周波数成分を検出する検出手順と、
前記補正係数部により、検出した周波数成分の音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号のレベルを合わせるべく、入力された音に基づき前記第１音入力部及び第２音入力部が生成した夫々の音信号の少なくとも一方のレベルを補正する補正係数を求める補正係数手順と、
前記補正部により、求めた補正係数にて少なくとも一方の音信号のレベルを補正する補正手順と
を実行させることを特徴とするコンピュータプログラム。
【国際調査報告】
2009069184.tif 000017
2009069184.tif 000018
2009069184.tif 000019
2009069184.tif 000020
2009069184.tif 000021
2009069184.tif 000022
2009069184.tif 000023