(57)【要約】  音信号に含まれているノイズを適切に低減することができる信号処理装置を提供する。  信号処理装置は、音信号を周波数領域信号に変換する変換部と、音信号において所定のノイズが含まれる期間の第１周波数領域信号から、所定のノイズを低減するために推定された推定ノイズの周波数領域信号を減算する減算部と、音信号において所定のノイズが含まれない期間の第２周波数領域信号に基づいて、減算部が第１周波数領域信号から推定ノイズの周波数領域信号を減算した第３周波数領域信号を補正する第４周波数領域信号の生成を行う補正信号生成部と、第３周波数領域信号に第４周波数領域信号を加算する加算部と、を備えることを特徴とする。
2014017371.tif 000002
【特許請求の範囲】
【請求項１】
音信号を周波数領域信号に変換する変換部と、
前記音信号において所定のノイズが含まれる期間の第１周波数領域信号から、前記所定のノイズを低減するために推定された推定ノイズの周波数領域信号を減算する減算部と、
前記音信号において前記所定のノイズが含まれない期間の第２周波数領域信号に基づいて、前記減算部が前記第１周波数領域信号から前記推定ノイズの周波数領域信号を減算した第３周波数領域信号を補正する第４周波数領域信号の生成を行う補正信号生成部と、
前記第３周波数領域信号に前記第４周波数領域信号を加算する加算部と、
を備えることを特徴とする信号処理装置。
【請求項２】
前記音信号は、前記音信号の音を収音した装置が備える動作部が動作するタイミングを示す情報と対応付けられており、
前記音信号において、前記動作部が動作している期間を前記所定のノイズが含まれる期間とし、前記動作部が動作していない期間を前記所定のノイズが含まれない期間とする
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記補正信号生成部は、
擬似乱数信号と前記第２周波数領域信号とに基づいて、前記第４周波数領域信号を生成する
ことを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
前記補正信号生成部は、
前記擬似乱数信号の周波数領域信号を、前記第２周波数領域信号を用いてイコライズすることにより前記第４周波数領域信号を生成する
ことを特徴とする請求項３に記載の信号処理装置。
【請求項５】
前記補正信号生成部は、
前記第４周波数領域信号として、前記第２周波数領域信号に対して少なくとも位相が異なる周波数領域信号を生成する
ことを特徴とする請求項１から４の何れか一項に記載の信号処理装置。
【請求項６】
前記減算部は、
前記第１周波数領域信号から前記推定ノイズの周波数領域信号を、周波数成分毎にそれぞれ減算し、
前記加算部は、
前記周波数成分毎にそれぞれ減算した減算量に応じて、前記第４周波数領域信号の加算量を前記周波数成分毎に異ならせる
ことを特徴とする請求項１から５の何れか一項に記載の信号処理装置。
【請求項７】
前記加算部は、
前記減算部が前記第１周波数領域信号から前記推定ノイズの周波数領域信号を前記周波数成分毎に減算する際に減算しなかった周波数成分において、前記第３周波数領域信号に加算する前記第４周波数領域信号の加算量を低減する
ことを特徴とする請求項６に記載の信号処理装置。
【請求項８】
コンピュータに、
音信号を周波数領域信号に変換するステップと、
前記音信号において所定のノイズが含まれる期間の第１周波数領域信号から、前記所定のノイズを低減するために推定された推定ノイズの周波数領域信号を減算するステップと、
前記音信号において前記所定のノイズが含まれない期間の第２周波数領域信号に基づいて、前記第１周波数領域信号から前記推定ノイズの周波数領域信号を減算した第３周波数領域信号を補正する第４周波数領域信号の生成を行うステップと、
前記第３周波数領域信号に前記第４周波数領域信号を加算するステップと、
を実行させるためのプログラム。
【請求項９】
入力された第１音信号と第２音信号とを周波数領域信号に変換する周波数領域変換部と、
前記周波数領域変換部によって周波数領域信号に変換された、前記第１音信号および前記第２音信号との少なくとも一方を処理する信号処理部と、
第３位相情報を生成し、入力された前記第１音信号の第１位相情報と入力された前記第２音信号の第２位相情報との関係を第１関係とし、前記第３位相情報と第４位相情報との第２関係が前記第１関係を含む所定の範囲に含まれるよう前記第４位相情報を生成する位相情報生成部と、
少なくとも前記位相情報生成部によって生成された第３位相情報と第４位相情報とに基づいて、前記信号処理部によって処理された前記第１音信号と前記第２音信号とを時間領域信号に変換する時間領域変換部とを備える
ことを特徴とする信号処理装置。
【請求項１０】
所定のノイズが混入していない期間の音に基づいて、前記信号処理部により処理された前記第１音信号と前記第２音信号とを補正する補正部を備える
ことを特徴とする請求項９に記載の信号処理装置。
【請求項１１】
前記補正部は、前記信号処理部で処理された前記第１音信号と前記第２音信号との少なくとも一方と、前記補正部で生成された前記第１音信号と前記第２音信号との少なくとも一方を補正する補正信号と、を加算する加算部を備え、
前記加算部は、前記第１音信号と前記第２音信号との少なくとも一方には前記第１位相情報もしくは前記第２位相情報を用い、前記補正信号は、前記第３位相情報もしくは前記第４位相情報を用いて加算を行う
ことを特徴とする請求項１０に記載の信号処理装置。
【請求項１２】
前記信号処理部は、
前記第１音信号と前記第２音信号との音を収音した装置が備える動作部が発生する動作音を判断する判定部を含み、
前記音は、前記判定部が動作音が発生していないと判定したときに取得した音信号である
ことを特徴とする請求項９から１１のいずれか１項に記載の信号処理装置。
【請求項１３】
前記位相情報生成部は、前記第３位相情報を含む擬似乱数信号を生成する擬似乱数信号生成部を含み、
前記補正部は、
前記判定部が動作を発生していないと判定したときに取得した音信号を用いて、前記擬似乱数信号の周波数領域信号を補正する
ことを特徴とする請求項１０から１２のいずれか１項に記載の信号処理装置。
【請求項１４】
前記第１関係は、前記第１音信号と前記第２音信号との位相差である第１位相差で、前記第２関係は、前記第３位相情報と前記第４位相情報との位相差である第２位相差であり、
前記位相情報生成部は、
前記第２位相差が、前記第１位相差を含む所定の範囲に含まれるように前記第４位相情報を生成する位相調整部を備えること、
を特徴とする請求項９から１３のいずれか１項に記載の信号処理装置。
【請求項１５】
前記信号処理部は、前記判定部によって前記所定のノイズが混入していると判定された期間の周波数領域信号からノイズ成分を低減するそれぞれのノイズ低減部を備える
ことを特徴とする請求項１２から１４のいずれか１項に記載の信号処理装置。
【請求項１６】
前記信号処理部は、前記判定部によってノイズが混入していると判定された期間の周波数領域信号からノイズの推定周波数領域信号を求めるノイズ推定部を備え、
前記ノイズ低減部は、前記ノイズ推定部により求められた前記推定周波数領域信号を用いてノイズ成分を低減する
ことを特徴とする請求項１２から１５のいずれか１項に記載の信号処理装置。
【請求項１７】
前記ノイズ低減部は、前記判定部によってノイズが混入していると判定された期間の周波数領域信号から、前記ノイズの推定周波数領域信号を周波数成分毎に減算してノイズ成分を低減し、
減算しなかった周波数成分については、ノイズ成分が低減された周波数領域信号への補正信号の周波数領域信号の加算量を低減する
ことを特徴とする請求項１５または１６に記載の信号処理装置。
【請求項１８】
第１音信号と第２音信号とが入力され、前記第１音信号と前記第２音信号とのうち少なくとも一方から所定のノイズが含まれる期間に対して前記所定のノイズを示す信号を減算する減算処理部と、
第３信号と第４信号とを生成し、前記第３信号と前記第４信号との関係である第２関係が、前記第１音信号の前記所定のノイズを含まない期間の信号と前記第２音信号の前記所定のノイズを含まない期間の信号との関係である第1関係を含む所定の範囲に含まれるよう、前記第１音信号を補正する第３信号と前記第２音信号を補正する第４信号とを生成する生成部とを備える
ことを特徴とする信号処理装置。
【請求項１９】
請求項１から１８の何れか一項に記載の信号処理装置を備える
ことを特徴とする撮像装置。
【請求項２０】
コンピュータに、
入力された第１音信号と第２音信号とを周波数領域信号に変換する周波数領域変換ステップと、
前記周波数領域信号に変換された、前記第１音信号および前記第２音信号との少なくとも一方を処理する信号処理ステップと、
第３位相情報を生成し、入力された前記第１音信号の第１位相情報と前記入力された前記第２音信号の第２位相情報との関係を第１関係とし、前記第３位相情報と第４位相情報との第２関係が前記第１関係を含む所定の範囲に含まれるよう前記第４位相情報を生成する位相情報生成ステップと、
少なくとも前記位相情報生成ステップによって生成された第３位相情報と第４位相情報とに基づいて、前記信号処理ステップによって処理された前記第１音信号と前記第２音信号とを時間領域信号に変換する時間領域変換ステップとを実行させるプログラム。
【請求項２１】
コンピュータに、
第１音信号と第２音信号とが入力され、前記第１音信号と前記第２音信号とのうち少なくとも一方から所定のノイズが含まれる期間に対して前記所定のノイズを示す信号を減算するステップと、
第３信号と第４信号とを生成し、前記第３信号と前記第４信号との関係である第２関係が、前記第１音信号の前記所定のノイズを含まない期間の信号と前記第２音信号の前記所定のノイズを含まない期間の信号との関係である第1関係を含む所定の範囲に含まれるよう、前記第１音信号を補正する第３信号と前記第２音信号を補正する第４信号とを生成するステップとを実行させるプログラム。
【請求項２２】
音信号を周波数信号に変換する変換部と、
前記音信号における所定のノイズの少なくとも一部が含まれる第１周波数信号から、所定の周波数信号を減算する減算部と、
前記音信号における前記所定のノイズの少なくとも一部が含まれない第２周波数信号に基づいて、前記減算部によって減算された前記第１周波数信号に加算する第３周波数信号を生成する生成部とを備える
ことを特徴とする信号処理装置。
【請求項２３】
コンピュータに、
音信号を周波数信号に変換するステップと、
前記音信号における所定のノイズの少なくとも一部が含まれる第１周波数信号から、所定の周波数信号を減算するステップと、
前記音信号における前記所定のノイズの少なくとも一部が含まれない第２周波数信号に基づいて、前記減算部によって減算された前記第１周波数信号に加算する第３周波数信号を生成するステップとを実行させるプログラム。
【請求項２４】
音信号を入力する入力部と、
前記入力部から入力された前記音信号における所定のノイズの少なくとも一部が含まれる第１音信号から、所定の信号を減算する減算部と、
前記音信号における前記所定のノイズの少なくとも一部が含まれない第２音信号に基づいて、前記減算部によって減算された前記第１音信号に加算する第３音信号を生成する生成部とを備える
ことを特徴とする信号処理装置。
【請求項２５】
コンピュータに、
音信号を入力するステップと、
前記入力部から入力された前記音信号における所定のノイズの少なくとも一部が含まれる第１音信号から、所定の信号を減算するステップと、
前記音信号における前記所定のノイズの少なくとも一部が含まれない第２音信号に基づいて、前記減算部によって減算された前記第１音信号に加算する第３音信号を生成するステップとを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、撮像装置、及び、プログラムに関する。
【背景技術】
【０００２】
近年、カメラで動画を撮影する際に、音信号に含まれるＡＦ音等のノイズ音が問題になっている。このような音信号に含まれているノイズを低減する技術がある。このノイズ除去技術の代表的なものとして、スペクトル減算法がある（例えば、非特許文献１参照）。
非特許文献１に記載されている技術は、音信号に含まれている定常ノイズを推定ノイズによって低減するものであり、人の話し声の背景に比較的定常なノイズが重なっている場合に、背景の定常ノイズを低減する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】BOLL, S. F. “Suppression of Acoustic Noise in Speech Using Spectral Subtraction.” IEEE TRANSACTION ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, vol.ASSP-27, pp. 113-120, APRIL, 1979.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載されている技術では、非定常的なノイズ（例えば、大きさが変化するノイズ、間欠的に発生するノイズなど）を低減するような場合、音信号に実際に混入しているノイズと推定ノイズとの間に差が生じ、ノイズの過大減算あるいは過小減算により、音の劣化もしくはノイズの残存が発生することがある。
つまり、非特許文献１に記載されている技術では、音信号に含まれているノイズを適切に低減できないことがあるという問題がある。【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、音信号に含まれているノイズを適切に低減することができる信号処理装置、撮像装置、及び、プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明の第１の態様によると、音信号を周波数領域信号に変換する変換部と、前記音信号において所定のノイズが含まれる期間の第１周波数領域信号から、前記所定のノイズを低減するために推定された推定ノイズの周波数領域信号を減算する減算部と、前記音信号において前記所定のノイズが含まれない期間の第２周波数領域信号に基づいて、前記減算部が前記第１周波数領域信号から前記推定ノイズの周波数領域信号を減算した第３周波数領域信号を補正する第４周波数領域信号の生成を行う補正信号生成部と、前記第３周波数領域信号に前記第４周波数領域信号を加算する加算部と、を備えることを特徴とする信号処理装置を提供する。【０００７】
また、本発明の第２の態様によると、上記記載の信号処理装置、を備えることを特徴とする撮像装置を提供する。【０００８】
また、本発明の第３の態様によると、コンピュータに、音信号を周波数領域信号に変換するステップと、前記音信号において所定のノイズが含まれる期間の第１周波数領域信号から、前記所定のノイズを低減するために推定された推定ノイズの周波数領域信号を減算するステップと、前記音信号において前記所定のノイズが含まれない期間の第２周波数領域信号に基づいて、前記第１周波数領域信号から前記推定ノイズの周波数領域信号を減算した第３周波数領域信号を補正する第４周波数領域信号の生成を行うステップと、前記第３周波数領域信号に前記第４周波数領域信号を加算するステップと、を実行させるためのプログラムを提供する。【０００９】
本発明の第４の様態によると、入力された第１音信号と第２音信号とを周波数領域信号に変換する周波数領域変換部と、前記周波数領域変号および前記第２音信号との少なくとも一方を処理する信号処理部と、第３位相情報を生成し、入力された前記第１音信号の第１位相情報と入力された前記第２音信号の第２位相情報との関係を第１関係とし、前記第３位相情報と前記第４位相情報との第２関係が前記第１関係を含む所定の範囲に含まれるよう前記第４位相情報を生成する位相情報生成部と、少なくとも前記位相情報生成部によって生成された第換部によって周波数領域信号に変換された、前記第１音信３位相情報と第４位相情報とに基づいて、前記信号処理部によって処理された前記第１音信号と前記第２音信号とを時間領域信号に変換する時間領域変換部とを備えることを特徴とする信号処理装置を提供する。【００１０】
本発明の第５の態様によると、第１音信号と第２音信号とが入力され、前記第１信号と前記第２信号とのうち少なくとも一方から所定のノイズが含まれる期間に対して前記所定のノイズを示す信号を減算する減算処理部と、第３信号と第４信号とを生成し、前記第３信号と前記第４信号との関係である第２関係が、前記第１信号の前記所定のノイズを含まない期間の信号と前記第２信号の前記所定のノイズを含まない期間の信号との関係である第1関係を含む所定の範囲に含まれるよう、前記第１信号を補正する第３信号と前記第２信号を補正する第４信号とを生成する生成部とを備えることを特徴とする信号処理装置を提供する。【００１１】
さらに、本発明の第６の様態によると、コンピュータに、入力された第１音信号と第２音信号とを周波数領域信号に変換する周波数領域変換ステップと、前記周波数領域信号に変換された、前記第１音信号および前記第２音信号との少なくとも一方を処理する信号処理ステップと、第３位相情報を生成し、入力された前記第１音信号の第１位相情報と前記入力された前記第２音信号の第２位相情報との関係を第１関係とし、前記第３位相情報と前記第４位相情報との第２関係が前記第１関係を含む所定の範囲に含まれるよう前記第４位相情報を生成する位相情報生成ステップと、少なくとも前記位相情報生成ステップによって生成された第３位相情報と第４位相情報とに基づいて、前記信号処理ステップによって処理された前記第１音信号と前記第２音信号とを時間領域信号に変換する時間領域変換ステップとを実行させるプログラムを提供する。【００１２】
本発明の第７の態様によると、コンピュータに、第１音信号と第２音信号とが入力され、前記第１信号と前記第２信号とのうち少なくとも一方から所定のノイズが含まれる期間に対して前記所定のノイズを示す信号を減算するステップと、第３信号と第４信号とを生成し、前記第３信号と前記第４信号との関係である第２関係が、前記第１信号の前記所定のノイズを含まない期間の信号と前記第２信号の前記所定のノイズを含まない期間の信号との関係である第1関係を含む所定の範囲に含まれるよう、前記第１信号を補正する第３信号と前記第２信号を補正する第４信号とを生成するステップとを実行させるプログラムを提供する。【００１３】
本発明の第８の態様によると、音信号を周波数信号に変換する変換部と、前記音信号における所定のノイズの少なくとも一部が含まれる第１周波数信号から、所定の周波数信号を減算する減算部と、前記音信号における前記所定のノイズの少なくとも一部が含まれない第２周波数信号に基づいて、前記減算部によって減算された前記第１周波数信号に加算する第３周波数信号を生成する生成部とを備えることを特徴とする信号処理装置を提供する。【００１４】
本発明の第９の態様によると、コンピュータに、音信号を周波数信号に変換するステップと、前記音信号における所定のノイズの少なくとも一部が含まれる第１周波数信号から、所定の周波数信号を減算するステップと、前記音信号における前記所定のノイズの少なくとも一部が含まれない第２周波数信号に基づいて、前記減算部によって減算された前記第１周波数信号に加算する第３周波数信号を生成するステップとを実行させるプログラムを提供する。【００１５】
本発明の第１０の態様によると、音信号を入力する入力部と、前記入力部から入力された前記音信号における所定のノイズの少なくとも一部が含まれる第１音信号から、所定の信号を減算する減算部と、前記音信号における前記所定のノイズの少なくとも一部が含まれない第２音信号に基づいて、前記減算部によって減算された前記第１音信号に加算する第３音信号を生成する生成部とを備えることを特徴とする信号処理装置を提供する。【００１６】
本発明の第１１の態様によると、コンピュータに、音信号を入力するステップと、前記入力部から入力された前記音信号における所定のノイズの少なくとも一部が含まれる第１音信号から、所定の信号を減算するステップと、前記音信号における前記所定のノイズの少なくとも一部が含まれない第２音信号に基づいて、前記減算部によって減算された前記第１音信号に加算する第３音信号を生成するステップとを実行させるプログラムを提供する。
【発明の効果】
【００１７】
この発明によれば、音信号に含まれているノイズを適切に低減することができる。
【図面の簡単な説明】
【００１８】
【図１】この発明の第１実施形態による信号処理装置の構成の一例を示す概略ブロック図である。
【図２】音信号の一例を示す図である。
【図３】環境音特徴スペクトル及び推定ノイズスペクトルの一例を説明する図である。
【図４】ノイズ低減処理の一例を説明する図である。
【図５】第１実施形態におけるノイズ低減処理の一例を示すフローチャートである。
【図６】収音機能を有する撮像装置の構成の一例を示す概略ブロック図である。
【図７】第２実施形態に係る信号処理装置の構成の一例を示す概略ブロック図である。
【図８】第３実施形態に係る信号処理装置の構成の一例を示す概略ブロック図である。
【図９】第４実施形態に係る撮像装置の構成の一例を示す概略ブロック図である。
【図１０】本発明の第５実施形態による信号処理装置の構成の一例を示す概略ブロック図である。
【図１１】信号処理装置による白色雑音補正を含むノイズ低減処理の一例の説明図である。
【図１２】ノイズ低減処理の一例を示すフローチャートである。
【図１３】収音機能を有する撮像装置の構成の一例を示す概略ブロック図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の実施の形態について説明する。
［第１実施形態］
図１は、この発明の第１実施形態による信号処理装置１００Ａの構成の一例を示す概略ブロック図である。まず、信号処理装置１００Ａの概要について説明する。
【００２０】
この図１に示す信号処理装置１００Ａは、入力された音信号（符号５００）に対して信号処理を実行し、処理後の音信号（符号５１０）を出力する。例えば、信号処理装置１００Ａは、記憶媒体に記録されている音信号を取得し、取得した音信号に対して信号処理を実行する。
なお、本実施形態に限らず、以下に説明する実施形態全体において、記憶媒体とは、例えば、フラッシュメモリカード、磁気ディスク、光学ディスクなどの可搬媒体である。
【００２１】
なお、信号処理装置１００Ａは、記憶媒体から音信号を読み出すための読み出し部を、内部に備えた構成としてもよいし、有線通信または無線通信などにより接続可能な外部装置（読み出し装置）が備えた構成としてもよい。また、実施形態全体において、記憶媒体に代えて、フラッシュメモリを搭載してＵＳＢ（Universal Serial Bus）コネクタを介して接続可能なＵＳＢメモリ、またはハードディスクなどの記憶装置としてもよい。
【００２２】
実施形態全体において、記憶媒体には、録音された音の音信号が記憶されている。例えば、記憶媒体には、少なくとも音を録音する機能を有する装置により収音されて録音された音の音信号が記憶されている。また、記憶媒体には、この収音された（録音された）音の音信号における所定のノイズが含まれる期間または所定のノイズが含まれない期間、を示す情報（或いは、所定のノイズが含まれる期間または所定のノイズが含まれない期間を判定可能な情報）が、その音信号と対応付けられて記録されている。
【００２３】
実施形態全体において、例えば、収音された音の音信号における所定のノイズが含まれる期間は、この音信号の音を収音した装置が備えている動作部が動作している期間であってもよい。一方、収音された音の音信号における所定のノイズが含まれない期間は、この音信号の音を録音した装置が備えている動作部が動作していない期間であってもよい。また、収音された音の音信号における所定のノイズが含まれる期間または所定のノイズが含まれない期間、を示す情報は、この音信号の音を収音した装置が備えている動作部が動作するタイミングを示す情報であってもよい。
【００２４】
実施形態全体において、収音した装置が備えている動作部とは、収音した装置が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。
実施形態全体において、例えば、収音した装置が撮像装置の場合、その撮像装置が備えている、ズームレンズ、防振用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）、焦点調整レンズ（以下、ＡＦ（Auto
Focus）レンズという）、操作部、などが動作部であってもよい。すなわち、この場合の所定のノイズとは、撮像装置が備えている、ズームレンズ、ＶＲレンズ、ＡＦレンズ、操作部、などが動作することによって生じた音が収音されたものである。
【００２５】
例えば、実施形態全体において、撮像装置は、動作部であるズームレンズ、ＶＲレンズ、またはＡＦレンズそれぞれを駆動する駆動部を、駆動制御信号を制御することにより駆動する。つまり、撮像装置は、駆動制御信号を制御するタイミングによって上述の動作部を動作させる。例えば、撮像装置は、駆動制御信号を制御するタイミングを示す情報を、動作部が動作するタイミングを示す情報として、録音した音の音信号に対応付けて記憶媒体に記憶させてもよい。
なお、このような収音機能を有する撮像装置の構成について、詳しくは後述する。
【００２６】
信号処理装置１００Ａは、音信号に対して信号処理を実行する。例えば、信号処理装置１００Ａは、上述したような、録音された音の音信号と、その音信号に対応付けられた動作部が動作するタイミングを示す情報とに基づいて、音信号に含まれるノイズを低減する処理を実行する。
【００２７】
続いて、図１に示す信号処理装置１００の構成について詳しく説明する。信号処理装置１００Ａは、信号処理部１０１と、記憶部１６０と、を備えている。
【００２８】
記憶部１６０は、環境音特徴スペクトル記憶部１６１と、ノイズ記憶部１６２と、ノイズ低減処理情報記憶部１６３とを備えている。
環境音特徴スペクトル記憶部１６１には、後述する環境音特徴スペクトルが記憶される。ノイズ記憶部１６２には、後述する推定ノイズ（推定ノイズスペクトル）が記憶される。ノイズ低減処理情報記憶部１６３には、ノイズ低減処理において、音信号の周波数成分毎にノイズ成分を低減させる処理を実行したか否かを示す情報が周波数成分毎に対応付けられて記憶される。
【００２９】
信号処理部１０１は、記憶媒体から読み出されて入力された音信号に対して、例えば、ノイズ低減処理などの信号処理を実行し、この信号処理を実行した音信号を出力する（或いは記憶媒体に記憶させる）。なお、信号処理部１０１は、入力された音信号にノイズ低減処理を実行した音信号と、入力された音信号そのままの信号とを切り替えて出力してもよい。
【００３０】
＜信号処理部１０１の詳細な構成＞
次に、図１に示す信号処理部１０１の詳細について、図１、及び図２から図３を用いて説明する。信号処理部１０１は、第１変換部１１１（変換部）、判定部１１２、環境音特徴スペクトル推定部１１３、ノイズ推定部１１４、ノイズ低減部１１５（減算部）、逆変換部１１６、及び、音補正処理部１２０、を備えている。
【００３１】
ここでは、図２のように信号処理部１０１に、音信号（例えば撮像装置により収音されて録音された音信号）と、その音信号に対応付けられた動作部（例えば撮像装置が備えている動作部）が動作するタイミングを示す信号とが、記憶媒体から読み出されて入力された場合について説明する。なお、入力された音信号は、収音された音がデジタル信号に変換された音信号である。この図２において、上段から下段に向かって、（ａ）動作部が動作するタイミングを示す信号、（ｂ）時刻、（ｃ）フレーム番号、及び、（ｄ）入力された音信号の波形を示している。
【００３２】
この図２において、横軸は時間軸であり、縦軸は、例えば、各信号の電圧、時刻、または、フレーム番号である。また、この図２（ｄ）に示すように、例えば、音声が収音された場合の音信号の場合、数十ミリ秒程度の短い時間内では、比較的に繰り返し信号が多い。
【００３３】
この図２の例においては、フレームと時刻との関係は、時刻ｔ０からｔ２までがフレーム番号４１に対応し、時刻ｔ１からｔ３までがフレーム番号４２に対応し、時刻ｔ２からｔ４までがフレーム番号４３に対応し、時刻ｔ３からｔ５までがフレーム番号４４に対応し、時刻ｔ４からｔ６までがフレーム番号４５に対応し、時刻ｔ５からｔ７までがフレーム番号４６に対応し、時刻ｔ６以降がフレーム番号４７に対応している。なお、各フレームの時間長は同じものとする。
【００３４】
また、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、（ａ）動作部が動作するタイミングを示す信号が、ロウレベルからハイレベルに遷移している（図２の符号Ｏ参照）ことを示している。なお、ここでは、ロウレベルは動作部が動作していないことを示し、ハイレベルは動作部が動作していることを示すものとする。このように、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、動作部が動作しない状態から動作する状態へと遷移していることを示している。
【００３５】
そして、このような動作部の動作に応じて、（ｄ）入力された音信号の波形に、フレーム番号４４及び４５の途中以降から、ノイズが重畳されている。ここで、各フレームとノイズ発生区間との関係について着目すると、フレーム番号４４及び４５の途中で（ａ）動作部が動作するタイミングを示す信号が立ち上がっていることからフレーム番号４４以降（４４、４５、４６，４７…）においてノイズが収音されている。また、フレーム番号４６以降（４６，４７…）においては、フレームの全区間においてノイズが収音されている。一方、フレーム番号４３以前（４３，４２，４１…）にはノイズが全く収音されていない。
【００３６】
ここで、第１変換部１１１は、入力された音信号を周波数領域信号に変換する。例えば、第１変換部１１１は、入力された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、第１変換部１１１は、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、第１変換部１１１は、高速フーリエ変換（ＦＦＴ：Fast Fourier
Transform）により、フーリエ変換してもよい。
【００３７】
なお、第１変換部１１１は、入力された音信号の周波数スペクトルを生成する際に、音信号の周波数成分の振幅情報（符号ＳＧ１）及び位相情報（符号ＳＧ２）を得る。また、第１変換部１１１が変換したフレーム毎の音信号の周波数スペクトルに対して、信号処理部１０１は、後述するようなノイズ低減処理を実行する。そして、その後、逆変換部１１６は、ノイズ低減処理した各フレームの周波数スペクトル（後述の加算部１２８の加算処理後の周波数スペクトル）を逆フーリエ変換して出力する。
なお、信号処理部１０１は、逆フーリエ変換して出力した音信号を、記憶媒体に記憶させてもよい。
【００３８】
判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを判定する。すなわち、判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれる期間のフレームであるか、または、所定のノイズが含まれない期間のフレームであるかを判定する。
【００３９】
なお、判定部１１２は、独立した構成であることに限られるものではなく、環境音特徴スペクトル推定部１１３またはノイズ推定部１１４が、上述した判定部１１２の機能を有する構成としてもよい。
【００４０】
環境音特徴スペクトル推定部１１３は、入力された音信号の周波数スペクトルから、環境音特徴スペクトルを推定する。そして、環境音特徴スペクトル推定部１１３は、推定した環境音特徴スペクトルを、環境音特徴スペクトル記憶部１６１に記憶させる。ここで、環境音特徴スペクトルとは、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれない期間の音信号の周波数スペクトル、すなわち所定のノイズが含まれない周囲の環境音（周囲音、目的音）が収音された音信号の周波数スペクトルのことをいう。
【００４１】
例えば、環境音特徴スペクトル推定部１１３は、所定のノイズが含まれない期間のフレームにおける音信号（環境音の音信号）の周波数スペクトルを、環境音特徴スペクトル（第２周波数領域信号）として推定する。すなわち、環境音特徴スペクトル推定部１１３は、動作部が動作していない期間のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルとして推定する。具体的には、例えば、環境音特徴スペクトル推定部１１３は、判定部１１２により動作部が動作するタイミングに基づいて判定された、動作部が動作する期間を含まない直前のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルとして推定する。
【００４２】
図２に示す音信号の例の場合、環境音特徴スペクトル推定部１１３は、例えばフレーム番号４３における音信号の周波数スペクトルを環境音特徴スペクトルとして推定する。そして、環境音特徴スペクトル推定部１１３は、このフレーム番号４３における音信号の周波数スペクトルを環境音特徴スペクトルとして、環境音特徴スペクトル記憶部１６１に記憶させる。
【００４３】
以降、フレーム番号４３における音信号の周波数スペクトル（＝Ｓ４３）を環境音特徴スペクトルＦＳと称して説明する。また、環境音特徴スペクトルＦＳの、各周波数ビンの強度（各周波数成分の大きさ）を、低周波数から高周波数へ順にＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５と称して説明する（図３（ａ）参照）。なお、周波数ビンの数は、ノイズ低減処理において必要とされる周波数スペクトルの解像度に応じて設定することができる。
【００４４】
ノイズ推定部１１４は、入力された音信号から所定のノイズ（例えば動作部が動作することにより発生するノイズ）を低減するためのノイズを推定する。例えば、ノイズ推定部１１４は、動作部が動作するタイミングに基づいて、入力された音信号の周波数スペクトルからノイズの周波数スペクトルを推定する。そして、ノイズ推定部１１４は、推定したノイズを、ノイズ記憶部１６２に記憶させる。
【００４５】
例えば、ノイズ推定部１１４は、所定のノイズが含まれる期間のフレームにおける音信号の周波数スペクトル（第１周波数領域信号）と、所定のノイズが含まれない期間のフレームにおける音信号の周波数スペクトルとに基づいて、ノイズの周波数スペクトルを推定する。すなわち、ノイズ推定部１１４は、動作部が動作している期間のフレームにおける音信号の周波数スペクトルと、動作部が動作していない期間のフレームにおける音信号の周波数スペクトルとに基づいて、ノイズの周波数スペクトルを推定する。
【００４６】
具体的には、例えば、ノイズ推定部１１４は、判定部１１２により動作部が動作するタイミングに基づいて判定された、動作部が動作を開始したタイミングの直後のフレーム（かつ、フレームの全ての期間に渡って動作部が動作しているフレーム）における音信号の周波数スペクトルと、動作部が動作を開始するタイミングの直前のフレーム（かつ、フレームの全ての期間に渡って動作部が動作していないフレーム）における音信号の周波数スペクトル（例えば環境音特徴スペクトルＦＳ）との差を、ノイズの周波数スペクトルとして推定する。
【００４７】
図２に示す音信号の例の場合、ノイズ推定部１１４は、フレーム番号４６における音信号の周波数スペクトルＳ４６（図３（ｂ）参照）から、フレーム番号４３における音信号の周波数スペクトル（すなわち環境音特徴スペクトルＦＳ）（図３（ａ）参照）を、周波数ビン毎に減算する。
【００４８】
なお、フレーム番号４６における音信号の周波数スペクトルを、周波数スペクトルＳ４６（図３（ｂ）参照）と称して説明する。また、周波数スペクトルＳ４６の、各周波数ビンの強度を、低周波数から高周波数へ順にＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５と称して説明する（図３（ｂ）参照）。
【００４９】
そして、ノイズ推定部１１４は、減算により算出した周波数スペクトルを、ノイズの周波数スペクトルとして推定する（図３（ｄ）参照）。そして、ノイズ推定部１１４は、推定したノイズを、ノイズ記憶部１６２に記憶させる。
【００５０】
以降、ノイズ推定部１１４により推定されたノイズの周波数スペクトルを、推定ノイズスペクトルＮＳと称して説明する。また、推定ノイズスペクトルＮＳの、各周波数ビンの強度を、低周波数から高周波数へ順にＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５と称して説明する(
図３（ｄ）参照）。
【００５１】
信号処理部１０１は、このようにして得られたノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）を推定ノイズとして、ノイズが含まれるフレーム（例えば、フレーム番号４４、４５、４６、４７…）の周波数スペクトルより減算することにより、ノイズが含まれるフレームの音信号の周波数スペクトルのノイズを低減（除去）することができる。
【００５２】
例えば、ノイズ低減部１１５は、ノイズが含まれるフレーム（例えば、フレーム番号４４、４５、４６、４７…）の周波数スペクトル（第１周波数領域信号）から、ノイズ推定部１１４により推定された推定ノイズスペクトルＮＳを、周波数ビン毎（周波数成分毎）にそれぞれ減算する。
【００５３】
具体的には、例えば、ノイズ低減部１１５は、フレーム番号４６における音信号の周波数スペクトルＳ４６から推定ノイズスペクトルＮＳを減算したノイズ低減後の周波数スペクトル（周波数スペクトルＳＣと称する）を、以下のような関係式に基づいて算出する。ここで、周波数スペクトルＳＣの、各周波数ビンの強度を、低周波数から高周波数へ順にＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５と称する(図３（ｅ）参照）。
【００５４】
周波数スペクトルＳＣの各周波数ビンの強度を算出する関係式は、例えば、低周波数から高周波数へ順に、Ｃ１＝Ｂ１−Ｎ１、Ｃ２＝Ｂ２−Ｎ２、Ｃ３＝Ｂ３−Ｎ３、Ｃ４＝Ｂ４−Ｎ４、Ｃ５＝Ｂ５−Ｎ５、として示される。なお、所定の減算係数を用いて推定ノイズスペクトルＮＳを減算してもよい。すなわち、上述の関係式は、例えば係数ｍを用いて、低周波数から高周波数へ順に、Ｃ１＝Ｂ１−（Ｎ１×ｍ）、Ｃ２＝Ｂ２−（Ｎ２×ｍ）、Ｃ３＝Ｂ３−（Ｎ３×ｍ）、Ｃ４＝Ｂ４−（Ｎ４×ｍ）、Ｃ５＝Ｂ５−（Ｎ５×ｍ）、としてもよい。
【００５５】
なお、ノイズ低減部１１５は、ノイズが含まれるフレームの周波数スペクトルと環境音特徴スペクトルＦＳとを周波数ビン毎に比較した結果に基づいて、周波数ビン毎に推定ノイズスペクトルＮＳを減算するか否かを選択してもよい。例えば、ノイズ低減部１１５は、ノイズが含まれるフレームの周波数スペクトルの強度（振幅）が環境音特徴スペクトルＦＳの強度より大きい周波数ビンについては、ノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを減算する処理としてもよい。一方、ノイズ低減部１１５は、ノイズが含まれるフレームの周波数スペクトルの強度が環境音特徴スペクトルＦＳの強度以下の周波数ビンについては、ノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを減算しない処理としてもよい。
【００５６】
なお、ノイズ低減部１１５が、周波数ビン毎に推定ノイズスペクトルＮＳを減算するか否かを選択する処理は、ノイズが含まれるフレームの周波数スペクトルと環境音特徴スペクトルＦＳとを周波数ビン毎に比較した結果に基づいて選択する処理に限られるものではなく、他の条件に基づいて選択する処理としてもよい。例えば、ノイズ低減部１１５は、周波数ビン毎に推定ノイズスペクトルＮＳを減算するか否かを選択する場合、ノイズが含まれるフレームの周波数スペクトルと推定ノイズスペクトルＮＳとを周波数ビン毎に比較した結果に基づいて選択してもよいし、推定ノイズスペクトルＮＳの周波数ビン毎の大きさに基づいて選択してもよいし、周波数ビン毎に予め設定された減算するか否かの条件に基づいて選択してもよい。また、ノイズ低減部１１５は、単に全ての周波数ビン毎に推定ノイズスペクトルＮＳを減算してもよい。
【００５７】
また、ノイズ低減部１１５は、周波数ビン毎に推定ノイズスペクトルＮＳを減算したか否かを示す情報をノイズ低減処理情報記憶部１６３に記憶させてもよい。なお、ノイズ低減部１１５は、推定ノイズスペクトルＮＳを減算した周波数ビンを示す情報のみをノイズ低減処理情報記憶部１６３に記憶させてもよいし、推定ノイズスペクトルＮＳを減算していない周波数ビンを示す情報のみをノイズ低減処理情報記憶部１６３に記憶させてもよい。
【００５８】
このように、信号処理部１０１は、ノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）に基づいて、音信号にスペクトル減算（Spectral Subtraction）処理することにより、音信号のノイズを低減させる。
このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。なお、信号処理部１０１（逆変換部１１６）は、逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）により、逆フーリエ変換してもよい。
【００５９】
図１の説明に戻り、信号処理部１０１が備えている各構成について引き続き説明する。以下の説明では、図２及び図３を用いて説明した環境音特徴スペクトルＦＳが、環境音特徴スペクトル推定部１１３により推定されて環境音特徴スペクトル記憶部１６１に記憶されているものとする。なお、予め設定された環境音特徴スペクトルが環境音特徴スペクトル記憶部１６１に記憶されていてもよい。また、図２及び図３を用いて説明した推定ノイズスペクトルＮＳが、ノイズ推定部１１４により推定されてノイズ記憶部１６２に記憶されているものとする。なお、予め設定された推定ノイズがノイズ記憶部１６２に記憶されていてもよい。
【００６０】
上述したように、信号処理装置１００Ａは、例えば、動作部が動作するタイミングに基づいて推定した推定ノイズスペクトルＮＳをノイズが含まれる音信号の周波数スペクトルから減算することにより、音信号に対するノイズ低減処理を行うことができる。
【００６１】
ところで、上述したようなノイズ低減処理において、推定ノイズスペクトルＮＳに少なくとも所定のノイズ（例えば、動作部が動作することにより生じるノイズ）以外の音信号の周波数スペクトルが含まれているような場合には、所定のノイズ以外の環境音の音信号も減算されてしまうことがあり、環境音の劣化が生じることがある。また、非定常的なノイズ（例えば、大きさが変化するノイズ、間欠的に発生するノイズなど）を低減するような場合、音信号に実際に混入しているノイズと推定ノイズとの間に差が生じ、ノイズの過大減算により音の劣化が発生することがある。このような場合、周波数スペクトルの強度が小さい音信号ほど劣化しやすく、例えば、環境音に含まれる白色雑音（その場面の臨場感を表すのに大切な音）のように、周波数帯域が広く且つ周波数スペクトルの強度が小さい音信号の劣化が生じやすい。
【００６２】
ここで、環境音の劣化が生じないよう推定ノイズスペクトルＮＳの減算量を小さくしてしまうと、ノイズの過小減算によりノイズの残存が発生してしまうことがある。そのため、所定のノイズを過小減算とならないように減算量を大きくすればするほど、環境音に含まれる白色雑音のような音までがより減算（低減）されてしまうことがあり、ノイズ低減処理を行ったフレーム期間のみ白色雑音のような音が途切れてしまうというような違和感のある音になる場合がある。
【００６３】
そこで、本実施形態の信号処理装置１００Ａは、ノイズ低減処理において、以下に示す補正処理を実行する。信号処理部１０１の音補正処理部１２０は、ノイズ低減処理において劣化が生じることがある環境音を補正する。例えば、音補正処理部１２０は、ノイズ低減処理において劣化が生じることがある環境音に含まれる白色雑音（その場面の臨場感を表すのに大切な音）の信号を補正する補正信号を生成し、生成した補正信号をノイズ低減処理後の音信号に加算する処理を行う。
【００６４】
次に、この音補正処理部１２０の構成の一例について詳しく説明する。音補正処理部１２０は、補正信号生成部１２１、及び加算部１２８を備えている。
【００６５】
補正信号生成部１２１は、擬似乱数信号生成部１２２、第２変換部１２３、イコライズ部１２４、及び、周波数抽出部１２５、を備えている。この補正信号生成部１２１は、擬似乱数信号と環境音特徴スペクトルＦＳ（第２周波数領域信号）とに基づいて、補正信号の周波数スペクトル（第４周波数領域信号）を生成する。
【００６６】
擬似乱数信号生成部１２２は、擬似乱数信号列を生成する。例えば、擬似乱数信号生成部１２２は、線形合同法、線形帰還シフトレジスタを用いた方法、カオス乱数を用いた方法などにより、擬似乱数信号列を生成する。なお、擬似乱数信号生成部１２２は、上述した方法以外の方法を用いて擬似乱数信号列を生成してもよい。
【００６７】
第２変換部１２３は、擬似乱数信号生成部１２２により生成された擬似乱数信号列を周波数領域信号に変換する。例えば、第２変換部１２３は、擬似乱数信号列をフレームに分割し、分割した各フレームの擬似乱数信号をフーリエ変換し、各フレームにおける擬似乱数信号の周波数スペクトルを生成する。
【００６８】
また、第２変換部１２３は、各フレームの擬似乱数信号を周波数スペクトルに変換する場合、各フレームの擬似乱数信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、第２変換部１２３は、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により、フーリエ変換してもよい。なお、第２変換部１２３は第１変換部１１１と共通の構成としてもよい。
【００６９】
なお、第２変換部１２３は、擬似乱数信号の周波数スペクトルを生成する際に、擬似乱数信号の周波数成分の振幅情報（符号ＳＧ３）及び位相情報（符号ＳＧ４）を得る。
【００７０】
イコライズ部１２４は、擬似乱数信号の周波数スペクトルと環境音特徴スペクトルＦＳとに基づいて、補正信号の周波数スペクトル（第４周波数領域信号）を生成する。例えば、イコライズ部１２４は、擬似乱数信号の周波数スペクトルを、環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトルを生成する。
【００７１】
具体的には、イコライズ部１２４は、例えば、擬似乱数信号の周波数スペクトルと環境音特徴スペクトルＦＳとを周波数ビン毎に乗算し、全周波数ビンの周波数スペクトルの和（全周波数成分の振幅の和、或いは全周波数成分の強度の和）が、環境音特徴スペクトルＦＳの和（全周波数ビンのスペクトルの和）と、略等しくなるように規格化（正規化、平均化）することにより、補正信号を生成する。
例えば、イコライズ部１２４は、次に示す数式１により補正信号を算出してもよい。
【００７２】
【数１】
2014017371.tif 000003
【００７３】
周波数抽出部１２５は、加算部１２８において加算する周波数ビンを選択し、イコライズ部１２４が生成した補正信号の周波数スペクトルのうち、選択した周波数ビンの周波数スペクトルを抽出する。例えば、周波数抽出部１２５は、ノイズ低減部１１５が推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報に基づいて、加算部１２８において加算する周波数ビンを選択する。すなわち、周波数抽出部１２５は、ノイズ低減部１１５が推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報に基づいて、加算部１２８において加算する周波数ビンの補正信号の周波数スペクトルを抽出する。
なお、周波数抽出部１２５は、ノイズ低減処理情報記憶部１６３を参照して、推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報を取得してもよい。
【００７４】
また、例えば、周波数抽出部１２５は、推定ノイズスペクトルＮＳを減算した周波数ビンについて、補正信号の周波数スペクトルを加算対象として抽出し、推定ノイズスペクトルＮＳを減算しなかった周波数ビンについて、補正信号の周波数スペクトルを加算対象として抽出しない。
【００７５】
なお、周波数抽出部１２５は、推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報に基づいて、加算対象とする周波数ビンの補正信号の周波数スペクトルに対して係数「１」を乗算してもよいし、加算対象としない周波数ビンの補正信号の周波数スペクトルに対して係数「０」を乗算してもよい。なお、加算対象とする周波数ビンの補正信号の周波数スペクトルに対して乗算する係数は「１」以外であってもよい。一方、加算対象としない周波数ビンの補正信号の周波数スペクトルに対して乗算する係数は「０」以外であってもよい。例えば、加算対象とする場合の係数が加算対象としない場合の係数よりも大きければ、加算対象とする場合の係数が「１」より大きい係数または小さい係数であってもよいし、加算対象としない場合の係数が「０」より大きい係数であってもよい。
【００７６】
加算部１２８は、ノイズ低減部１１５が推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトル（第３周波数領域信号）に、イコライズ部１２４が生成した補正信号の周波数スペクトル（第４周波数領域信号）を加算する。
【００７７】
例えば、加算部１２８は、周波数抽出部１２５が加算対象とした周波数ビンの補正信号の周波数スペクトルを加算する。つまり、加算部１２８は、ノイズ低減部１１５が音信号の周波数スペクトル（第１周波数領域信号）から推定ノイズスペクトルＮＳを周波数ビン毎に減算する際に減算しなかった周波数ビンにおいて、推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトル（第３周波数領域信号）に補正信号の周波数スペクトル（第４周波数領域信号）を加算する。」
【００７８】
一方、加算部１２８は、ノイズ低減部１１５が音信号の周波数スペクトル（第１周波数領域信号）から推定ノイズスペクトルＮＳを周波数ビン毎に減算する際に減算しなかった周波数ビンにおいて、推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトル（第３周波数領域信号）に加算する補正信号の周波数スペクトル（第４周波数領域信号）の加算量を低減する（例えば加算量を「０」にする、すなわち加算しない）。
【００７９】
なお、加算部１２８は、ノイズ低減部１１５が音信号の周波数スペクトル（第１周波数領域信号）から推定ノイズスペクトルＮＳを周波数ビン毎に減算する際に減算量が少なかった周波数ビンにおいて、推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトル（第３周波数領域信号）に加算する補正信号の周波数スペクトル（第４周波数領域信号）の加算量を低減してもよい。
【００８０】
例えば、加算部１２８は、ノイズ低減部１１５における周波数ビン毎の減算量に応じて、補正信号の周波数スペクトル（第４周波数領域信号）の加算量を周波数ビン毎に異ならせてもよい。つまり、加算部１２８は、ノイズ低減部１１５における周波数ビン毎の減算量が大きい場合には、その周波数ビンの補正信号の周波数スペクトルの加算量を大きくしてもよいし、ノイズ低減部１１５における周波数ビン毎の減算量が小さい場合には、その周波数ビンの補正信号の周波数スペクトルの加算量を小さくしてもよい。
【００８１】
図４は、第１実施形態におけるノイズ低減処理の一例を説明する図である。次に、図４を参照して、上述した補正信号を加算する補正処理を含むノイズ低減処理の一例について説明する。この図４に示す周波数スペクトルは、１２個の周波数ビンを備えているものとする。また、図２及び図３の各部に対応する構成には同じ符号を付けている。
【００８２】
図４（ａ）に示す周波数スペクトルＳＢは、第１変換部１１１により変換された音信号の周波数スペクトルであり、所定のノイズが含まれている期間のフレーム番号４６における周波数スペクトルＳ４６である。この図に示す周波数スペクトルＳＢの各周波数ビンの強度を、低周波数から高周波数へ順にＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８、Ｂ９、Ｂ１０、Ｂ１１、Ｂ１２と称する。
【００８３】
図４（ｂ）に示す周波数スペクトルは、環境音特徴スペクトルＦＳであって、所定のノイズが含まれていない期間のフレーム番号４３における周波数スペクトルＳ４３である。この図に示す環境音特徴スペクトルＦＳの各周波数ビンの強度を、低周波数から高周波数へ順にＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、Ｆ７、Ｆ８、Ｆ９、Ｆ１０、Ｆ１１、Ｆ１２と称する。
【００８４】
図４（ｃ）に示す周波数スペクトルは、擬似乱数信号生成部１２２により生成された擬似乱数信号列を第２変換部１２３が変換した擬似乱数信号の周波数スペクトルＲＮである。この図に示す擬似乱数信号の周波数スペクトルＲＮの各周波数ビンの強度を、低周波数から高周波数へ順にＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、Ｒ９、Ｒ１０、Ｒ１１、Ｒ１２と称する。
【００８５】
イコライズ部１２４は、擬似乱数信号の周波数スペクトルＲＮを、環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトル（以下、補正信号の周波数スペクトルＳＥと称する）を生成する。このイコライズ部１２４が生成した補正信号の周波数スペクトルＳＥの一例を、図４（ｅ）に示している。この図に示す補正信号の周波数スペクトルＳＥの各周波数ビンの強度を、低周波数から高周波数へ順にＥ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｅ６、Ｅ７、Ｅ８、Ｅ９、Ｅ１０、Ｅ１１、Ｅ１２と称する。
【００８６】
イコライズ部１２４は、擬似乱数信号の周波数スペクトルＲＮを、環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトルＳＥの周波数ビン毎の強度を算出する。なお、イコライズ部１２４は、例えば、前述した数式１に示す関係式を用いて、補正信号の周波数スペクトルＳＥの各周波数ビンの強度を算出する。なお、数式１に示す「ＦＳ（ｋ）」が、図４（ａ）に示す環境音特徴スペクトルＦＳの各周波数ビンの強度Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、Ｆ７、Ｆ８、Ｆ９、Ｆ１０、Ｆ１１、Ｆ１２に対応する。また、数式１に示す「ＲＮ＿ａｍｐ（ｋ）」が、図４（ｃ）に示す擬似乱数信号の周波数スペクトルＲＮの各周波数ビンの強度Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、Ｒ９、Ｒ１０、Ｒ１１、Ｒ１２に対応する。また、数式１に示す「ＳＥ＿ａｍｐ（ｋ）」が、図４（ｅ）に示す補正信号の周波数スペクトルＳＥの各周波数ビンの強度Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｅ６、Ｅ７、Ｅ８、Ｅ９、Ｅ１０、Ｅ１１、Ｅ１２に対応する。
【００８７】
一方、図４（ｄ）に示す周波数スペクトルは、ノイズ低減部１１５が図４（ａ）に示す音信号の周波数スペクトルＳＢから推定ノイズスペクトルＮＳを減算する処理が実行された後の音信号の周波数スペクトルＳＣである。この図に示す周波数スペクトルＳＣの各周波数ビンの強度を、低周波数から高周波数へ順にＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９、Ｃ１０、Ｃ１１、Ｃ１２と称する。
【００８８】
ノイズ低減部１１５は、図４（ａ）に示す周波数スペクトルＳＢから推定ノイズスペクトルＮＳを減算することにより、周波数スペクトルＳＣを生成する。ここで、ノイズ低減部１１５は、周波数ビン毎に周波数スペクトルＳＢと環境音特徴スペクトルＦＳとを比較し、周波数スペクトルＳＢの強度が環境音特徴スペクトルＦＳの強度より大きい周波数ビンについては、推定ノイズスペクトルＮＳを減算しない処理とする。すなわち、ノイズ低減部１１５は、周波数スペクトルＳＢの強度が環境音特徴スペクトルＦＳの強度以下の周波数ビン（図４では、周波数ビン番号７、８、９，１０、１１）についてのみ、推定ノイズスペクトルＮＳを減算する処理とする。
【００８９】
例えば、推定ノイズスペクトルＮＳの各周波数ビンの強度を、低周波数から高周波数へ順にＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、Ｎ６、Ｎ７、Ｎ８、Ｎ９、Ｎ１０、Ｎ１１、Ｎ１２、とした場合、ノイズ低減部１１５は、推定ノイズスペクトルＮＳの周波数ビン番号７、８、９，１０、１１のそれぞれについて、各周波数ビンの強度Ｎ７、Ｎ８、Ｎ９、Ｎ１０、Ｎ１１それぞれを減算する。
【００９０】
すなわち、ノイズ低減部１１５が周波数スペクトルＳＣの各周波数ビンの強度を算出する関係式は、例えば上述の例では、低周波数から高周波数へ順に、Ｃ１＝Ｂ１、Ｃ２＝Ｂ２、Ｃ３＝Ｂ３、Ｃ４＝Ｂ４、Ｃ５＝Ｂ５、Ｃ６＝Ｂ６、Ｃ７＝Ｂ７−Ｎ７、Ｃ８＝Ｂ８−Ｎ８、Ｃ９＝Ｂ９−Ｎ９、Ｃ１０＝Ｂ１０−Ｎ１０、Ｃ１１＝Ｂ１１−Ｎ１１、Ｃ１２＝Ｂ１２、として示される。
【００９１】
図４（ｆ）に示す周波数スペクトルは、図４（ｅ）に示す補正信号の周波数スペクトルＳＥのうち、周波数抽出部１２５が、加算部１２８において加算対象して抽出した周波数ビンの周波数スペクトルＳＤである。この図４（ｆ）の例では、周波数抽出部１２５は、ノイズ低減部１１５が減算した周波数ビン（周波数ビン番号７、８、９，１０、１１）のみを加算対象とする。この図に示す加算対象とする補正信号の周波数スペクトルＳＤの各周波数ビンの強度を、周波数ビン番号７、８、９，１０、１１の順にＤ７、Ｄ８、Ｄ９、Ｄ１０、Ｄ１１と称する。
【００９２】
加算部１２８は、図４（ｄ）に示す周波数スペクトルＳＣに、図４（ｆ）に示す周波数スペクトルＳＤを加算する。すなわち、加算部１２８は、ノイズ低減部１１５が図４（ａ）に示す音信号の周波数スペクトルＳＢから推定ノイズスペクトルＮＳを減算した周波数スペクトルＳＣに対して、減算処理により劣化した音信号を補正するための補正信号としての周波数スペクトルＳＤを加算する。そして、信号処理部１０１は、周波数スペクトルＳＣに対して周波数スペクトルＳＤを加算するとともに、逆変換部１１６において逆フーリエ変換することにより、ノイズ低減処理後の時間領域の音信号を生成する。
【００９３】
このように、信号処理装置１００Ａは、音信号の周波数スペクトルに対して、推定ノイズスペクトルＮＳを減算するとともに、擬似乱数信号の周波数スペクトルＲＮを環境音特徴スペクトルＦＳを用いてイコライズして生成した補正信号の周波数スペクトルＳＥ（周波数スペクトルＳＤ）を加算する。
【００９４】
これにより、信号処理装置１００Ａは、音信号から所定のノイズを減算した際に、所定のノイズ以外の音信号までもが低減されてしまう場合であっても、その所定のノイズ以外の音の代わりとなる音信号を生成して加算することができる。例えば、信号処理装置１００Ａは、音信号から所定のノイズを減算した際に、所定のノイズ以外の環境音に含まれる白色雑音のような音信号までもが低減されてしまう場合であっても、その白色雑音のような音信号の代わりになる音信号を擬似乱数信号から生成して加算することができる。
【００９５】
よって、信号処理装置１００Ａは、所定のノイズ以外の音信号までもが低減されてしまうことにより（ノイズの過大減算となることにより）生じる音の劣化を抑制することができる。また、信号処理装置１００Ａは、所定のノイズ以外の音信号までもが低減されてしまうことを懸念してノイズの過小減算となることを抑制するため、ノイズの残存が発生することを抑制することができる。
つまり、信号処理装置１００Ａは、音信号に含まれているノイズを適切に低減することができる。
【００９６】
また、信号処理装置１００Ａは、音信号の周波数スペクトルのうち、推定ノイズスペクトルＮＳを減算した周波数ビンの周波数スペクトルにのみ、生成した補正信号の周波数スペクトルＳＥのうちの当該減算した周波数ビンに対応する周波数スペクトルＳＤを加算する。これにより、信号処理装置１００Ａは、音信号から所定のノイズを減算した周波数ビン（周波数成分）のみに、補正信号（所定のノイズ以外の音信号の代わりとなる音信号）を生成して加算することができる。よって、信号処理装置１００Ａは、補正が不要な周波数ビンについては補正信号を加算することなく、補正が必要な周波数ビンについてのみ適切に補正信号を加算することができる。
【００９７】
以下、図１から図４を参照し、上述した第１実施形態における異なる実施例について説明する。
（環境音特徴スペクトルの推定方法）
上述の図２及び図３を用いた説明においては、環境音特徴スペクトル推定部１１３が、フレーム番号４３における音信号の周波数スペクトルを環境音特徴スペクトルＦＳとして推定するものとして説明した。しかし、環境音特徴スペクトル推定部１１３による環境音特徴スペクトルの推定方法は、これに限られるものではない。
【００９８】
例えば、環境音特徴スペクトル推定部１１３は、動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号の周波数スペクトルそれぞれを周波数ビン毎に平均した周波数スペクトルを、環境音特徴スペクトルＦＳとして推定してもよい。
【００９９】
また、環境音特徴スペクトル推定部１１３は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、環境音特徴処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。
【０１００】
また、環境音特徴スペクトル推定部１１３は、動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号の周波数スペクトルの周波数ビン毎のそれぞれの最大値または最小値となる周波数スペクトルを、環境音特徴スペクトルＦＳとして推定してもよい。
【０１０１】
また、環境音特徴スペクトル推定部１１３は、動作部が動作するタイミングに基づいて、動作部が動作したタイミングの後のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルＦＳとして推定してもよい。また、環境音特徴スペクトル推定部１１３は、動作部が動作したタイミングの後の複数フレームにおける音信号の周波数スペクトルに基づいて、環境音特徴スペクトルＦＳを推定してもよい。
なお、環境音特徴スペクトル推定部１１３は、環境音特徴スペクトルＦＳを推定する場合、少なくとも、直前に動作部が動作したタイミングよりも後のフレームに基づいて、環境音特徴スペクトルＦＳを推定することが望ましい。これは、環境音特徴スペクトルＦＳとしては、動作部が動作していないフレームにおける音信号に対しての周波数スペクトルが望ましいからである。また、環境音特徴スペクトルＦＳを生成する音信号のフレームが、環境音特徴処理する対象となる音信号よりも、時間的に遠くなるに従い、この音信号に対しての環境音特徴スペクトルＦＳとしての適切さも低減するからである。
【０１０２】
また、環境音特徴スペクトル記憶部１６１に予め環境音特徴スペクトルＦＳが記憶されていてもよい。例えば、環境音特徴スペクトル記憶部１６１には、収音する装置（例えば撮像装置）が収音（撮影）する場合の周囲の音の状況を示す環境情報、または、撮影モードを示す撮影モード情報と関連付けられて、それぞれの場合に応じた環境音特徴スペクトルＦＳが予め記憶されていてもよい。そして、信号処理部１０１は、ユーザにより選択された環境情報または撮影モード情報に関連付けられている環境音特徴スペクトルＦＳを環境音特徴スペクトル記憶部１６１から読み出し、当該読み出した環境音特徴スペクトルＦＳに基づいて、上述の図２、図３、または図４の説明において説明したノイズ低減処理を実行してもよい。
【０１０３】
また、ノイズ低減処理を行う信号を揮発性メモリ（不図示）などに記憶させた場合には、発生していたノイズが消失した後の情報に基づいて、環境音特徴スペクトルＦＳを算出することも可能となる。
【０１０４】
（図２のフレーム番号４７以降に対しての処理について）
上述の図２から図４を用いた説明においては、信号処理部１０１が、フレーム番号４６の音信号に対して、ノイズ低減処理する場合について説明した。この信号処理部１０１は、フレーム番号４６の音信号の場合と同様に、フレーム番号４６よりも後の音信号であるフレーム番号４７以降の音信号に対しても、ノイズ低減処理することができる。
【０１０５】
（ノイズの推定について）
また、上述の図２から図４を用いた説明においては、ノイズ推定部１１４が、フレーム番号４６における音信号の周波数スペクトルＳ４６（図３（ｂ）参照）から、フレーム番号４３における音信号の周波数スペクトル（すなわち環境音特徴スペクトルＦＳ）（図３（ａ）参照）を、周波数ビン毎に減算して、ノイズの周波数スペクトルを推定するものとして説明した。しかし、ノイズ推定部１１４が、ノイズの周波数スペクトルを推定する方法は、これに限られるものではない。
【０１０６】
まず、ノイズ推定部１１４は、フレーム番号４３における音信号の周波数スペクトルである環境音特徴スペクトルＦＳに代えて、上記に説明した環境音特徴スペクトル推定部１１３が環境音特徴スペクトルＦＳを推定する場合の任意の方法により推定された環境音特徴スペクトルＦＳを用いることができる。
【０１０７】
また、ノイズ推定部１１４は、フレーム番号４６における音信号の周波数スペクトルＳ４６に代えて、タイミング検出部９１により検出された動作部が動作するタイミングに基づいて、動作部が動作しているタイミングにおける複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。例えば、ノイズ推定部１１４は、フレーム番号４６における音信号の周波数スペクトルＳ４６に代えて、フレーム４６、４７という複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。
【０１０８】
また、ノイズ推定部１１４は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、環境音特徴処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。また、ノイズ推定部１１４は、周波数スペクトルＳ４６に代えて、動作部が動作しているタイミングにおける複数のフレームの周波数スペクトルの周波数ビン毎の最大値または最小値となる周波数スペクトルを用いてもよい。なお、環境音特徴スペクトルＦＳの場合と同様に、ノイズの周波数スペクトルが、ノイズ記憶部１６２に予め記憶されていてもよい。
【０１０９】
（擬似乱数信号のイコライズについて）
また、上述の図４の説明においては、イコライズ部１２４が、擬似乱数信号の周波数スペクトルＲＮを、フレーム番号４３における音信号の周波数スペクトル（すなわち環境音特徴スペクトルＦＳ）を用いてイコライズするものとして説明した。しかし、イコライズ部１２４が擬似乱数信号の周波数スペクトルＲＮをイコライズする方法は、これに限られるものではない。
【０１１０】
例えば、イコライズ部１２４は、フレーム番号４３における音信号の周波数スペクトルである環境音特徴スペクトルＦＳに代えて、上記に説明した環境音特徴スペクトル推定部１１３が環境音特徴スペクトルＦＳを推定する場合の任意の方法により推定された環境音特徴スペクトルＦＳを用いることができる。
【０１１１】
すなわち、イコライズ部１２４は、動作部が動作するタイミングの前の複数のフレームの周波数スペクトルの周波数ビン毎の平均値、最大値、または最小値とした環境音特徴スペクトルＦＳを用いて、擬似乱数信号の周波数スペクトルＲＮをイコライズしてもよい。また、イコライズ部１２４は、動作部が動作したタイミングの後のフレームの周波数スペクトルに基づいて推定した環境音特徴スペクトルＦＳを用いて、擬似乱数信号の周波数スペクトルＲＮをイコライズしてもよい。例えば、イコライズ部１２４は、動作部が動作したタイミングの後の複数のフレームの周波数スペクトルの周波数ビン毎の平均値、最大値、または最小値とした環境音特徴スペクトルＦＳを用いて、擬似乱数信号の周波数スペクトルＲＮをイコライズしてもよい。また、イコライズ部１２４は、擬似乱数信号の周波数スペクトルＲＮを、予め定められた環境音特徴スペクトルＦＳを用いてイコライズしてもよい。
【０１１２】
（ノイズ低減処理の動作）
次に、図５を参照して、第１実施形態におけるノイズ低減処理の動作について説明する。図５は、第１実施形態におけるノイズ低減処理の一例を示すフローチャートである。
【０１１３】
まず、信号処理部１０１は、記憶媒体から音信号を読み出す。読み出した音信号は、信号処理部１０１の第１変換部１１１に入力される（ステップＳ１１）。
【０１１４】
次に、第１変換部１１１は、入力された音信号を周波数領域信号に変換する。例えば、第１変換部１１１は、入力された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する（ステップＳ１２）。
【０１１５】
次に、判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを判定する。すなわち、判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれる期間のフレームであるか否か（所定のノイズが混入しているか否か）を判定する（ステップＳ１３）。
【０１１６】
環境音特徴スペクトル推定部１１３は、入力された音信号の各フレームのうち、所定のノイズが含まれない期間のフレームであると判定された（ステップＳ１３：ＮＯ）フレームの音信号の周波数スペクトルに基づいて、環境音特徴スペクトルＦＳ（環境音の周波数スペクトル、図４（ｂ）参照）を推定する（ステップＳ１４）。
【０１１７】
一方、ノイズ推定部１１４は、入力された音信号の各フレームのうち、所定のノイズが含まれる期間のフレームであると判定された（ステップＳ１３：ＹＥＳ）フレームの音信号の周波数スペクトルＳＢ（図４（ａ）参照）と、環境音特徴スペクトルＦＳとに基づいて、ノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）を推定する。例えば、ノイズ推定部１１４は、所定のノイズが含まれる期間のフレームの音信号の周波数スペクトルＳＢから環境音特徴スペクトルＦＳを周波数ビン毎に減算することにより、推定ノイズスペクトルＮＳを生成する（ステップＳ１５）。
【０１１８】
続いて、ノイズ低減部１１５は、周波数スペクトルＳＢから、ノイズ推定部１１４により推定された推定ノイズスペクトルＮＳを、周波数ビン毎（周波数成分毎）に減算する（ステップＳ１６）。例えば、ノイズ低減部１１５は、周波数ビン毎に周波数スペクトルＳＢと環境音特徴スペクトルＦＳとを比較し、周波数スペクトルＳＢの強度が環境音特徴スペクトルＦＳの強度以下の周波数ビンについてのみ、推定ノイズスペクトルＮＳを減算する（図４（ｄ）参照）。
【０１１９】
一方、擬似乱数信号生成部１２２は、擬似乱数信号列を生成する（ステップＳ２１）。次に、第２変換部１２３は、擬似乱数信号生成部１２２により生成された擬似乱数信号列を周波数領域信号に変換する。例えば、第１変換部１１１は、擬似乱数信号列をフレームに分割し、分割した各フレームの擬似乱数信号をフーリエ変換し、各フレームにおける擬似乱数信号の周波数スペクトルＲＮ（図４（ｃ）参照）を生成する（ステップＳ２２）。
【０１２０】
次に、イコライズ部１２４は、擬似乱数信号の周波数スペクトルＲＮを、環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトルＳＥ（図４（ｅ）参照）を生成する(ステップＳ２３)。
【０１２１】
また、周波数抽出部１２５は、補正信号の周波数スペクトルＳＥのうち、加算部１２８において加算対象とする周波数ビンの周波数スペクトルＳＤを抽出する。すなわち、周波数抽出部１２５は、補正信号の周波数スペクトルＳＥから、加算対象の周波数ビンの補正信号の周波数スペクトルＳＤを抽出する（ステップＳ２４）。例えば、周波数抽出部１２５は、ステップＳ１６においてノイズ低減部１１５が推定ノイズスペクトルＮＳを減算した周波数ビンを加算対象の周波数ビンとして選択し、選択した周波数ビンの周波数スペクトルＳＤを抽出する。
【０１２２】
そして、加算部１２８は、ステップＳ１６において周波数スペクトルＳＢから推定ノイズスペクトルＮＳが減算された周波数スペクトルＳＣ（図４（ｄ）参照）に、ステップＳ２４において抽出した補正信号の周波数スペクトルＳＤを加算する（ステップＳ２５）。
【０１２３】
続いて、逆変換部１１６は、周波数スペクトルＳＣに周波数スペクトルＳＤを加算した周波数スペクトルを逆フーリエ変換することにより、ノイズ低減処理後の時間領域の音信号を生成する（ステップＳ２６）。そして、信号処理部１０１は、ノイズ低減処理後の時間領域の音信号を出力する（ステップＳ２７）。
【０１２４】
＜収音機能を有する撮像装置の構成例＞
次に、上述した記憶媒体に記憶されている音信号の音を収音した撮像装置の構成の一例について説明する。以下に説明する撮像装置の構成は、収音するためのマイクを備えているとともに、上述した動作部を備え、動作部が動作するタイミングを示す情報を収音して録音した音信号に対応付けて記憶媒体に記憶させるものである。
【０１２５】
図６は、収音機能を有する撮像装置４００の構成の一例を示す概略ブロック図である。この図６の撮像装置４００は、撮像部１０と、ＣＰＵ（Central processing unit）９０
と、操作部８０と、画像処理部４０と、表示部５０と、記憶部６０と、バッファメモリ部３０と、通信部７０と、マイク２１と、Ａ／Ｄ（Analog/Digital）変換部２２と、音信号処理部２３と、バス３００と、を備えている。
【０１２６】
撮像部１０は、光学系１１と、撮像素子１９と、Ａ/Ｄ変換部２０とを含み、設定され
た撮像条件（例えば絞り値、露出値など）に従ってＣＰＵ９０により制御され、光学系１１による光学像を撮像素子１９に結像させて、Ａ/Ｄ変換部２０によってデジタル信号に
変換された当該光学像に基づく画像データを生成する。
【０１２７】
光学系１１は、ズームレンズ１４と、ＶＲレンズ１３と、ＡＦレンズ１２と、ズームエンコーダ１５と、レンズ駆動部１６と、ＡＦエンコーダ１７と、防振制御部１８と、を備える。
【０１２８】
この光学系１１は、ズームレンズ１４、ＶＲレンズ１３、及び、ＡＦレンズ１２を通過した光学像を撮像素子１９の受光面に導く。
【０１２９】
レンズ駆動部１６は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ズームレンズ１４またはＡＦレンズ１２の位置を制御する。
【０１３０】
防振制御部１８は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ＶＲレンズ１３の位置を制御する。この防振制御部１８は、ＶＲレンズ１３の位置を検出していてもよい。
【０１３１】
ズームエンコーダ１５は、ズームレンズ１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ９０に出力する。
【０１３２】
ＡＦエンコーダ１７は、ＡＦレンズ１２の位置を表わすフォーカスポジションを検出し、検出したフォーカスポジションをＣＰＵ９０に出力する。
【０１３３】
なお、上述した光学系１１は、撮像装置４００に取り付けられて一体とされていてもよいし、撮像装置４００に着脱可能に取り付けられてもよい。
【０１３４】
撮像素子１９は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換
部２０に出力する。
【０１３５】
また、撮像素子１９は、操作部８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部２０や画像処理部４０
を介して、記憶媒体２００に記憶させる。
【０１３６】
一方、撮像素子１９は、例えば、操作部８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、ＣＰＵ９０及び表示部５０に出力する。
【０１３７】
Ａ/Ｄ変換部２０は、撮像素子１９によって変換された電子信号をアナログ／デジタル
変換し、この変換したデジタル信号である画像データを出力する。
【０１３８】
操作部８０は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ９０に出力する。
【０１３９】
画像処理部４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部３０、または、記憶媒体２００に記録されている画像データに対して画像処理をする。
【０１４０】
表示部５０は、例えば液晶ディスプレイであって、撮像部１０によって得られた画像データや、操作画面などを表示する。
【０１４１】
記憶部６０は、ＣＰＵ９０によってシーン判定の際に参照される判定条件や、撮像条件などを記憶する。
【０１４２】
マイク２１は、音を収音し、収音した音に応じた音信号に変換する。この音信号は、アナログ信号である。
【０１４３】
Ａ／Ｄ変換部２２は、マイク２１によって変換されたアナログ信号である音信号を、デジタル信号である音信号に変換する。
【０１４４】
音信号処理部２３は、Ａ／Ｄ変換部２２が変換したデジタル信号である音信号に対して、記憶媒体２００に記憶させるための信号処理を実行する。また、音信号処理部２３は、動作部が動作するタイミングを示す情報を、音信号に対応付けて記憶媒体２００に記憶させる。この動作部が動作するタイミングを示す情報は、例えば、後述するタイミング検出部９１が検出した情報である。
なお、音信号処理部２３が記憶媒体２００に記憶させる音信号は、例えば、動画に関連づけて記憶される音の音信号、記憶媒体２００に記憶されている静止画像に対して音声を付加するために録音された音の音信号、ボイスレコーダとして録音された音の音信号、などである。
【０１４５】
バッファメモリ部３０は、撮像部１０によって撮像された画像データや、音信号処理部２３により信号処理された音信号や情報などを、一時的に記憶する。
【０１４６】
通信部７０は、カードメモリなどの取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。
【０１４７】
記憶媒体２００は、撮像装置４００に対して着脱可能に接続される記憶部であって、例えば、撮像部１０によって生成された（撮影された）画像データや、音信号処理部２３により信号処理された音信号や情報を記憶する。
【０１４８】
ＣＰＵ９０は、撮像装置４００の全体を制御するが、一例としては、ズームエンコーダ１５から入力されるズームポジション、及び、ＡＦエンコーダ１７から入力されるフォーカスポジションと、操作部８０から入力される操作入力に基づいて、ズームレンズ１４及びＡＦレンズ１２の位置を制御する駆動制御信号を生成する。ＣＰＵ９０は、この駆動制御信号に基づいて、レンズ駆動部１６を介してズームレンズ１４及びＡＦレンズ１２の位置を制御する。
【０１４９】
また、このＣＰＵ９０は、タイミング検出部９１を備えている。このタイミング検出部９１は、撮像装置４００が備えている動作部が動作するタイミングを検出する。
【０１５０】
ここでいう動作部とは、一例としては、上述したズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２、または、操作部８０のことであり、撮像装置４００が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。
【０１５１】
また、この動作部とは、撮像装置４００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２１により収音される（または、収音される可能性のある）構成である。
【０１５２】
このタイミング検出部９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部の動作を制御する制御信号、または、この動作部（例えば、ズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２など）を駆動する駆動部（例えば、レンズ駆動部１６、防振制御部１８）を制御する駆動制御信号である。
【０１５３】
例えば、タイミング検出部９１は、ズームレンズ１４、ＶＲレンズ１３、または、ＡＦレンズ１２を駆動させるためにレンズ駆動部１６または防振制御部１８に入力される駆動制御信号に基づいて、または、ＣＰＵ９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、ＣＰＵ９０が駆動制御信号を生成する場合に、タイミング検出部９１は、ＣＰＵ９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部９１は、操作部８０から入力されるズームレンズ１４、または、ＡＦレンズ１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【０１５４】
また、このタイミング検出部９１は、動作部が動作したことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【０１５５】
例えば、タイミング検出部９１は、ズームエンコーダ１５またはＡＦエンコーダ１７の出力に基づいて、ズームレンズ１４またはＡＦレンズ１２が動作したことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部９１は、防振制御部１８からの出力に基づいて、ＶＲレンズ１３が動作したことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部９１は、操作部８０からの入力に基づいて、操作部８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【０１５６】
そして、タイミング検出部９１は、撮像装置４００が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、音信号処理部２３に出力する。
【０１５７】
バス３００は、撮像部１０と、ＣＰＵ９０と、操作部８０と、画像処理部４０と、表示部５０と、記憶部１６０と、バッファメモリ部３０と、通信部７０と、音信号処理部２３とに接続され、各部から出力されたデータや制御信号などを転送する。
【０１５８】
［第２実施形態］
次に、第２実施形態に係る信号処理装置１００Ｂを説明する。
第１実施形態では、生成した擬似乱数信号の周波数スペクトルを環境音特徴スペクトルを用いてイコライズすることにより補正信号の周波数スペクトルを生成する方法について説明したが、この第２実施形態では擬似乱数信号を生成することなく補正信号の周波数スペクトルを生成する方法を説明する。
【０１５９】
第１実施形態において、擬似乱数信号列を周波数領域信号に変換して生成された周波数スペクトルＳＥの位相（図１のＳＧ４参照）は、音信号の周波数スペクトルＳＣの位相（図１のＳＧ２参照）とは異なる位相である。つまり、信号処理装置１００Ｂは、白色雑音のような音の音信号を補正するための補正信号の周波数スペクトルとして、音信号の周波数スペクトルＳＣの位相とは異なる位相であって、かつ環境音特徴スペクトルＦＳによりイコライズされた強度（振幅）である周波数スペクトルを生成する。そのため、信号処理装置１００Ｂは、擬似乱数信号列を用いずに、環境音特徴スペクトルＦＳの位相を異なる位相に変更することにより補正信号の周波数スペクトルを生成してもよい。
【０１６０】
図７は、第２実施形態に係る信号処理装置１００Ｂの構成の一例を示す概略ブロック図である。この図７に示す信号処理装置１００Ｂの構成は、補正信号生成部１２１の構成が図１に示す構成と異なる。なお、この図７において図１の各部に対応する構成には同じ符号をつけておりその説明を省略する。
【０１６１】
補正信号生成部１２１は、周波数抽出部１２５と、位相変更部１２６とを備えている。位相変更部１２６は、入力された位相（位相情報）を、その入力された位相と異なる位相に変更し、変更した位相（位相情報）を出力する。例えば、位相変更部１２６は、第１変換部１１１が変換した周波数スペクトルの位相情報（符号ＳＧ２）に基づいて、位相情報（符号ＳＧ２）が示す位相とは異なる位相の位相情報（符号ＳＧ５）を出力する。
【０１６２】
周波数抽出部１２５は、環境音特徴スペクトル推定部１１３により推定された環境音特徴スペクトルＦＳから加算対象となる周波数ビンの周波数スペクトルを抽出する。すなわち、周波数抽出部１２５は、環境音特徴スペクトルＦＳから加算対象となる補正信号の周波数スペクトルを抽出する。
【０１６３】
加算部１２８は、周波数抽出部１２５が抽出した周波数スペクトルを、ノイズ低減部１１５が推定ノイズＮＳを減算した後の音信号の周波数スペクトルＦＣに加算する。すなわち、加算部１２８は、音信号の周波数スペクトルＳＣの位相とは異なる位相に変更した環境音特徴スペクトルＦＳを周波数スペクトルＦＣに加算する。
そして、逆変換部１１６は、互いに異なる位相の音信号の周波数スペクトルＳＣと環境音特徴スペクトルＦＳとを加算した周波数スペクトルを逆フーリエ変換して出力する。
【０１６４】
このように、補正信号生成部１２１は、環境音特徴スペクトルＦＳの位相を異なる位相に変更することにより、補正信号のスペクトルＳＥを生成する。すなわち、補正信号生成部１２１は、所定のノイズが含まれる音信号の周波数スペクトルＳＢから推定ノイズスペクトルＮＳを減算した後の周波数スペクトルＦＣを補正する周波数スペクトル（補正信号の周波数スペクトル）として、周波数スペクトルＳＢに対して少なくとも位相が異なる周波数スペクトルを生成する。
【０１６５】
これにより、信号処理装置１００Ｂは、音信号から所定のノイズを減算した際に、所定のノイズ以外の環境音に含まれる白色雑音のような音信号までもが低減されてしまう場合であっても、入力された音信号の周波数スペクトルに対して少なくとも位相が異なる周波数スペクトルを、その白色雑音のような音信号の代わりになる音信号の周波数スペクトル（補正信号の周波数スペクトル）として生成して加算することができる。すなわち、信号処理装置１００Ｂは、音信号から所定のノイズを減算した際に、所定のノイズ以外の音信号までもが低減されてしまう場合であっても、その所定のノイズ以外の音信号の代わりとなる音信号を生成して加算することができる。よって、信号処理装置１００Ｂは、音信号に含まれているノイズを適切に低減することができる。
【０１６６】
［第３実施形態］
次に、第３実施形態に係る信号処理装置１００Ｃを説明する。
この第３実施形態は、第２実施形態で説明した、入力された音信号の周波数スペクトルに対して少なくとも位相が異なる周波数スペクトルを補正信号の周波数スペクトルとして生成する構成の別の形態である。
【０１６７】
第２実施形態では、環境音特徴スペクトルＦＳの位相を異なる位相に変更することにより、補正信号の周波数スペクトルを生成した。この第３実施形態では、入力された音信号の周波数スペクトルの位相とは異なる位相を擬似乱数信号の周波数スペクトルの位相とした補正信号の周波数スペクトルを生成する。
【０１６８】
図８は、第３実施形態に係る信号処理装置１００Ｃの構成の一例を示す概略ブロック図である。この図８に示す信号処理装置１００Ｃの構成は、補正信号生成部１２１の構成が図１に示す構成と異なる。なお、この図８において図１の各部に対応する構成には同じ符号をつけておりその説明を省略する。
【０１６９】
補正信号生成部１２１は、擬似乱数信号生成部１２２、第２変換部１２３、イコライズ部１２４、周波数抽出部１２５、及び、位相変更部１２６、を備えている。すなわち、この図８の補正信号生成部１２１は、図１の補正信号生成部１２１の構成に対して位相変更部１２６を備えている点が異なる。なお、位相変更部１２６は、図７の位相変更部１２６と同様の構成としてもよい。
【０１７０】
位相変更部１２６は、入力された位相（位相情報）を、その入力された位相と異なる位相に変更し、変更した位相（位相情報）を出力する。例えば、位相変更部１２６は、第１変換部１１１が変換した周波数スペクトルの位相情報（符号ＳＧ２）に基づいて、位相情報（符号ＳＧ２）が示す位相とは異なる位相の位相情報（符号ＳＧ５）を出力する。
【０１７１】
この図８では、加算部１２８において加算する補正信号の周波数スペクトルの位相情報を、図１の擬似乱数信号列を周波数スペクトルＲＮに変換した際の位相情報（ＳＧ４）に代えて、位相変更部１２６が出力する位相情報（符号ＳＧ５）とする。
【０１７２】
これにより、補正信号生成部１２１は、第２実施形態と同様に、入力された音信号の周波数スペクトルに対して少なくとも位相が異なる周波数スペクトルを、補正信号の周波数スペクトルとして生成することができる。よって、信号処理装置１００Ｃは、音信号から所定のノイズを減算した際に、所定のノイズ以外の環境音に含まれる白色雑音のような音信号までもが低減されてしまう場合であっても、入力された音信号の周波数スペクトルに対して少なくとも位相が異なる周波数スペクトルを、その白色雑音のような音信号の代わりになる音信号の周波数スペクトル（補正信号の周波数スペクトル）として生成して加算することができる。
【０１７３】
なお、第１実施形態で説明した擬似乱数信号から補正信号の周波数スペクトルを生成する方法の場合には、極めて微小な確率ではあるが入力された音信号と同じ位相の補正信号が生成される可能性がある。それに対して、第２実施形態または第３実施形態の構成によれば、入力された音信号の周波数スペクトルの位相とは確実に異なる位相の補正信号の周波数スペクトルを生成することができる。
【０１７４】
なお、第１実施形態の信号処理装置１００Ｃは、入力された音信号の周波数スペクトルの位相（位相情報ＳＧ２）と、生成した擬似乱数信号の周波数スペクトルの位相（位相情報ＳＧ４）とが、互いに異なる位相であるか否かを判定する位相判定部を備えている構成としてもよい。そして、第１実施形態の信号処理装置１００Ｃは、例えば、入力された音信号の周波数スペクトルの位相（位相情報ＳＧ２）と、生成した擬似乱数信号の周波数スペクトルの位相（位相情報ＳＧ４）とが互いに異なる位相である場合に、補正信号の周波数スペクトルを加算する処理を実行してもよい。
【０１７５】
［第４実施形態］
次に、第４実施形態を説明する。第４実施形態は、第１実施形態、第２実施形態、または、第３実施形態の信号処理装置１００Ａ，１００Ｂ，１００Ｃを備えている撮像装置１の例である。
【０１７６】
図９は、第４実施形態に係る撮像装置１の構成の一例を示す概略ブロック図である。この図９に示す撮像装置１の構成は、図６に示す撮像装置４００が信号処理装置１００Ａ，１００Ｂ，１００Ｃをさらに備えている構成である。なお、この図９において図１または図６の各部に対応する構成には同じ符号をつけておりその説明を省略する。
【０１７７】
撮像装置１は、撮像部１０と、ＣＰＵ９０と、操作部８０と、画像処理部４０と、表示部５０と、記憶部６０と、バッファメモリ部３０と、通信部７０と、マイク２１と、Ａ／Ｄ変換部２２と、音信号処理部２３と、信号処理部１０１と、バス３００と、を備えている。この撮像装置１が備える構成のうち、信号処理部１０１と、記憶部６０の一部とが、信号処理装置１００Ａ，１００Ｂ，１００Ｃに対応する。
【０１７８】
記憶部６０は、ＣＰＵ９０によってシーン判定の際に参照される判定条件や、撮像条件などを記憶するとともに、例えば、図１、７、８における記憶部１６０が備えている環境音特徴スペクトル記憶部１６１と、ノイズ記憶部１６２と、ノイズ低減処理情報記憶部１６３とを備えていてもよい。
【０１７９】
このように構成された撮像装置１は、記憶媒体２００に記憶されている音信号に対して、第１実施形態、第２実施形態、または、第３実施形態を用いて説明したノイズ低減処理を実行することができる。ここで、記憶媒体２００に記憶されている音信号は、撮像装置１が収音して記録した音信号であってもよいし、他の撮像装置が収音して記録した音信号であってもよい。
【０１８０】
これにより、撮像装置１は、音信号から所定のノイズを減算した際に、所定のノイズ以外の音信号までもが低減されてしまう場合であっても、その所定のノイズ以外の音の代わりとなる音信号を生成して加算することができる。例えば、撮像装置１は、音信号から所定のノイズを減算した際に、所定のノイズ以外の環境音に含まれる白色雑音のような音信号までもが低減されてしまう場合であっても、その白色雑音のような音信号の代わりになる音信号を擬似乱数信号から生成して加算することができる。
【０１８１】
よって、撮像装置１は、所定のノイズ以外の音信号までもが低減されてしまうことにより（ノイズの過大減算となることにより）生じる音の劣化を抑制することができる。また、撮像装置１は、所定のノイズ以外の音信号までもが低減されてしまうことを懸念してノイズの過小減算となることを抑制するため、ノイズの残存が発生することを抑制することができる。
つまり、撮像装置１は、音信号に含まれているノイズを適切に低減することができる。
【０１８２】
なお、撮像装置１が、記憶媒体２００に記憶されている音信号に対してのみ、上述した信号処理部１０１によるノイズ低減処理を実行することに限られるものではない。例えば、撮像装置１は、マイク２１により収音された音信号に対して信号処理部１０１によるノイズ低減を実行してから、処理後の音信号を記憶媒体２００に記憶させてもよい。すなわち、撮像装置１は、マイク２１により収音された音信号に対して、リアルタイムに信号処理部１０１によるノイズ低減を実行してもよい。
【０１８３】
なお、信号処理部１０１により信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１９により撮像された画像データと、時間的に関連付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。
【０１８４】
以上、第１〜第４実施形態を用いて説明してきように、信号処理装置１００Ａ，１００Ｂ，１００Ｃまたは撮像装置１は、音信号に含まれているノイズを適切に低減することができる。
【０１８５】
［第５実施形態］
以下、図面を参照して、本発明の第５実施形態について説明する。
図１０は、本発明の第５実施形態による信号処理装置１００Ｄの構成の一例を示す概略ブロック図である。図１１は、信号処理装置１００Ｄによる白色雑音補正を含むノイズ低減処理の一例の説明図である。図１２は、ノイズ低減処理の一例を示すフローチャートである。
【０１８６】
まず、信号処理装置１００Ｄの概要について説明する。
図１０に示す信号処理装置１００Ｄは、たとえば左右一対のマイクによって収音された音信号を処理するステレオ信号処理装置であって、入力された左右の音信号５００Ｌ，５００Ｒに対してそれぞれ信号処理を実行し、処理後の左右の音信号５１０Ｌ，５１０Ｒを出力する。
なお、本発明はこれに限定されず、左右の音信号入力部を信号処理装置１００Ｄに設ける構成であってもよい。音信号入力部は、記憶媒体から音信号を読み出すための読み出し部であってもよく、有線通信または無線通信などにより、外部装置から音信号が入力される部分であってもよい。
【０１８７】
信号処理装置１００Ｄは、入力された左右の音信号５００Ｌ，５００Ｒに対して信号処理を実行し、処理後の音信号（符号５１０Ｌ，５１０Ｒ）を出力する。左右の音信号５００Ｌ，５００Ｒは、例えば、記憶媒体に記録されている。
【０１８８】
信号処理装置１００Ｄは、音信号に対して信号処理を実行する。例えば、信号処理装置１００Ｄは、上述したような、録音された音の音信号と、その音信号に対応付けられた動作部が動作するタイミングを示す情報とに基づいて、音信号に含まれるノイズを低減する処理を実行する。
【０１８９】
続いて、図１０に示す信号処理装置１００Ｄの構成について詳しく説明する。
信号処理装置１００Ｄは、信号処理本体１１０Ｄと、記憶部１６０Ｄと、を備えている。
【０１９０】
第５実施形態の記憶部１６０Ｄの構成は、第１実施形態の記憶部１６０と同様であるので、同様の構成には同一の符号を付し、その説明を省略する。
【０１９１】
信号処理本体１１０Ｄは、入力された音信号５００Ｌ，５００Ｒに対して、例えば、ノイズ低減処理などの信号処理を実行し、この信号処理を実行した音信号５１０Ｌ，５１０Ｒを出力する（或いは記憶媒体に記憶させる）。
なお、信号処理本体１１０Ｄは、入力された音信号にノイズ低減処理を実行した音信号５１０Ｌ，５１０Ｒと、入力された音信号５００Ｌ，５００Ｒそのままの信号とを切り替えて出力可能としてもよい。
【０１９２】
＜信号処理本体１１０Ｄの詳細な構成＞
次に、図１０に示す信号処理本体１１０Ｄの詳細について、前述の図２，図３、及び図１０，図１１を用いて説明する。
信号処理本体１１０Ｄは、左側から入力した音を処理する左信号処理部１１０Ｌと、右側から入力した音を処理する右信号処理部１１０Ｒと、環境音補正部３１０と、位相情報生成部４１０と、左変換部１１１Ｌと、右変換部１１１Ｒと、左逆変換部１１６Ｌと、右逆変換部１１６Ｒと、を備えている。
【０１９３】
左信号処理部１１０Ｌは、左判定部１１２Ｌと、左環境音特徴スペクトル推定部１１３Ｌと、左ノイズ推定部１１４Ｌと、左ノイズ低減部１１５Ｌと、を備える。
右信号処理部１１０Ｒは、右判定部１１２Ｒと、右環境音特徴スペクトル推定部１１３Ｒと、右ノイズ推定部１１４Ｒと、右ノイズ低減部１１５Ｒと、を備える。
【０１９４】
環境音補正部３１０は、左イコライズ部３２４Ｌおよび右イコライズ部３２４Ｒ、左周波数抽出部３２５Ｌおよび右周波数抽出部３２５Ｒ、左加算部３２８Ｌおよび右加算部３２８Ｒを備えている。
位相情報生成部４１０は、擬似乱数信号生成部３２２と、補正用変換部３２３と、右位相調整部３２６と、を備えている。
【０１９５】
ここで、信号処理本体１１０Ｄに対して、図２（ｄ）に示す音信号（例えば撮像装置により収音されて録音された音信号）と、図２（ａ）に示す、その音信号に対応付けられた動作部（例えば撮像装置が備えている動作部）が動作するタイミングを示す信号とが、記憶媒体から読み出されて入力された場合についての各信号の説明は、第１実施形態と同様である。
【０１９６】
なお、以後の説明においては、左信号処理部１１０Ｌについて説明し、右信号処理部１１０Ｒにおける左信号処理部１１０Ｌと共通する説明を省略する。また、図中、符号の末尾に「Ｌ」を付したものが左の音信号（Ｌｃｈ）の処理に係る構成要素であり、符号の末尾に「Ｒ」を付したものが右の音信号（Ｒｃｈ）の処理に係る構成要素である。
【０１９７】
入力された音信号５００Ｌを左変換部１１１Ｌが周波数領域信号に変換した後、左信号処理部１１０Ｌはそのフレーム毎の音信号の周波数スペクトルに対して後述するようなノイズ低減処理を実行する。そして、逆変換部１１６Ｌは、ノイズ低減処理した各フレームの周波数スペクトルを逆フーリエ変換して出力する。なお、逆フーリエ変換して出力した音信号は、記憶媒体に記憶させてもよい。
【０１９８】
以下、左変換部１１１Ｌ、左信号処理部１１０Ｌ及び左逆変換部１１６Ｌにおける各構成要素の作用について、図１１を参照して順を追って詳細に説明する。
左変換部（周波数領域変変換部）１１１Ｌは、図２（ｄ）に示すような音信号（５００Ｌ）が入力されると、入力された音信号を周波数領域信号に変換する（図１１（Ａ））。
例えば、左変換部１１１Ｌは、入力された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。ここで、左変換部１１１Ｌは、この入力された音信号の周波数スペクトルを生成する際に、音信号の周波数成分の振幅情報（ＳＡ１）及び位相情報（ＳＰ１）を得る。
【０１９９】
また、左変換部１１１Ｌは、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。
さらに、左変換部１１１Ｌは、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）により、フーリエ変換してもよい。
【０２００】
左信号処理部１１０Ｌにおける左判定部１１２Ｌは、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを判定する（図１１（Ｂ））。
【０２０１】
すなわち、左判定部１１２Ｌは、動作部が動作するタイミングに基づいて、音信号の各フレームが、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれる期間のフレームであるか、または、所定のノイズが含まれない期間のフレームであるかを判定する。
なお、左判定部１１２Ｌは、独立した構成であることに限られるものではなく、その機能を後述する左環境音特徴スペクトル推定部１１３Ｌまたは左ノイズ推定部１１４Ｌが有する構成としてもよい。
【０２０２】
左環境音特徴スペクトル推定部１１３Ｌは、左変換部１１１Ｌによって変換された音信号の周波数スペクトルが入力され、その入力された音信号の周波数スペクトルから、左環境音特徴スペクトルを推定する（図１１（Ｃ））。
そして、左環境音特徴スペクトル推定部１１３Ｌは、推定した左環境音特徴スペクトルを、環境音特徴スペクトル記憶部１６１Ｄに左環境音特徴スペクトルとして記憶させる。
【０２０３】
ここで、左環境音特徴スペクトルとは、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれない期間の音信号の周波数スペクトル、すなわち所定のノイズが含まれない周囲の環境音（周囲音、目的音）が収音された音信号の周波数スペクトルのことをいう。
【０２０４】
例えば、左環境音特徴スペクトル推定部１１３Ｌは、所定のノイズが含まれない期間のフレームにおける音信号（環境音の音信号）の周波数スペクトルを、環境音特徴スペクトルとして推定する。
【０２０５】
すなわち、左環境音特徴スペクトル推定部１１３Ｌは、動作部が動作していない期間のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルとして推定する。
具体的には、例えば、左環境音特徴スペクトル推定部１１３Ｌは、左判定部１１２Ｌにより動作部が動作するタイミングに基づいて判定された、動作部が動作する期間を含まない直前のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルとして推定する。
【０２０６】
図２に示す音信号の例の場合、左環境音特徴スペクトル推定部１１３Ｌは、例えばフレーム番号４３における音信号の周波数スペクトルを環境音特徴スペクトルとして推定する。
そして、左環境音特徴スペクトル推定部１１３Ｌは、このフレーム番号４３における音信号の周波数スペクトルを環境音特徴スペクトルとして、環境音特徴スペクトル記憶部１６１Ｄに記憶させる。
【０２０７】
左ノイズ推定部１１４Ｌは、入力された音信号から所定のノイズ（例えば動作部が動作することにより発生するノイズ）を低減するためのノイズを推定する（図１１（Ｄ））。例えば、ノイズ推定部１１４Ｌは、動作部が動作するタイミングに基づいて、入力された音信号の周波数スペクトルからノイズの周波数スペクトルを推定する。そして、左ノイズ推定部１１４Ｌは、推定したノイズを、ノイズ記憶部１６２Ｄに記憶させる。
【０２０８】
例えば、左ノイズ推定部１１４Ｌは、所定のノイズが含まれる期間のフレームにおける音信号の周波数スペクトルと、所定のノイズが含まれない期間のフレームにおける音信号の周波数スペクトルとに基づいて、ノイズの周波数スペクトルを推定する。
【０２０９】
すなわち、左ノイズ推定部１１４Ｌは、動作部が動作している期間のフレームにおける音信号の周波数スペクトルと、動作部が動作していない期間のフレームにおける音信号の周波数スペクトルとに基づいて、ノイズの周波数スペクトルを推定する。
【０２１０】
具体的には、例えば、左ノイズ推定部１１４Ｌは、左判定部１１２Ｌにより動作部が動作するタイミングに基づいて判定された、動作部が動作を開始したタイミングの直後のフレーム（かつ、フレームの全ての期間に渡って動作部が動作しているフレーム）における音信号の周波数スペクトル（図３（ｂ）のＳ４６）と、動作部が動作を開始するタイミングの直前のフレーム（かつ、フレームの全ての期間に渡って動作部が動作していないフレーム）における音信号の周波数スペクトル（図３（ａ）のＳ４３＝環境音特徴スペクトルＦＳ）との差（図３（ｃ））を、ノイズの周波数スペクトル（図３（ｄ）のＮＳ）として推定する。
【０２１１】
なお、左ノイズ低減部１１５Ｌは、ノイズが含まれるフレームの周波数スペクトルと環境音特徴スペクトルＦＳとを周波数ビン毎に比較した結果に基づいて、周波数ビン毎に推定ノイズスペクトルＮＳを減算するか否かを選択してもよい。
【０２１２】
例えば、左ノイズ低減部１１５Ｌは、ノイズが含まれるフレームの周波数スペクトルの強度（振幅）が環境音特徴スペクトルＦＳの強度より大きい周波数ビンについては、ノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを減算する処理としてもよい。
【０２１３】
一方、左ノイズ低減部１１５Ｌは、ノイズが含まれるフレームの周波数スペクトルの強度が環境音特徴スペクトルＦＳの強度以下の周波数ビンについては、ノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを減算しない処理としてもよい。
図１１（Ｅ）に示す周波数選択は、この作用を説明している。なお、この機能は図１０におけるノイズ低減部１１５Ｌに含まれるものとする。
【０２１４】
左逆変換部１１６Ｌは、左ノイズ低減部１１５Ｌがノイズの含まれる音信号の周波数スペクトルから推定ノイズスペクトルを減算（図１１（Ｆ））したノイズ低減後の周波数スペクトル（図３（ｅ），周波数スペクトルＳＣ）を、逆フーリエ変換する（図１１（Ｇ））。これにより、ノイズを低減させた音信号を得ることができる。
この左逆変換部１１６Ｌにおける逆フーリエ変換の際には、左変換部１１１Ｌにおいて得られた入力音信号の位相情報（ＳＰ１）を用いる。
なお、左逆変換部１１６Ｌは、逆高速フーリエ変換（ＩＦＦＴ：Ｉｎｖｅｒｓｅ  Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）により、逆フーリエ変換してもよい。
【０２１５】
上記のように、左信号処理部１１０Ｌは、ノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）に基づいて、音信号にスペクトル減算（Ｓｐｅｃｔｒａｌ  Ｓｕｂｔｒａｃｔｉｏｎ）処理することにより、音信号のノイズを低減させる。
すなわち、スペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。
なお、右信号処理部１１０Ｒにおける各構成要素の機能およびスペクトル減算処理の内容は、上記左信号処理部１１０Ｌと全く同様である。
【０２１６】
図１０の説明に戻り、信号処理本体１１０Ｄが備えている各構成について引き続き説明する。以下の説明では、図２及び図３を用いて説明した環境音特徴スペクトルＦＳが、環境音特徴スペクトル推定部１１３により推定されて環境音特徴スペクトル記憶部１６１Ｄに記憶されているものとする。
【０２１７】
なお、予め設定された環境音特徴スペクトルが環境音特徴スペクトル記憶部１６１Ｄに記憶されていてもよい。また、図２及び図３を用いて説明した推定ノイズスペクトルＮＳが、左ノイズ推定部１１４により推定されてノイズ記憶部１６２Ｄに記憶されているものとする。なお、予め設定された推定ノイズがノイズ記憶部１６２Ｄに記憶されていてもよい。
【０２１８】
上述したように、信号処理装置１００Ｄは、例えば、動作部が動作するタイミングに基づいて推定した推定ノイズスペクトルＮＳをノイズが含まれる音信号の周波数スペクトルから減算することにより、音信号に対するノイズ低減処理を行う。
【０２１９】
ところで、このようなノイズ低減処理において、推定ノイズスペクトルＮＳに少なくとも所定のノイズ（例えば、動作部が動作することにより生じるノイズ）以外の音信号の周波数スペクトルが含まれているような場合には、所定のノイズ以外の環境音の音信号も減算されてしまうことがあり、環境音の劣化が生じることがある。
【０２２０】
また、非定常的なノイズ（例えば、大きさが変化するノイズ、間欠的に発生するノイズなど）を低減するような場合、音信号に実際に混入しているノイズと推定ノイズとの間に差が生じ、ノイズの過大減算により音の劣化が発生することがある。
このような場合、周波数スペクトルの強度が小さい音信号ほど劣化しやすく、例えば、環境音に含まれる白色雑音（その場面の臨場感を表すのに大切な音）のように、周波数帯域が広く且つ周波数スペクトルの強度が小さい音信号の劣化が生じやすい。
【０２２１】
ここで、環境音の劣化が生じないよう推定ノイズスペクトルＮＳの減算量を小さくしてしまうと、ノイズの過小減算によりノイズの残存が発生してしまうことがある。一方、このようなノイズの過小減算を回避しようとして減算量を大きくすると、環境音に含まれる白色雑音のような音までがより減算（低減）されてしまうことがあり、ノイズ低減処理を行ったフレーム期間のみ白色雑音のような音が途切れてしまうというような違和感のある音になる場合がある。
信号処理装置１００Ｄにおける環境音補正部３１０は、このノイズ低減処理において劣化が生じる虞のある環境音を補正する。
【０２２２】
次に、この環境音補正部３１０及び位相情報生成部４１０の構成の一例について詳しく説明する。
前述したように、環境音補正部３１０は、左イコライズ部３２４Ｌおよび右イコライズ部３２４Ｒと、左周波数抽出部３２５Ｌおよび右左周波数抽出部３２５Ｒと、左加算部３２８Ｌおよび右加算部３２８Ｒを備えている。
を備えている。
【０２２３】
なお、左イコライズ部３２４Ｌと右イコライズ部３２４Ｒ、左周波数抽出部３２５Ｌと右周波数抽出部３２５Ｒとは、それぞれ同様の構成および機能を有し、前述した信号処理本体１１０Ｄにおける左信号処理部１１０Ｌと右信号処理部１１０Ｒとに対応して設けられているものである。以下、特に必要な場合を除いて左イコライズ部３２４Ｌおよび左周波数抽出部３２５Ｌについて説明し、右イコライズ部３２４Ｒおよび右周波数抽出部３２５Ｒについては説明を省略する。
【０２２４】
位相情報生成部４１０は、擬似乱数信号と環境音特徴スペクトルＦＳとに基づいて、補正信号の周波数スペクトルを生成する。
擬似乱数信号生成部３２２は、例えば、線形合同法、線形帰還シフトレジスタを用いた方法、カオス乱数を用いた方法などにより、擬似乱数信号列を生成する（図１１（Ｈ））。
なお、擬似乱数信号生成部３２２は、上述した方法以外の方法を用いて擬似乱数信号列を生成してもよい。
【０２２５】
補正用変換部３２３は、擬似乱数信号生成部３２２により生成された擬似乱数信号列を周波数領域信号に変換する（図１１（Ｉ））。例えば、補正用変換部３２３は、擬似乱数信号列をフレームに分割し、分割した各フレームの擬似乱数信号をフーリエ変換し、各フレームにおける擬似乱数信号の周波数スペクトルを生成する。
【０２２６】
また、補正用変換部３２３は、各フレームの擬似乱数信号を周波数スペクトルに変換する場合、各フレームの擬似乱数信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、補正用変換部３２３は、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）により、フーリエ変換してもよい。なお、補正用変換部３２３は左変換部１１１Ｌ及び右変換部１１１Ｒと共通の構成としてもよい。
なお、補正用変換部３２３は、擬似乱数信号の周波数スペクトルを生成する際に、擬似乱数信号の周波数成分の振幅情報（ＳＡ３）及び位相情報（ＳＰ３）を得る。
【０２２７】
補正用変換部３２３は、左右のイコライズ部（左イコライズ部３２４Ｌ，右イコライズ部３２４Ｒ）に変換後の信号を入力する。
左イコライズ部３２４Ｌは、補正用変換部３２３から入力される擬似乱数信号の周波数スペクトルと、左環境音特徴スペクトル推定部１１３Ｌから入力される環境音特徴スペクトルＦＳと、に基づいて、補正信号の周波数スペクトルを生成する。
例えば、左イコライズ部３２４Ｌは、擬似乱数信号の周波数スペクトルを、環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトルを生成する（図１１（Ｊ））。
同様に、右イコライズ部３２４Ｒは、擬似乱数信号の周波数スペクトルを、右環境音特徴スペクトル推定部１１３Ｒから入力される環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトルを生成する。
従って、左右から入力された音に基づいて、左右に入力された信号に対して補正する信号を決めるため、左の補正信号と右の補正信号との関係（第２関係）は、左入力音（左環境音特徴スペクトル）と右入力音（右環境音特徴スペクトル）との関係（第１関係）を含む所定の範囲に含まれるように生成（補正）される。
【０２２８】
具体的には、左イコライズ部３２４Ｌは、例えば、擬似乱数信号の周波数スペクトルと環境音特徴スペクトルＦＳとを周波数ビン毎に乗算し、全周波数ビンの周波数スペクトルの和（全周波数成分の振幅の和、或いは全周波数成分の強度の和）が、環境音特徴スペクトルＦＳの和（全周波数ビンのスペクトルの和）と、略等しくなるように規格化（正規化、平均化）することにより、補正信号を生成する。
例えば、左イコライズ部３２４Ｌは、第１実施形態で説明した数式１により補正信号を算出してもよい。
【０２２９】
なお、数式１で記した環境音スペクトルＦＳ（ｋ）は所定の複数フレームから取得した環境音スペクトルを周波数ビン毎に足し上げ、平均をとった平均環境音スペクトルＡＥ（ｋ）を用いてもよい。
【０２３０】
左周波数抽出部３２５Ｌおよび右周波数抽出部３２５Ｒは、それぞれ左加算部３２８Ｌおよび右加算部３２８Ｒにおいて加算する周波数ビンを選択し、左イコライズ部３２４Ｌおよび右イコライズ部３２４Ｒが生成した補正信号の周波数スペクトルのうち、選択した周波数ビンの周波数スペクトルを抽出する。以下、左周波数抽出部３２５Ｌを例に説明する。
例えば、左周波数抽出部３２５Ｌは、左ノイズ低減部１１５Ｌが推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報に基づいて、左加算部３２８Ｌ加算する周波数ビンを選択する（図１１（Ｋ））。
【０２３１】
すなわち、左周波数抽出部３２５Ｌは、左ノイズ低減部１１５Ｌが推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報に基づいて、左加算部３２８Ｌにおいて加算する周波数ビンの補正信号の周波数スペクトルを抽出する。
なお、左周波数抽出部３２５Ｌは、ノイズ低減処理情報記憶部１６３を参照して、推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報を取得してもよい。
【０２３２】
左加算部３２８Ｌおよび右加算部３２８Ｒは、それぞれ左ノイズ低減部１１５Ｌまたは右ノイズ低減部１１５Ｒが推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトルに、左イコライズ部３２４Ｌおよび右イコライズ部３２４Ｒが生成した補正信号の周波数スペクトルを加算する（図１１（Ｍ）。以下、左加算部３２８Ｌを例に説明する。
【０２３３】
例えば、左加算部３２８Ｌは、左周波数抽出部３２５Ｌが加算対象とした周波数ビンの補正信号の周波数スペクトルを加算する。
つまり、左加算部３２８Ｌは、左ノイズ低減部１１５Ｌが音信号の周波数スペクトルから推定ノイズスペクトルＮＳを周波数ビン毎に減算する際に減算しなかった周波数ビンにおいて、推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトルに補正信号の周波数スペクトルを加算する。
【０２３４】
一方、左加算部３２８Ｌは、左ノイズ低減部１１５Ｌが音信号の周波数スペクトルから推定ノイズスペクトルＮＳを周波数ビン毎に減算する際に減算しなかった周波数ビンにおいて、推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトルに加算する補正信号の周波数スペクトルの加算量を低減する（例えば加算量を「０」にする、すなわち加算しない）。
【０２３５】
なお、左加算部３２８Ｌは、左ノイズ低減部１１５Ｌが音信号の周波数スペクトルから推定ノイズスペクトルＮＳを周波数ビン毎に減算する際に減算量が少なかった周波数ビンにおいて、推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトルに加算する補正信号の周波数スペクトルの加算量を低減してもよい。
【０２３６】
例えば、左加算部３２８Ｌは、左ノイズ低減部１１５Ｌにおける周波数ビン毎の減算量に応じて、補正信号の周波数スペクトルの加算量を周波数ビン毎に異ならせてもよい。
つまり、左加算部３２８Ｌは、左ノイズ低減部１１５Ｌにおける周波数ビン毎の減算量が大きい場合には、その周波数ビンの補正信号の周波数スペクトルの加算量を大きくしてもよいし、左ノイズ低減部１１５Ｌにおける周波数ビン毎の減算量が小さい場合には、その周波数ビンの補正信号の周波数スペクトルの加算量を小さくしてもよい。
【０２３７】
そして、前述したように、左信号処理部１１０Ｌは、左加算部３２８Ｌが周波数スペクトルＳＣに対して周波数スペクトルＳＤを加算した周波数スペクトルを、左逆変換部１１６Ｌにおいて逆フーリエ変換することにより、ノイズ低減処理後の時間領域の音信号を生成する（図１１（Ｇ））。この左逆変換部１１６Ｌにおける逆フーリエ変換に際して、左周波数抽出部３２５Ｌから加算対象として出力された周波数スペクトルＳＤに対しては、補正用変換部３２３によって得られた擬似乱数信号の周波数成分の位相情報（ＳＰ３）を用いる。
【０２３８】
ここで、本実施形態では、擬似乱数信号生成部３２２によって生成された擬似乱数信号列を補正用変換部３２３が周波数領域信号に変換した各フレームにおける擬似乱数信号の周波数スペクトルＳＥの位相（図１０のＳＰ３参照）は、入力音信号の周波数スペクトルＳＣの位相（図１０のＳＰ１，ＳＰ２参照）とは異なる。これにより、白色雑音のような音の音信号を補正するための補正信号の周波数スペクトルが得られる。
【０２３９】
しかし、擬似乱数信号生成部３２２および補正用変換部３２３によって生成された出力を、ステレオ音を生成する２つ（Ｌｃｈ，Ｒｃｈ）の入力音に対して用いるため、そのままでは両入力（Ｌｃｈ，Ｒｃｈ）に対する補正信号の周波数スペクトルの位相は同一となる。
その結果、補正信号が左右の入力の中心付近に定位し、このような補正信号を重畳してノイズ低減処理後の時間領域の音信号を生成すると、中心付近に元々は無かった異音が発生してしまう可能性がある。
なお、両入力に対してそれぞれ独立に作成したランダムな情報を用いた場合でも、環境音補正信号を重畳した箇所の定位が入力音と変わってしまい、聴こえが不自然になる可能性がある。
【０２４０】
このため本構成では、右の音信号への補正信号の位相情報を調整する右位相調整部３２６を備えている。
右位相調整部３２６は、補正用変換部３２３から出力された擬似乱数信号の周波数成分の位相情報（ＳＰ３）を基準として、これに対する比が、左右の入力音の位相差と等しくなるように右補正位相情報（ＳＰ４）を生成する。
つまり、右位相調整部３２６が出力する右補正位相情報（ＳＰ４）は、左の補正信号の位相に対して、入力音の位相差と等しい位相差となるように設定される。
【０２４１】
これにより、左右の補正信号の定位が左右の入力の定位と等しくなり、このような補正信号を重畳して生成したノイズ低減処理後の時間領域の音信号の定位は入力音と変わらず、自然に聞こえるように補正できる。
【０２４２】
以上説明したように、信号処理装置１００Ｄは、位相情報生成部４１０及び環境音補正部３１０において、ノイズ低減処理において劣化が生じることがある環境音に含まれる白色雑音（その場面の臨場感を表すのに大切な音）の信号を補正する補正信号を生成し、生成した補正信号をノイズ低減処理後の音信号に加算する処理を行う。
【０２４３】
具体的には、位相情報生成部４１０及び環境音補正部３１０は、白色雑音を作成し、ノイズが発生していない区間の音を使用して白色雑音を（周波数領域で）イコライズし疑似環境音信号（周波数領域）を作成すると共に、疑似環境音のうち、ノイズ低減を行った周波数成分のみ抽出して、環境音補正信号（周波数領域）を作成する。そして、ノイズ低減を行った周波数領域信号と環境音補正信号を加算した後、時間領域信号に変換することでノイズ低減後の音信号を得る。また、環境音補正信号の位相情報として、白色雑音の位相情報を用いる。
【０２４４】
こうすることで、ノイズ低減処理によって抑圧されてしまった環境音を補間することができる。またノイズ低減が行われた周波数成分に相当する環境音補正信号のみを加算することで、人工的に作成した音を加算することによる違和感を抑えることができる。環境音補正信号の位相情報にノイズが混入している音（入力音）の位相情報を使用しないため、環境音補正信号の加算により、低減したノイズが復活してしまうこともない。
【０２４５】
また、環境音補正部３１０は、右位相調整部３２６が生成した右補正位相情報（ＳＰ４）を右の補正信号の位相情報として用いることで、左の補正信号の位相に対する右の補正信号の位相差が、入力音の位相差と等しい位相差となる。
これにより、左右の補正信号の定位が左右の入力の定位と等しくなり、このような補正信号を重畳して生成したノイズ低減処理後の時間領域の音信号の定位は入力音と変わらず、自然に聞こえるように補正できる。
【０２４６】
（ノイズ低減処理の動作）
次に、図１２を参照して、本実施形態におけるノイズ低減処理の動作について説明する。図１２は、本実施形態におけるノイズ低減処理の一例を示すフローチャートである。なお、図１２中および以下の説明中においてステップを「Ｓ」とも略記する。
【０２４７】
まず、信号処理本体１１０Ｄは、記憶媒体から音信号を読み出す。読み出した音信号は、信号処理本体１１０Ｄの左変換部１１１Ｌ，右変換部１１１Ｒに入力される（Ｓ１１１）。
【０２４８】
次に、左変換部１１１Ｌ，右変換部１１１Ｒは、入力された音信号を周波数領域信号に変換する。例えば、左変換部１１１Ｌ，右変換部１１１Ｒは、入力された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する（Ｓ１１２，図１１（Ａ））。
【０２４９】
次に、左判定部１１２Ｌ，右判定部１１２Ｒは、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを判定する（Ｓ１１３，図１１（Ｂ））。
すなわち、左判定部１１２Ｌ，右判定部１１２Ｒは、動作部が動作するタイミングに基づいて、音信号の各フレームが、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれる期間のフレームであるか否か（所定のノイズが混入しているか否か）を判定する。
【０２５０】
左環境音特徴スペクトル推定部１１３Ｌ，右環境音特徴スペクトル推定部１１３Ｒは、入力された音信号の各フレームのうち、所定のノイズが含まれない期間のフレームであると判定された（Ｓ１１３→ＮＯ）フレームの音信号の周波数スペクトルに基づいて、環境音特徴スペクトルＦＳ（環境音の周波数スペクトル、図４（ｂ）参照）を推定する（Ｓ１１４，図１１（Ｃ））。
【０２５１】
一方、左ノイズ推定部１１４Ｌ，右ノイズ推定部１１４Ｒは、入力された音信号の各フレームのうち、所定のノイズが含まれる期間のフレームであると判定された（Ｓ１１３→ＹＥＳ）フレームの音信号の周波数スペクトルＳＢ（図４（ａ）参照）と、環境音特徴スペクトルＦＳとに基づいて、ノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）を推定する。
例えば、左ノイズ推定部１１４Ｌ，右ノイズ推定部１１４Ｒは、所定のノイズが含まれる期間のフレームの音信号の周波数スペクトルＳＢから環境音特徴スペクトルＦＳを周波数ビン毎に減算することにより、推定ノイズスペクトルＮＳを生成する（Ｓ１１５，図１１（Ｄ））。
【０２５２】
続いて、左ノイズ低減部１１５Ｌ，右ノイズ低減部１１５Ｒは、周波数スペクトルＳＢから、左ノイズ推定部１１４により推定された推定ノイズスペクトルＮＳを、周波数ビン毎（周波数成分毎）に減算する（Ｓ１１６，図１１（Ｆ））。例えば、左ノイズ低減部１１５Ｌ，右ノイズ低減部１１５Ｒは、周波数ビン毎に周波数スペクトルＳＢと環境音特徴スペクトルＦＳとを比較し、周波数スペクトルＳＢの強度が環境音特徴スペクトルＦＳの強度以下の周波数ビンについてのみ、推定ノイズスペクトルＮＳを減算する（図４（ｄ）参照）。
【０２５３】
一方、擬似乱数信号生成部３２２は、擬似乱数信号列を生成する（Ｓ１２１，図１１（Ｈ））。
次に、補正用変換部３２３は、擬似乱数信号生成部３２２により生成された擬似乱数信号列を周波数領域信号に変換する（Ｓ１２２，図１１（Ｉ）））。例えば、擬似乱数信号生成部３２２は、擬似乱数信号列をフレームに分割し、分割した各フレームの擬似乱数信号をフーリエ変換し、各フレームにおける擬似乱数信号の周波数スペクトルＲＮ（図４（ｃ）参照）を生成する。
【０２５４】
次に、左イコライズ部３２４Ｌ，右イコライズ部３２４Ｒは、擬似乱数信号の周波数スペクトルＲＮを、環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトルＳＥ（図４（ｅ）参照）を生成する（Ｓ１２３，図１１（Ｊ））。
【０２５５】
また、左周波数抽出部３２５Ｌ，右左周波数抽出部３２５Ｒは、補正信号の周波数スペクトルＳＥのうち、左加算部３２８Ｌ，右加算部３２８Ｒにおいて加算対象とする周波数ビンの周波数スペクトルＳＤを抽出する（Ｓ１２４，図１１（Ｋ））。すなわち、周波数抽出部１２５は、補正信号の周波数スペクトルＳＥから、加算対象の周波数ビンの補正信号の周波数スペクトルＳＤを抽出する。例えば、左周波数抽出部３２５Ｌ，右左周波数抽出部３２５Ｒは、ステップＳ１１６において左ノイズ低減部１１５が推定ノイズスペクトルＮＳを減算した周波数ビンを加算対象の周波数ビンとして選択し、選択した周波数ビンの周波数スペクトルＳＤを抽出する。
【０２５６】
一方、右位相調整部３２６は、補正用変換部３２３によって得られた擬似乱数信号の周波数成分の位相情報（ＳＰ３）から、これに対する比が、左右の入力音の位相差と等しくなる右補正位相情報（ＳＰ４）を生成する（Ｓ１２５）。ここで生成された右補正位相情報（ＳＰ４）は、後述するステップ２７における逆フーリエ変換によるノイズ低減処理後の時間領域の音信号の生成に用いられる。
【０２５７】
そして、左加算部３２８Ｌ，右加算部３２８Ｒは、ステップＳ１１６において周波数スペクトルＳＢから推定ノイズスペクトルＮＳが減算された周波数スペクトルＳＣ（図４（ｄ）参照）に、ステップＳ１２４において抽出した補正信号の周波数スペクトルＳＤを加算する（Ｓ１２６，図１１（Ｍ））。
【０２５８】
続いて、左逆変換部１１６Ｌ，右逆変換部１１６Ｒは、周波数スペクトルＳＣに周波数スペクトルＳＤを加算した周波数スペクトルを逆フーリエ変換することにより、ノイズ低減処理後の時間領域の音信号を生成する（Ｓ１２７，図１１（Ｇ））。
そして、信号処理本体１１０Ｄは、ノイズ低減処理後の時間領域の音信号を出力する（Ｓ１２８）。
【０２５９】
なお、ステップ２６とステップ２７とは、その工程順を前後入れ替えても良い。すなわち、左右の音信号における推定ノイズスペクトルＮＳが減算された周波数スペクトルＳＣの逆フーリエ変換と、補正信号の周波数スペクトルＳＤの逆フーリエ変換とを行って、それぞれ音信号に変換した後、両者を加算して出力音信号としても良い。
【０２６０】
＜収音機能を有する撮像装置の構成例＞
次に、上述した記憶媒体に記憶されている音信号を収音した撮像装置４００Ｄの構成について図１３に基づいて説明する。
なお、本実施形態の撮像装置４００Ｄと、上述の図９で説明した撮像装置４００との差は、本実施形態の撮像装置４００Ｄにおいてマイク２１Ｄが、左マイク２１Ｌ及び右マイク２１Ｒを備える点である。その他の部分は同様であるので、同様な部分の説明は省略する。  
【０２６１】
マイク２１Ｄは、左マイク２１Ｌ及び右マイク２１Ｒを備え、収音した音に応じたアナログ信号音信号に変換する。Ａ／Ｄ変換部２２は、マイク２１Ｄによって変換されたアナログ音信号を、デジタル音信号に変換する。
音信号処理部２３は、Ａ／Ｄ変換部２２が変換したデジタル音信号に対して、記憶媒体２００に記憶させる信号処理を実行する。音信号処理部２３は、動作部のタイミング情報を音信号に対応付けて記憶媒体２００に記憶させる。音信号処理部２３が記憶させる音信号は、動画に関連づけて記憶される音信号、記憶媒体２００に記憶された静止画像に音声を付加するために録音された音信号、ボイスレコーダとして録音された音信号等である。
【０２６２】
以下、上述した実施形態の変形例について説明する。
（図２におけるフレームについて）
図２の説明においては、各フレーム間にはオーバーラップがあるものとして説明した。しかし、これに限られるものではなく、各フレーム間にはオーバーラップがなくてもよい。例えば、互いに隣接するフレームは、フレーム毎に独立するように期間を設定してもよい。
【０２６３】
また、上述の図２、図３及び図４を用いた説明においては、（ａ）動作部が動作するタイミングを示す信号とは無関係に、音信号がフレームに分割されている場合について説明した（図２（ｃ）参照）。
【０２６４】
しかし、これに限られるものではなく、信号処理本体１１０Ｄは、（ａ）動作部が動作するタイミングを示す信号に応じてフレームを分割する位置を制御してもよい。例えば、信号処理本体１１０Ｄは、（ａ）動作部が動作するタイミングを示す信号がロウレベルからハイレベルに変化するタイミング（図２の符号０参照）と、音信号のフレームの境界とが一致するように、音信号に対してフレームを生成してもよい。
【０２６５】
そして、信号処理本体１１０Ｄは、動作部が動作するタイミングを示す信号に応じて、動作部が動作する前の期間と、動作部が動作している期間とに基づいて、上述したノイズ低減処理を実行してもよい。
【０２６６】
（補正信号に対する位相調整について）
図１０に示す構成では、右位相調整部３２６が右の音信号への補正信号の位相情報を調整する。しかし、これに限らず、左の音信号への補正信号の位相情報を調整する構成としても良い。
【０２６７】
また、第５実施形態では、生成した擬似乱数信号の周波数スペクトルを、環境音特徴スペクトルを用いてイコライズすることにより補正信号の周波数スペクトルを生成する方法について説明した。しかし、本発明はこれに限定されず、第２実施形態と同様に、擬似乱数信号列を用いずに、環境音特徴スペクトルＦＳの移送を異なる位相に変更することにより、補正用の周波数スペクトルを生成しても良い。
【０２６８】
（信号処理装置の位置）
上述の実施形態では、撮像装置とは別体の信号処理装置１００Ｄについて説明したが、本発明はこれに限定されず、信号処理装置を撮像装置に設けてもよい。
【０２６９】
以上、説明したように、本実施形態によると、信号処理装置１００Ｄは、音信号に含まれているノイズを適切に低減することができる。
【０２７０】
なお、上記の説明においては、音信号に含まれるノイズ（所定のノイズ）として、主に光学系１１が動作することにより生じる音について説明したが、ノイズはこれに限られるものではない。
例えば、操作部８０に備えられているボタンなどが押下された場合に生じる音の場合も、同様である。この場合も、操作部８０に備えられているボタンなどが押下されたことを検出する信号が、ＣＰＵ９０のタイミング検出部９１に入力される。
よって、タイミング検出部９１は、光学系１１が駆動する場合と同様に、操作部８０などの動作するタイミングを検出することができる。すなわち、操作部８０などの動作するタイミングを示す情報を、動作部が動作するタイミングを示す情報としてもよい。
【０２７１】
また、動作部は、光学系１１が備えている各レンズ、または、操作部８０に限られるものではなく、動作することによって音が発生する（或いは音が発生する可能性がある）他の構成であってもよい。例えば、動作部は、ポップアップ時に音が発生するポップアップ式の光源（例えば、撮影用の光源、閃光装置（フラッシュ）など）であってもよい。
【０２７２】
また、上記の説明においては、信号処理装置１００Ｄまたは撮像装置１が、撮像装置（例えば撮像装置４００或いは撮像装置１）により収音された音の音信号に対して信号処理部１１０による処理を実行する例について説明したが、撮像装置以外の装置に収音された音の音信号に対して信号処理部１１０による処理を実行してもよい。
【０２７３】
また、上記第４実施形態及び変形例において、信号処理装置１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ（信号処理部１１０，１００Ｄ）が撮像装置１に備えられている構成について説明したが、信号処理装置１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ（信号処理部１１０，１００Ｄ）は、例えば、録音装置、携帯電話、パーソナルコンピュータ、タブレット型端末、電子玩具、または、通信端末などの他の装置に備えられていてもよい。
【０２７４】
なお、図１、７、８、１０における信号処理部１１０（信号処理本体１１０Ｄ）、または、この信号処理部１１０（信号処理本体１１０Ｄ）が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリ及びマイクロプロセッサにより実現させるものであってもよい。
【０２７５】
なお、図１，７，８，１０における信号処理部１１０（信号処理本体１１０Ｄ）、または、この信号処理部１１０（信号処理本体１１０Ｄ）が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この信号処理部１１０（信号処理本体１１０Ｄ）、または、この信号処理部１１０（信号処理本体１１０Ｄ）が備える各部はメモリ及びＣＰＵ（中央演算装置）により構成され、信号処理部１１０（信号処理本体１１０Ｄ）、または、この信号処理部１１０（信号処理本体１１０Ｄ）が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【０２７６】
また、図１，７，８，１０における信号処理部１１０（信号処理本体１１０Ｄ）、または、この信号処理部１１０（信号処理本体１１０Ｄ）が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、信号処理部１１０、または、この信号処理部１１０（信号処理本体１１０Ｄ）が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。
【０２７７】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
更に「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０２７８】
上記実施形態は、本発明を入力音が２系統のステレオ入力に対して適用したものである。しかし、本発明はステレオ入力に限るものではなく、複数の収音入力を備える構成（たとえば５．１チャンネルサラウンド等）に対しても適用可能なものである。
また、上記実施形態では加算部での処理の後、短時間ＩＦＦＴ処理を行ったが、これに限定されず、左右で短時間ＩＦＦＴを行なった後加算処理をしてもよい。
【０２７９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【０２８０】
１，４００，４００Ｄ：撮像装置、１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ：信号処理装置、１１０：信号処理部、１１０Ｄ：信号処理本体、１１０Ｌ：左信号処理部、１１０Ｒ：右信号処理部、１１１：第１変換部（変換部）、１１１Ｌ：左変換部、１１１Ｒ：右変換部、１１２Ｌ：左判定部，１１２Ｒ：右判定部、１１５：ノイズ低減部（減算部）、１２１：補正信号生成部（生成部）、１２３：第２変換部（変換部）、１２８：加算部３１０：環境音補正部、３２６：右位相調整部、３２８Ｌ：左加算部、３２８Ｒ：右加算部、４１０：位相情報生成部、５００Ｌ：左入力音，５００Ｒ：右入力音
【図１】
2014017371.tif 000004
【図２】
2014017371.tif 000005
【図３】
2014017371.tif 000006
【図４】
2014017371.tif 000007
【図５】
2014017371.tif 000008
【図６】
2014017371.tif 000009
【図７】
2014017371.tif 000010
【図８】
2014017371.tif 000011
【図９】
2014017371.tif 000012
【図１０】
2014017371.tif 000013
【図１１】
2014017371.tif 000014
【図１２】
2014017371.tif 000015
【図１３】
2014017371.tif 000016
【手続補正書】
【提出日】平成27年2月10日(2015.2.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１音データから除去対象となるノイズを低減する音処理装置であって、
前記第１音データから前記ノイズが低減された第２音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算する加算部を備える音処理装置。
【請求項２】
請求項１に記載の音処理装置であって、
前記ノイズが発生したことを示すノイズ情報と音データとが関連付けられており、
前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定する判定部とを備える音処理装置。
【請求項３】
請求項２に記載の音処理装置であって、
前記音データは、前記ノイズ情報が関連付けられた第１音データと前記ノイズ情報が関連づけられていない前記第３音データとを少なくとも含み、
前記判定部は、前記ノイズ情報に基づいて前記音データから前記第１音データを抽出する音処理装置。
【請求項４】
請求項３に記載の音処理装置であって、
前記判定部は、前記ノイズ情報に基づいて、前記音データから前記ノイズ情報が関連付けられていない前記第３音データを抽出する音処理装置。
【請求項５】
請求項２から請求項４のいずれか一項に記載の音処理装置であって、
前記ノイズ情報は、前記音データ収音時に前記ノイズを発生させる動作部が動作したことを示す情報である音処理装置。
【請求項６】
請求項５に記載の音処理装置であって、
前記動作部は、撮像を行う撮像装置に設置され、
前記動作部は、前記撮像装置に設置されたレンズ、または前記撮像装置に設置された操作部である音処理装置。
【請求項７】
請求項５または請求項６に記載の音処理装置であって、
前記動作部が動作したことを示す情報は、前記動作部を動作させるために発生する制御信号に基づく情報である音処理装置。
【請求項８】
請求項１から請求項７のいずれか一項に記載の音処理装置であって、
前記第４音データは、生成されたデータを前記第３音データに基づいて補正されたデータである音処理装置。
【請求項９】
請求項８に記載の音処理装置であって、
乱数データまたは疑似乱数データを生成する乱数データ生成部とを備え、
前記生成されたデータは、前記乱数データ生成部によって生成された乱数データまたは前記乱数データ生成部によって生成された疑似乱数データである音処理装置。
【請求項１０】
請求項１から請求項９のいずれか一項に記載の音処理装置であって、
位相情報を生成する位相情報生成部とを備え、
前記加算部は、前記第１音データの位相情報を有する前記第２音データに前記位相情報生成部によって生成された位相情報を有する第４音データを加算する音処理装置。
【請求項１１】
請求項１０に記載の音処理装置であって、
前記位相情報生成部は、前記第１音データの第１位相情報を取得し、前記第１音データの位相情報とは異なる第２位相情報を生成し、
前記加算部は、前記第１音データの第１位相情報を有する前記第２音データに前記第２位相情報を有する第４音データを加算する音処理装置。
【請求項１２】
請求項１から請求項１１のいずれか一項に記載の音処理装置であって、
前記加算部は、前記第１音データから減算された前記ノイズの大きさに基づいて、加算する前記第４音データの大きさを変更する音処理装置。
【請求項１３】
請求項１２に記載の音処理装置であって、
前記加算部は、前記第１音データから減算する前記ノイズの大きさが大きくなるにつれ、加算する前記第４音データの大きさを大きくする音処理装置。
【請求項１４】
請求項１に記載の音処理装置であって、
時間領域の前記第１音データを周波数領域に変換する周波数領域変換部と、
前記周波数領域変換部によって変換された前記第１音データから周波数領域の前記ノイズを減算する低減部とを備える音処理装置。
【請求項１５】
請求項１４に記載の音処理装置であって、
前記低減部は、前記ノイズを含まない第５音データに基づいて、前記周波数領域変換部によって変換された前記第１音データのうち、周波数領域の前記ノイズを減算する周波数成分を決定する音処理装置。
【請求項１６】
請求項１５に記載の音処理装置であって、
前記加算部は、前記周波数領域変換部によって変換された前記第１音データのうち前記ノイズが減算された周波数成分に対して、周波数領域の前記第４音データを加算する音処理装置。
【請求項１７】
請求項１４から請求項１６のいずれか一項に記載の音処理装置であって、
前記第１音データを含む音データを複数の区間に分割する分割部とを備え、
前記周波数領域変換部は、前記分割部によって分割された前記複数の区間のうちの前記第１音データを周波数領域に変換する音処理装置。
【請求項１８】
請求項１４から請求項１７のいずれか一項に記載の音処理装置であって、
乱数データまたは疑似乱数データを生成する乱数データ生成部とを備え、
前記周波数領域変換部は、前記乱数データ生成部によって生成された第１乱数データに窓関数が乗じられた第２乱数データを周波数領域に変換し、
前記第４音データは、周波数領域に変換された前記第２乱数データを前記第３音データに基づいて補正されて生成される音処理装置。
【請求項１９】
請求項１４から請求項１８のいずれか一項に記載の音処理装置であって、
周波数領域変換部によって変換された前記第２音データに対して周波数領域の前記第４音データを加算したデータを時間領域に変換する時間領域変換部とを備える音処理装置。
【請求項２０】
第１音データと第２音データとから除去対象となるノイズを低減する音処理装置であって、
前記第１音データの第１位相情報と前記第２音データの第２位相情報との関係を第１関係とし、第３位相情報と第４位相情報との第２関係が前記第１関係を含む所定の範囲に含まれるよう、前記第３位相情報と前記第４位相情報とを生成する位相情報生成部と、
前記第１音データから前記ノイズが低減された第１低減後音データに、前記第３位相情報を有する第３音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記第４位相情報を有する第４音データを加算する加算部とを備える音処理装置。
【請求項２１】
請求項２０に記載の音処理装置であって、
前記加算部は、前記第１位相情報を有する前記第１低減後音データに前記第３位相情報を有する第３音データを加算し、前記第２位相情報を有する前記第２低減後音データに前記第４位相情報を有する前記第４音データを加算する音処理装置。
【請求項２２】
請求項２０または請求項２１に記載の音処理装置であって、
前記ノイズが発生したこと示すノイズ情報と第１収音部によって収音された音データとが関連付けられ、前記ノイズ情報と第２収音部によって収音された音データとが関連付けられており、
前記ノイズ情報に基づいて、前記第１収音部によって収音された音データのうちの前記ノイズを含むデータと、前記第２収音部によって収音された音データのうちの前記ノイズを含むデータとを判定する判定部とを備える音処理装置。
【請求項２３】
請求項２２に記載の音処理装置であって、
前記第１収音部によって収音された音データは、前記ノイズ情報が関連付けられた第１音データを少なくとも含み、
前記第２収音部によって収音された音データは、前記ノイズ情報が関連付けられた第２音データを少なくとも含み、
前記判定部は、前記ノイズ情報に基づいて、前記第１収音部によって収音された音データから前記第１音データを抽出し、前記第２収音部によって収音された音データから前記第２音データを抽出する音処理装置。
【請求項２４】
請求項２２または請求項２３に記載の音処理装置であって、
前記ノイズ情報は、前記第１収音部によって収音された音データまたは、前記第２収音部によって収音された音データの収音を開始した後に、前記ノイズを発生させる動作部が動作したことを示す情報である音処理装置。
【請求項２５】
請求項２４に記載の音処理装置であって、
前記動作部は、撮像を行う撮像装置に設置され、
前記動作部は、前記撮像装置に設置されたレンズ、または前記撮像装置に設置された操作部である音処理装置。
【請求項２６】
請求項２０から請求項２５のいずれか一項に記載の音処理装置であって、
前記第３音データは、生成された音データを前記ノイズを含まない第５音データに基づいて補正されて生成され、
前記第４音データは、生成された音データを前記ノイズを含まない第６音データに基づいて補正されて生成される音処理装置。
【請求項２７】
請求項２６に記載の音処理装置であって、
乱数データまたは疑似乱数データを生成する乱数データ生成部とを備え、
前記生成されたデータは、前記乱数データ生成部によって生成された乱数データまたは前記乱数データ生成部によって生成された疑似乱数データである音処理装置。
【請求項２８】
請求項２０から請求項２７のいずれか一項に記載の音処理装置であって、
前記第１関係は、前記第１音データと前記第２音データとの位相差である第１位相差であり、前記第２関係は、前記第３位相情報と前記第４位相情報との位相差である第２位相差であり、
前記位相情報生成部は、前記第２位相差が前記第１位相差を含む所定の範囲に含まれるように、前記第３位相情報と前記第４位相情報とを生成する音処理装置。
【請求項２９】
請求項２０から請求項２８のいずれか一項に記載の音処理装置であって、
第１音データと第２音データとを周波数領域に変換する周波数領域変換部と、
前記周波数領域変換部によって変換された前記第１音データと前記周波数領域変換部によって変換された前記第２音データとから周波数領域の前記ノイズを減算する低減部とを備える音処理装置。
【請求項３０】
請求項２９に記載の音処理装置であって、
周波数領域の前記第１低減後音データに前記第３位相情報を有する第３音データが加算されたデータを時間領域に変換し、周波数領域の前記第２低減後音データに前記第４位相情報を有する第４音データが加算されたデータを時間領域に変換する時間領域変換部とを備える音処理装置。
【請求項３１】
第１音データと第２音データとから除去対象となるノイズを低減する音処理装置であって、
前記第１音データから前記ノイズが低減された第１低減後音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記ノイズが含まれない第５音データに基づく第６音データを加算する加算部とを備える音処理装置。
【請求項３２】
請求項３１に記載の音処理装置であって、
前記４音データと前記６音データとの関係である第２関係が、前記第１低減後音データと前記第２低減後音データとの関係である第１関係を含む所定の範囲に含まれるよう、前記第４音データと前記第６音データとを生成する生成部とを備える音処理装置。
【請求項３３】
請求項１から請求項３２のいずれか一項に記載の音処理装置を備える電子機器。
【請求項３４】
請求項５から請求項７のいずれか一項に記載の音処理装置と、
前記動作部とを備える撮像装置。
【請求項３５】
コンピュータに、
第１音データから除去対象となるノイズを低減する処理と、
前記第１音データから前記ノイズが低減された前記２音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算する処理とを実行させるプログラム。
【請求項３６】
第１音データから除去対象となるノイズを低減し、
前記第１音データから前記ノイズが低減された前記２音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算する音処理方法。
【請求項３７】
コンピュータに、
第１音データと第２音データとから除去対象となるノイズを低減する処理と、
前記第１音データの第１位相情報と前記第２音データの第２位相情報との関係を第１関係とし、第３位相情報と第４位相情報との第２関係が前記第１関係を含む所定の範囲に含まれるよう、前記第３位相情報と前記第４位相情報とを生成する処理と、
前記第１音データから前記ノイズが低減された第１低減後音データに、前記第３位相情報を有する第３音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記第４位相情報を有する第４音データを加算する処理とを実行させるプログラム。
【請求項３８】
第１音データと第２音データとから除去対象となるノイズを低減し、
前記第１音データの第１位相情報と前記第２音データの第２位相情報との関係を第１関係とし、第３位相情報と第４位相情報との第２関係が前記第１関係を含む所定の範囲に含まれるよう、前記第３位相情報と前記第４位相情報とを生成し、
前記第１音データから前記ノイズが低減された第１低減後音データに、前記第３位相情報を有する第３音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記第４位相情報を有する第４音データを加算する音処理方法。
【請求項３９】
コンピュータに、
第１音データと第２音データとから除去対象となるノイズを低減する処理と、
前記第１音データから前記ノイズが低減された第１低減後音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記ノイズが含まれない第５音データに基づく第６音データを加算する処理とを実行させるプログラム。
【請求項４０】
第１音データと第２音データとから除去対象となるノイズを低減し、
前記第１音データから前記ノイズが低減された第１低減後音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記ノイズが含まれない第５音データに基づく第６音データを加算する音処理方法。
【請求項４１】
入力された音データのうち所定のノイズが含まれる第１音データから所定のデータを減算し第２音データとする減算部と、
前記音データのうち前記所定のノイズが含まれない第３音データに基づいて、前記第２音データに加算する第４音データを生成する生成部とを備える音処理装置。
【請求項４２】
コンピュータに、
入力された音データのうち所定のノイズが含まれる第１音データから所定のデータを減算し第２音データとする処理と、
前記音データのうち前記所定のノイズが含まれない第３音データに基づいて、前記第２音データに加算する第４音データを生成する処理とを実行させるプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、音処理装置、電子機器、撮像装置、プログラム、及び、音処理方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、音信号に含まれているノイズを適切に低減することができる音処理装置、電子機器、撮像装置、プログラム、及び、音処理方法を提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明の第１の態様によると、第１音データから除去対象となるノイズを低減する音処理装置であって、前記第１音データから前記ノイズが低減された第２音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算する加算部を備える音処理装置を提供する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また、本発明の第２の態様によると、第１音データと第２音データとから除去対象となるノイズを低減する音処理装置であって、前記第１音データの第１位相情報と前記第２音データの第２位相情報との関係を第１関係とし、第３位相情報と第４位相情報との第２関係が前記第１関係を含む所定の範囲に含まれるよう、前記第３位相情報と前記第４位相情報とを生成する位相情報生成部と、前記第１音データから前記ノイズが低減された第１低減後音データに、前記第３位相情報を有する第３音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記第４位相情報を有する第４音データを加算する加算部とを備える音処理装置を提供する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、本発明の第３の態様によると、第１音データと第２音データとから除去対象となるノイズを低減する音処理装置であって、前記第１音データから前記ノイズが低減された第１低減後音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記ノイズが含まれない第５音データに基づく第６音データを加算する加算部とを備える音処理装置を提供する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の第４の様態によると、前記音処理装置を備える電子機器を提供する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の第５の様態によると、前記音処理装置と、前記動作部と、を備える撮像装置を提供する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
さらに、本発明の第６の態様によると、コンピュータに、第１音データから除去対象となるノイズを低減する処理と、前記第１音データから前記ノイズが低減された前記２音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算する処理とを実行させるプログラムを提供する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の第７の様態によると、第１音データから除去対象となるノイズを低減し、前記第１音データから前記ノイズが低減された前記２音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算する音処理方法を提供する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の第８の態様によると、コンピュータに、第１音データと第２音データとから除去対象となるノイズを低減する処理と、前記第１音データの第１位相情報と前記第２音データの第２位相情報との関係を第１関係とし、第３位相情報と第４位相情報との第２関係が前記第１関係を含む所定の範囲に含まれるよう、前記第３位相情報と前記第４位相情報とを生成する処理と、前記第１音データから前記ノイズが低減された第１低減後音データに、前記第３位相情報を有する第３音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記第４位相情報を有する第４音データを加算する処理とを実行させるプログラムを提供する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の第９の態様によると、第１音データと第２音データとから除去対象となるノイズを低減し、前記第１音データの第１位相情報と前記第２音データの第２位相情報との関係を第１関係とし、第３位相情報と第４位相情報との第２関係が前記第１関係を含む所定の範囲に含まれるよう、前記第３位相情報と前記第４位相情報とを生成し、前記第１音データから前記ノイズが低減された第１低減後音データに、前記第３位相情報を有する第３音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記第４位相情報を有する第４音データを加算する音処理方法を提供する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の第１０の態様によると、コンピュータに、第１音データと第２音データとから除去対象となるノイズを低減する処理と、前記第１音データから前記ノイズが低減された第１低減後音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記ノイズが含まれない第５音データに基づく第６音データを加算する処理とを実行させるプログラムを提供する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の第１１の態様によると、第１音データと第２音データとから除去対象となるノイズを低減し、前記第１音データから前記ノイズが低減された第１低減後音データに、前記ノイズが含まれない第３音データに基づく第４音データを加算し、前記第２音データから前記ノイズが低減された第２低減後音データに、前記ノイズが含まれない第５音データに基づく第６音データを加算する音処理方法を提供する。
本発明の第１２の態様によると、入力された音データのうち所定のノイズが含まれる第１音データから所定のデータを減算し第２音データとする減算部と、前記音データのうち前記所定のノイズが含まれない第３音データに基づいて、前記第２音データに加算する第４音データを生成する生成部とを備える音処理装置を提供する。
本発明の第１３の態様によると、コンピュータに、入力された音データのうち所定のノイズが含まれる第１音データから所定のデータを減算し第２音データとする処理と、前記音データのうち前記所定のノイズが含まれない第３音データに基づいて、前記第２音データに加算する第４音データを生成する処理とを実行させるプログラムを提供する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
以下、図面を参照して、本発明の実施の形態について説明する。
［第１実施形態］
図１は、この発明の第１実施形態による信号処理装置（音処理装置）１００Ａの構成の一例を示す概略ブロック図である。まず、信号処理装置１００Ａの概要について説明する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０２８０
【補正方法】変更
【補正の内容】
【０２８０】
１，４００，４００Ｄ：撮像装置、１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ：信号処理装置（音処理装置）、１１０：信号処理部、１１０Ｄ：信号処理本体、１１０Ｌ：左信号処理部、１１０Ｒ：右信号処理部、１１１：第１変換部（変換部）、１１１Ｌ：左変換部、１１１Ｒ：右変換部、１１２Ｌ：左判定部，１１２Ｒ：右判定部、１１５：ノイズ低減部（減算部）、１２１：補正信号生成部（生成部）、１２３：第２変換部（変換部）、１２８：加算部３１０：環境音補正部、３２６：右位相調整部、３２８Ｌ：左加算部、３２８Ｒ：右加算部、４１０：位相情報生成部、５００Ｌ：左入力音，５００Ｒ：右入力音
【手続補正書】
【提出日】平成28年3月28日(2016.3.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音データから除去対象となるノイズを低減する音処理装置であって、
前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定する判定部と、
前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、前記音データのうち前記ノイズを含まないと判定された第３音データに基づいて、前記音データに含まれないデータが補正された第４音データを加算する加算部とを備える音処理装置。
【請求項２】
音データから除去対象となるノイズを低減する音処理装置であって、
前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定する判定部と、
前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、予め定められた第３音データに基づいて、前記音データに含まれないデータが補正された第４音データを加算する加算部とを備える音処理装置。
【請求項３】
請求項１または請求項２に記載の音処理装置であって、
前記第４音データは、周波数変換された前記音データに含まれないデータが、周波数変換された第３音データに基づいて補正されたデータである音処理装置。
【請求項４】
請求項３に記載の音処理装置であって、
周波数変換された前記音データに含まれないデータは、周波数変換された前記第３音データに基づいて、スペクトルの振幅の値が補正される音処理装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の音処理装置であって、  
前記音データに含まれないデータを、前記第３音データに基づいて補正する補正部をさらに備える音処理装置。
【請求項６】
請求項１または請求項２に記載の音処理装置であって、
前記第４音データは、生成された乱数データまたは疑似乱数データが、前記第３音データに基づいて補正されたデータである音処理装置。
【請求項７】
請求項６に記載の音処理装置であって、
前記第４音データは、前記乱数データまたは前記疑似乱数データに窓関数が乗じられ、前記窓関数が乗じられた前記乱数データまたは前記疑似乱数データが周波数領域に変換され、周波数領域に変換された前記窓関数が乗じられた前記乱数データまたは前記疑似乱数データが、周波数領域に変換された前記第３音データに基づいて補正されたデータである音処理装置。
【請求項８】
請求項６または請求項７に記載の音処理装置であって、
前記乱数データまたは前記疑似乱数データを生成する生成部をさらに備える音処理装置。
【請求項９】
請求項１または請求項２に記載の音処理装置であって、
乱数データまたは疑似乱数データによって位相情報を生成する位相情報生成部をさらに備え、
前記第４音データは、前記位相情報生成部によって生成された前記位相情報を有する音処理装置。
【請求項１０】
請求項１または請求項２に記載の音処理装置であって、
前記第１音データの第１位相情報を取得し、前記第１音データの位相情報とは異なる第２位相情報を生成する位相情報生成部をさらに備え、
前記第４音データは、前記位相情報生成部によって生成された前記第２位相情報を有する音処理装置。
【請求項１１】
請求項１に記載の音処理装置であって、
前記第３音データは、前記音データのうち前記ノイズを含まないと前記判定部によって判定された複数のデータに基づいて生成される音処理装置。
【請求項１２】
請求項２に記載の音処理装置であって、
前記第３音データは、記憶部に記憶された複数の音データから選択される音処理装置。
【請求項１３】
請求項１から請求項１２のいずれか一項に記載の音処理装置であって、
前記ノイズ情報は、前記音データ収音時に前記ノイズを発生させる動作部が動作したことを示す情報である音処理装置。
【請求項１４】
請求項１３に記載の音処理装置であって、
前記動作部は、撮像を行う撮像装置に設置され、
前記動作部は、前記撮像装置に設置されたレンズ、または前記撮像装置に設置された操作部である音処理装置。
【請求項１５】
請求項１３または請求項１４に記載の音処理装置であって、
前記動作部が動作したことを示す情報は、前記動作部を動作させるために発生する制御信号に基づく情報である音処理装置。
【請求項１６】
請求項１から請求項１４の少なくとも一項に記載の音処理装置であって、
時間領域の前記第１音データを周波数領域に変換する周波数領域変換部と、
前記周波数領域変換部によって変換された前記第１音データから周波数領域の前記ノイズを減算する低減部とを備える音処理装置。
【請求項１７】
請求項１６に記載の音処理装置であって、
前記加算部は、前記周波数領域変換部によって変換された前記第１音データのうち前記ノイズが減算された周波数成分に対して、周波数領域の前記第４音データを加算する音処理装置。
【請求項１８】
請求項１６または請求項１７に記載の音処理装置であって、
前記第１音データを含む前記音データを複数の区間に分割する分割部とを備え、
前記周波数領域変換部は、前記分割部によって分割された前記複数の区間のうちの前記第１音データを周波数領域に変換する音処理装置。
【請求項１９】
請求項１から請求項１８のいずれか一項に記載の音処理装置を備える電子機器。
【請求項２０】
請求項１３から請求項１５のいずれか一項に記載の音処理装置と、
前記動作部とを備える撮像装置。
【請求項２１】
音データから除去対象となるノイズを低減する音処理装置のコンピュータに実行させるプログラムであって、
前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定する処理と、
前記音データのうち前記ノイズを含まないと判定された第３音データに基づいて前記音データに含まれないデータを補正し、第４音データを生成する処理と、
前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、前記第４音データを加算する処理とをコンピュータに実行させるプログラム。
【請求項２２】
音データから除去対象となるノイズを低減する音処理方法であって、
前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定し、
前記音データのうち前記ノイズを含まないと判定された第３音データに基づいて前記音データに含まれないデータを補正し、第４音データを生成し、
前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、前記第４音データを加算する音処理方法。
【請求項２３】
音データから除去対象となるノイズを低減する音処理装置のコンピュータに実行させるプログラムであって、
前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定する処理と、
予め定められた第３音データに基づいて前記音データに含まれないデータを補正し、第４音データを生成する処理と、
前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、前記第４音データを加算する処理とをコンピュータに実行させるプログラム。
【請求項２４】
音データから除去対象となるノイズを低減する音処理方法であって、
前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定し、
予め定められた第３音データに基づいて前記音データに含まれないデータを補正し、第４音データを生成し、
前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、前記第４音データを加算する音処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明は上述する課題を解決するためになされたもので、本発明の第１の態様によると、音データから除去対象となるノイズを低減する音処理装置であって、前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定する判定部と、前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、前記音データのうち前記ノイズを含まないと判定された第３音データに基づいて、前記音データに含まれないデータが補正された第４音データを加算する加算部とを備える音処理装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また、本発明の第２の態様によると、音データから除去対象となるノイズを低減する音処理装置であって、前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定する判定部と、前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、予め定められた第３音データに基づいて、前記音データに含まれないデータが補正された第４音データを加算する加算部とを備える音処理装置である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の第３の態様によると、音データから除去対象となるノイズを低減する音処理装置のコンピュータに実行させるプログラムであって、前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定する処理と、前記音データのうち前記ノイズを含まないと判定された第３音データに基づいて前記音データに含まれないデータを補正し、第４音データを生成する処理と、前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、前記第４音データを加算する処理とをコンピュータに実行させるプログラムである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の第４の態様によると、音データから除去対象となるノイズを低減する音処理方法であって、前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定し、前記音データのうち前記ノイズを含まないと判定された第３音データに基づいて前記音データに含まれないデータを補正し、第４音データを生成し、前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、前記第４音データを加算する音処理方法である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
さらに、本発明の第５の態様によると、音データから除去対象となるノイズを低減する音処理装置のコンピュータに実行させるプログラムであって、前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定する処理と、予め定められた第３音データに基づいて前記音データに含まれないデータを補正し、第４音データを生成する処理と、前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、前記第４音データを加算する処理とをコンピュータに実行させるプログラムである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の第６の態様によると、音データから除去対象となるノイズを低減する音処理方法であって、前記音データと前記ノイズを含むことを示すノイズ情報とが関連付けられ、前記ノイズ情報に基づいて、前記音データのうちの前記ノイズを含むデータを判定し、予め定められた第３音データに基づいて前記音データに含まれないデータを補正し、第４音データを生成し、前記音データのうち前記ノイズを含むと判定された第１音データから前記ノイズが低減された第２音データに、前記第４音データを加算する音処理方法である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【国際調査報告】
2014017371.tif 000017
2014017371.tif 000018
2014017371.tif 000019
2014017371.tif 000020