(57)【要約】【課題】  音声信号に含まれる動作音を適切に低減する。【解決手段】  目的音と動作音とが混合された時間関数で示される音声信号を所定時間幅で分割して得られる所定時間幅の複数の第１の音声信号を、周波数関数で示される第２の音声信号に変換する信号変換手段と、第２の音声信号と、動作音を示す音声信号とから、動作音の影響を低減した第３の音声信号を求める算出手段と、複数の第２の音声信号のうちの目的音を示す音声信号を基準信号として、第３の音声信号の周波数特性を、基準信号の周波数特性に基づいて補正する補正手段と、補正手段により補正処理が施された音声信号を、周波数関数で示される音声信号から、時間関数で示される音声信号に逆変換する信号逆変換手段と、を備えたことを特徴とする。【選択図】    図４
2011097335.tif 000002
【特許請求の範囲】
【請求項１】
目的音と動作音とが混合された時間関数で示される音声信号を所定時間幅で分割して得られる所定時間毎の複数の第１の音声信号を、周波数関数で示される第２の音声信号に変換する信号変換手段と、
前記第２の音声信号と、前記動作音を示す音声信号とから、前記動作音の影響を低減した第３の音声信号を求める算出手段と、
複数の前記第２の音声信号の前記目的音を示す音声信号を基準信号として、前記第３音声信号の周波数特性を、前記基準信号の周波数特性に基づいて補正する補正手段と、
前記補正手段により補正処理が施された音声信号を、前記周波数関数で示される音声信号から、前記時間関数で示される音声信号に逆変換する信号逆変換手段と、
を備えたことを特徴とする信号処理装置。
【請求項２】
請求項１に記載の信号処理装置において、
前記周波数特性は、周波数スペクトルであり、
前記補正手段は、前記第３の音声信号の各周波数帯域における周波数スペクトルの値と係数が乗算された前記基準信号の対応する周波数帯域における周波数スペクトルの値とを比較した結果に基づいて、前記第３の音声信号に対する補正を行うことを特徴とする信号処理装置。
【請求項３】
請求項２に記載の信号処理装置において、
前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値と異なる場合に、前記第３の音声信号における周波数スペクトルの値を、前記対応する周波数スペクトルの値に置換することを特徴とする信号処理装置。
【請求項４】
請求項２に記載の信号処理装置において、
前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値未満となる場合に、前記第３の音声信号における周波数スペクトルの値を、前記対応する周波数スペクトルの値を下回らないように補正することを特徴とする信号処理装置。
【請求項５】
請求項２に記載の信号処理装置において、
前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルを超過する場合に、前記第３の音声信号における周波数スペクトルの値を、前記対応する周波数スペクトルの値を上回らないように補正することを特徴とする信号処理装置。
【請求項６】
請求項２に記載の信号処理装置において、
前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値と異なる場合に、前記第３の音声信号における周波数スペクトルの値を、前記係数が乗算された前記基準信号の周波数スペクトルのうち、前記対応する周波数スペクトルの値及びその近傍の周波数帯域の周波数スペクトルの値を用いて算出される補正値に置換することを特徴とする信号処理装置。
【請求項７】
請求項２に記載の信号処理装置において、
前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値を超過する場合に、前記第３の音声信号における周波数スペクトルの値を、前記係数が乗算された前記基準信号の周波数スペクトルのうち、前記対応する周波数スペクトルの値及びその近傍の周波数帯域の周波数スペクトルの値を用いて算出される補正値を上回らないように補正することを特徴とする信号処理装置。
【請求項８】
請求項２に記載の信号処理装置において、
前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値未満となる場合に、前記第３の音声信号における周波数スペクトルの値を、前記係数が乗算された前記基準信号の周波数スペクトルのうち、前記対応する周波数スペクトルの値及びその近傍の周波数帯域の周波数スペクトルの値を用いて算出される補正値を下回らないように補正することを特徴とする信号処理装置。
【請求項９】
請求項６〜請求項８のいずれか1項に記載の信号処理装置において、
前記補正値は、前記対応する周波数スペクトルの値及びその近傍の周波数帯域の周波数スペクトルの値の平均、前記対応する周波数スペクトルの値及びその近傍の周波数帯域の周波数スペクトルの値のうちの最大値、或いは前記対応する周波数スペクトルの値及びその近傍の周波数帯域の周波数スペクトルの値のうちの最小値のいずれかからなることを特徴とする信号処理回路。
【請求項１０】
画像信号を取得する撮像手段と、
前記撮像手段による前記画像信号の取得に同期して、音声信号を取得する収音手段と、
請求項１〜請求項９のいずれか１項に記載の信号処理装置と、
前記撮像手段により取得された画像信号と、前記信号処理装置により信号処理が施された音声信号とを記憶する記憶手段と、
を備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号に含まれるノイズ信号を低減する信号処理装置及び撮像装置に関する。
【背景技術】
【０００２】
目的の音とノイズ音とが混合された音声信号からノイズ音に基づく成分（ノイズ成分）を低減する方法として、取得される音声信号からノイズ音を推定し、推定されたノイズ音の信号（以下、ノイズ信号）を音声信号から減算することが一般的である（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９５９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような方法では、予めノイズ音を取得している場合やノイズ音が周期的な音からなる場合には、ノイズ音の大きさやノイズ音が含まれるタイミングは容易に推定できるので、音声信号からノイズ信号を適切に低減することができる。しかしながら、装置内部の各種機構などが駆動したときの音（以下、動作音）をノイズ音とした場合、上述した動作音は発生するタイミングが不定期であることから音声信号に含まれるノイズ音を推定することは難しい。このため、ノイズ信号を減算した後の音声信号には、ミュージカルノイズと呼ばれるノイズ成分が含まれてしまう恐れがある。
【０００５】
本発明は、音声信号に含まれる動作音を適切に低減することができるようにした信号処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の信号処理装置は、目的音と動作音とが混合された時間関数で示される音声信号を所定時間幅で分割して得られる所定時間幅の複数の第１の音声信号を、周波数関数で示される第２の音声信号に変換する信号変換手段と、前記第２の音声信号と、前記動作音を示す音声信号とから、前記動作音の影響を低減した第３の音声信号を求める算出手段と、複数の前記第２の音声信号のうちの前記目的音を示す音声信号を基準信号として、前記第３の音声信号の周波数特性を、前記基準信号の周波数特性に基づいて補正する補正手段と、前記補正手段により補正処理が施された音声信号を、前記周波数関数で示される音声信号から、前記時間関数で示される音声信号に逆変換する信号逆変換手段と、を備えたことを特徴とする。
【０００７】
また、前記周波数特性は、周波数スペクトルであり、前記補正手段は、前記第３の音声信号の各周波数帯域における周波数スペクトルの値と係数が乗算された前記基準信号の対応する周波数帯域における周波数スペクトルの値とを比較した結果に基づいて、前記第３の音声信号に対する補正を行うことが好ましい。
【０００８】
また、前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値と異なる場合に、前記第３の音声信号における周波数スペクトルの値を、前記対応する周波数スペクトルの値に置換することが好ましい。
【０００９】
また、前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値未満となる場合に、前記第３の音声信号における周波数スペクトルの値を、前記対応する周波数スペクトルの値を下回らないように補正することが好ましい。
【００１０】
また、前記補正手段は、前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値を超過する場合に、前記第３の音声信号における周波数スペクトルの値を、前記対応する周波数スペクトルの値を上回らないように補正することが好ましい。
【００１１】
また、前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値と異なる場合に、前記第３の音声信号における周波数スペクトルの値を、前記係数が乗算された前記基準信号の周波数スペクトルのうち、前記対応する周波数スペクトルの値及びその近傍の周波数帯域の周波数スペクトルの値を用いて算出される補正値に置換することが好ましい。
【００１２】
また、前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値を超過する場合に、前記第３の音声信号における周波数スペクトルの値を、前記係数が乗算された前記基準信号の周波数スペクトルのうち、前記対応する周波数スペクトルの値及びその近傍の周波数帯域の周波数スペクトルの値を用いて算出される補正値を上回らないように補正することが好ましい。
【００１３】
また、前記補正手段は、前記第３の音声信号における周波数スペクトルの値が、前記係数が乗算された前記基準信号における対応する周波数スペクトルの値未満となる場合に、前記第３の音声信号における周波数スペクトルの値を、前記係数が乗算された前記基準信号の周波数スペクトルのうち、前記対応する周波数スペクトルの値及びその近傍の周波数帯域の周波数スペクトルの値を用いて算出される補正値を下回らないように補正することが好ましい。
【００１４】
また、前記補正値は、前記対応する周波数スペクトルの値及びその近傍となる周波数帯域の周波数スペクトルの値の平均、前記対応する周波数スペクトルの値及びその近傍となる周波数帯域の周波数スペクトルの値のうちの最大値、或いは前記対応する周波数スペクトルの値及びその近傍の周波数帯域の周波数スペクトルの値のうちの最小値のいずれかからなることが好ましい。
【００１５】
また、本発明の撮像装置は、画像信号を取得する撮像手段と、前記撮像手段による前記画像信号の取得に同期して、音声信号を取得する収音手段と、上述した信号処理装置のいずれかと、前記撮像手段により取得された画像信号と、前記信号処理装置により信号処理が施された音声信号とを記憶する記憶手段と、を備えたことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、音声信号に含まれる動作音を有効に低減することができる。
【図面の簡単な説明】
【００１７】
【図１】デジタルカメラの構成を示す機能ブロック図である。
【図２】信号処理装置の構成を示す機能ブロック図である。
【図３】取得される音声信号、窓関数、フレーム分割及びＡＦ動作信号の関係を示す図である。
【図４】信号処理装置における信号処理の流れを示す図である。
【図５】他の実施形態における信号処理の流れを示す図である。
【発明を実施するための形態】
【００１８】
図１は、デジタルカメラ１０の構成を示す機能ブロック図である。周知のように、デジタルカメラ１０は、撮像光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号（画像信号）から画像データを取得する。
【００１９】
撮像光学系１５は、複数のレンズから構成される。この撮像光学系１５を構成する各レンズは、ズーム倍率の変更時やフォーカス調整時に、レンズ駆動部１８の駆動により光軸Ｌに沿って移動する。この撮像光学系１５には、絞り１９が設けられる。この絞り１９は絞り開口の大きさを変化させることで、撮像素子１６に向けて入射する被写体光の光量を変化させる。この絞り１９は、予め設定された絞り値となるように、その絞り開口の大きさが絞り駆動部２０により変更される。
【００２０】
シャッタ２１は、撮像光学系１５と撮像素子１６との間に配置される。このシャッタ２１は、撮像光学系１５を介して取り込まれる被写体光を撮像素子１６に照射させる開放状態と、該被写体光を遮光する遮光状態との間で切り替えられる。なお、撮影時にはシャッタ２１は、一旦遮光状態に保持された後、開放状態に切り替えられる。そして、シャッタ２１が開放状態に切り替えられてから予め設定された時間経過すると、再度遮光状態に切り替えられる。なお、このシャッタ２１における遮光状態と開放状態との間の切り替えは、シャッタ駆動部２２により実行される。
【００２１】
撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。撮像素子１６は、撮像光学系１５によって取り込まれる被写体光を受光し、受光した光量を信号電荷に変換（光電変換）して、変換した信号電荷を蓄積する。その後、撮像素子１６にて蓄積された信号電荷は、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）回路２５に出力される。
【００２２】
ＡＦＥ回路２５は、図示しないＡＧＣ回路、ＣＤＳ回路及びＡ／Ｄ変換回路を含んで構成される。ＡＦＥ回路２５は、入力された画像信号に対してゲインコントロール、雑音除去など処理を施す。これら処理の後、ＡＦＥ回路２５は、アナログの画像信号をデジタルの画像信号に変換する。このデジタルの画像信号は１コマ毎にまとめられて画像メモリ３０に記録される。なお、撮像素子１６やＡＦＥ回路２５は、図示を省略したタイミングジェネレータによって、その駆動タイミングが制御される。
【００２３】
画像処理回路３５は、画像メモリ３０に記憶された画像信号に対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。これら画像処理の後、画像処理回路３５は、例えばＪＰＥＧ方式などの記憶方式で圧縮するためのフォーマット処理を施す。また、画像処理回路３５は、画像データに対して符号化処理や復号化処理を行う。なお、符号３７は記録用Ｉ／Ｆである。
【００２４】
ＬＣＤ３８は、デジタルカメラ１０にて取得された画像、記憶媒体３６に記憶された画像、撮影待機状態時に取り込まれるスルー画像を表示する他に、撮影条件等の設定や設定変更を行う際の設定画像などを表示する。デジタルカメラ１０にて取得された画像や記憶媒体３６に記憶された画像としては、静止画像の他に動画像が挙げられる。このＬＣＤ３８は、表示制御回路３９により制御される。スピーカ４０は、動画像をＬＣＤ３８に表示する際に動画像に対応付けられた音声などを出力する。このスピーカ４０における音声の出力制御は、音声制御回路４１により実行される。
【００２５】
収音部４３は、例えばマイクから構成され、例えば動画撮影や録音時の音声を取得する。この収音部４３により取得される音声信号は、音声メモリ４４に記録される。
【００２６】
信号処理装置４５は、収音部４３にて取得される音声信号に対して、該音声信号に含まれるノイズ音を低減する処理を施す。なお、ノイズ音としては、動画撮影や録音時に、デジタルカメラ１０の内部に設けられた各機構が駆動されるときに発生する動作音や、各種機構を駆動させる際に操作される操作音などが挙げられる。また、信号処理装置４５は、取得された音声信号（上述したノイズ音を低減する処理が施された音声信号を含む）に対する圧縮符号化する処理や、圧縮符号化する処理が施された音声信号を復号化する処理を行う。
【００２７】
ＣＰＵ５０は、内蔵メモリ５１に記憶された制御プログラム（図示省略）を実行することで、デジタルカメラ１０の各部を統括的に制御する。このＣＰＵ５０における制御としては、レリーズボタン５２の操作に基づいた制御や、設定操作部５３の操作に基づいた制御が挙げられる。レリーズボタン５２の操作に基づいた制御としては、周知のＡＥ処理やＡＦ処理、撮像処理などが挙げられる。また、設定操作部５３の操作に基づいた制御としては、初期設定や撮影条件の設定等の処理が挙げられる。
【００２８】
また、ＣＰＵ５０は、撮影時に取得される画像データを記憶媒体３６に書き込む処理を行う。例えば、静止画撮影を行った場合には、ＣＰＵ５０は、画像処理回路３５にて符号化処理が施された画像データを、デジタルカメラ１０の機種情報や撮影時の撮影情報などと１つのファイル（静止画像ファイル）としてまとめて記憶媒体３６に書き込む。同様にして、動画撮影を行った場合には動画撮影にて取得された各フレーム画像データが画像処理回路３５にて符号化処理が施されるので、これら符号化処理が施された各フレーム画像データと、信号処理回路４５にて信号処理が施された音声データとを、デジタルカメラ１０の機種情報や撮影時の撮影情報などと１つのファイル（動画像ファイル）としてまとめて記憶媒体３６に書き込む。
【００２９】
次に、上述した信号処理装置４５の構成について、図２の機能ブロック図を用いて説明する。図２に示すように、信号処理装置４５は、周波数変換部６１、信号算出部６２、記憶部６３、信号補正部６４及び周波数逆変換部６５を備えている。
【００３０】
周波数変換部６１は、収音部４３により取得された音声信号を、時間関数で示される信号（時間領域信号）から周波数関数で示される信号（周波数領域信号）に変換する。まず、周波数変換部６１は、後述する窓関数における窓幅を決定する。この窓関数における窓幅を決定した後、周波数変換部６１は、決定された窓幅を１フレームとしたときに、１フレーム当たりのサンプル数が例えば１０２４となるように、入力される音声信号を分割する。
【００３１】
次に、周波数変換部６１は、０．５フレーム分ずらしながらハニング窓などの窓関数を掛けた後、窓関数が適用された音声信号にフーリエ変換処理を実行する。周知のように、ハニング窓と呼ばれる窓関数は、その両端値が０、中央値が１となる関数であることから、窓関数を掛け合わせた信号は、中心部分が強調された信号となる。このため、時間とともに変化する振動などの信号を１フレーム毎ずらして解析した場合には、特徴的な箇所を捕らえることが難しい。このため、０．５フレーム分ずらすことでオーバーラップさせた解析を行うことで、信号に特徴的な箇所を検出する。これら処理を行うことで、取得された音声信号が、０．５フレーム分ずらしながら、１フレーム毎に時間領域信号から周波数領域信号に変換される。これら処理が施された音声信号は、信号算出部６２及び信号補正部６４に出力される。
【００３２】
信号算出部６２は、取得された音声信号に含まれるノイズ音を低減する処理を行う。上述したように、収音部４３により取得された音声信号は、目的の音（目的音）と、ノイズ音（動作音）とが混合された信号からなる。信号算出部６２は、周波数変換部６１から出力される音声信号から、ノイズ音に基づく信号（ノイズ信号）を減算することで、音声信号に含まれるノイズ音を低減する。このノイズ信号は、周波数変換部６１から出力される音声信号と同一のフレーム幅に対応する周波数領域信号からなる。また、このノイズ信号は記憶部６３に予め記憶されている。
【００３３】
なお、本実施形態では、ノイズ信号を記憶部６３に予め記憶させておき、周波数変換部６１から出力された１フレーム毎の音声信号から、記憶部６３に記憶されたノイズ信号を減算するが、これに限定される必要はなく、係数を乗算したノイズ信号を、周波数変換部６１から出力される各フレームの音声信号から減算することも可能である。
【００３４】
また、ノイズ信号を記憶部６３に予め記憶させておくのではなく、従来のノイズ推定の手法を用いてノイズ信号を取得し、取得したノイズ信号、又は該ノイズ信号に係数を乗算した後の信号を、周波数変換部６１から出力された１フレーム毎の音声信号から減算してもよい。
【００３５】
信号補正部６４は、信号算出部６２によりノイズ成分が低減された音声信号（以下、低減処理済みの音声信号）に対する補正を実行する。この信号補正部６４には、各フレームの周波数領域信号のうち、ノイズ音が混合されていない、つまり目的音のみからなる音声信号が周波数変換部６１から入力される。信号補正部６４は、目的音のみの音声信号を基準信号とした上で、この基準信号に対して係数を乗算する。基準信号に対して係数を乗算した後、信号補正部６４は、係数を乗算した基準信号に基づいて、低減処理済みの音声信号を補正する。この補正が行われた補正済み音声信号は、周波数逆変換部６５に出力される。周波数逆変換部６５は、補正済み音声信号を、周波数関数で示される信号から時間関数で示される信号に逆変換する。時間関数で示される信号に逆変換された音声信号は、音声メモリ４４に書き込まれる。
【００３６】
次に、図３及び図４を用いて、信号処理装置４５における信号処理の流れについて説明する。図３に示すように、収音部４３により取得される音声は、数十ｍｓ程度の短時間においては、周期的な信号となる。上述したように、周波数変換部６１は、音声信号が入力されると、窓関数における窓幅を設定した後、フレーム分割を行う。
【００３７】
上述したように、周波数変換部６１は、０．５フレーム分ずらしながらハニング窓などの窓関数を掛けた後、窓関数が適用された音声信号にフーリエ変換処理を実行する。このため、周波数変換部６１に入力される音声信号に対して上述した処理が施されると、符号７１で示す領域及び符号７２で示す領域を１フレームとする音声信号、符号７２で示す領域及び符号７３で示す領域を１フレームとする音声信号、・・・・の順で１フレーム毎の音声信号が生成され、信号算出部６２に出力される。信号算出部６２は、１フレーム毎の音声信号が入力されると、記録部６３に記録された動作音からなるノイズ信号を読み出し、１フレーム毎の音声信号からノイズ信号を減算する。
【００３８】
例えば、収音部４３により音声を取得している際にＡＦ（オートフォーカス）処理が実行されるときには、ＡＦ動作信号が出力される。このＡＦ動作信号が出力されることを受けて、レンズ駆動部１８が駆動し、撮像光学系１５を構成するレンズが光軸Ｌ方向に移動する。このレンズ駆動部１８の駆動及び撮像光学系１５を構成するレンズの移動時には、その動作音が生じる。このため、収音部４３により取得される音声信号は、目的音とノイズ音とが混合された音声信号となる。例えばＡＦ駆動信号が出力されたタイミングが符号７６で示す領域内の場合には、それ以降の領域（符号７７，７８で示す領域）では、音声信号にノイズ成分が重畳されていると推定することができる。
【００３９】
例えばノイズ成分が重畳された音声信号は、以下の（１）式で表すことができる。
【００４０】
ｘ（ｔ）＝ｓ（ｔ）＋ｎ（ｔ）・・・（１）
ここで、ｘ（ｔ）は収音部４３により取得される音声信号、ｓ（ｔ）は目的音の音声信号、ｎ（ｔ）は動作音などのノイズ信号である。なお、これら信号は時間関数で示される。
【００４１】
上述したフーリエ変換を行うことで、目的音とノイズ音とが混合された音声信号は、時間関数で示される信号ｘ（ｔ）から、周波数関数で示される信号Ｘ（ｆ）に変換される。なお、ｆは周波数を示す。
【００４２】
ここで、目的音の音声信号をＳｅ（ｆ）とすると、目的音の音声信号をＳｅ（ｆ）は以下に示す（２）式で表される。
【００４３】
｜Ｓｅ（ｆ）｜＝｜Ｘ（ｆ）｜−α｜Ｎｅ（ｆ）｜・・・（２）
なお、Ｎｅ（ｆ）はノイズ信号、αは減算係数である。このαの値は、上述した（２）式を用いて目的音のみの音声信号を求める際に、減算するノイズ信号の大きさによっては、算出される目的成分の信号の周波数特性が変化してしまう場合や、減算後の音声信号にミュージカルノイズなどを人工的に重畳させてしまうこともある。このため、αの値としては、０．５〜４の値が用いられることが望ましい。
【００４４】
図４は、各信号（８１、８２、８３、８３’、８４、８４’）の周波数スペクトルを示しており、各周波数スペクトルのグラフは、横軸が周波数帯域、縦軸が音の強度（以下、「周波数スペクトルの値」ともいう）を示している。
【００４５】
以下、図４に示されるように、取得された音声信号に対して符号８１を、ノイズ信号に対して符号８２を付して説明する。信号算出部６２は、記憶部６３に記憶されたノイズ信号８２を読み出した後、フーリエ変換された音声信号８１における周波数スペクトル８１ａ〜８１ｈから、ノイズ信号８２における周波数スペクトル８２ａ〜８２ｈをそれぞれ周波数帯域毎に減算する。この減算処理により、ノイズ成分が低減された低減処理済みの音声信号８３が生成される。
【００４６】
次に、信号補正部６４は、基準信号８４に対して係数βを乗算した信号（符号８４’）を生成する。この信号８４’を生成した後、信号補正部６４は、係数βが乗算された基準信号８４’の周波数スペクトルと低減処理済みの音声信号８３の周波数スペクトルとを周波数領域毎に比較する。すなわち、低減処理済みの音声信号８３の各周波数帯域における音の強度と、係数βが乗算された基準信号８４’の対応する周波数帯域における音の強度とを比較する。
【００４７】
例えば低減処理済みの音声信号８３におけるある周波数帯域の音の強度が、係数βが乗算された基準信号８４’における対応する周波数帯域の音の強度の値未満となる場合には、低減処理済みの音声信号８３におけるその周波数帯域の音の強度の値を、係数βが乗算された基準信号８４’における対応する周波数帯域の音の強度の値に置換する。
【００４８】
同様にして、低減処理済みの音声信号８３におけるある周波数帯域の音の強度が、係数βが乗算された基準信号８４’における対応する周波数帯域の音の強度の値を超過する場合には、低減処理済みの音声信号８３におけるその周波数帯域の音の強度の値を、係数βが乗算された基準信号８４’における対応する周波数帯域の音の強度の値に置換する。
【００４９】
なお、図４は、低減処理済みの音声信号８３の周波数スペクトル８３ｅの値（音の強度）が、係数βが乗算された基準信号８４’の周波数スペクトル８４’ｅの値未満となる場合を示している。この場合、信号補正部６４は、低減処理済みの音声信号８３の周波数スペクトル８３ｅの値を、係数βが乗算された基準信号８４’における各周波数帯域の周波数スペクトル８４’ｅの値に置換する。
【００５０】
これにより、補正処理が施された音声信号（補正済みの音声信号）８３’が生成される。この補正済みの音声信号８３’は、周波数逆変換部６５による逆フーリエ変換等により、周波数関数で示される信号から時間関数で示される信号に変換される。なお、各フレームの周波数領域信号は、０．５フレーム分ずらしながらのフーリエ変換処理により生成されることから、周波数逆変換部６５により逆フーリエ変換処理が施された時間関数で示される音声信号は、０．５フレームずらしながらつなぎ合わされる。
【００５１】
このように、音声信号からカメラ内部の機構が駆動したときに発生する動作音の成分を減算することで、動作音の影響を低減した音声信号を生成した後、この動作音の影響を低減した音声信号を目的音のみの音声信号に基づいて補正している。このため、本来の動作音とは異なる特性の音からなる動作音をノイズ音として推定された場合に生じるミュージカルノイズの発生を防止することができる。このように本実施形態においては、取得された音声信号に含まれるノイズ音を適切に低減することができる。
【００５２】
本実施形態では、ノイズ音としての動作音の発生の要件として、ＡＦ駆動信号が出力されるタイミングを挙げているが、この他に、ズームボタンなどの操作部が操作されたときに出力される操作信号など、デジタルカメラに設けられた操作部の操作信号が出力されるタイミングや、絞り値を変更する際に駆動する絞り駆動部の駆動信号や、手ブレ補正機能を備えたデジタルカメラの場合には手ブレ補正処理の開始信号が出力されるタイミングなどが挙げられる。
【００５３】
本実施形態では、周波数帯域毎の周波数スペクトルの比較において、低減処理済みの音声信号８３におけるある周波数帯域における周波数スペクトルの値（音の強度）が、係数βが乗算された基準信号８４’の対応する周波数帯域における周波数スペクトルの値未満となる場合に、低減処理済みの音声信号におけるその周波数帯域の周波数スペクトルの値を、係数βが乗算された基準信号の対応する周波数帯域の周波数スペクトルの値に置換しているが、これに限定される必要はない。
【００５４】
例えば、低減処理済みの音声信号におけるある周波数帯域における周波数スペクトルの値が、係数βが乗算された基準信号の対応する周波数帯域の周波数スペクトルの値未満となる場合には、低減処理済みの音声信号におけるその周波数帯域における周波数スペクトルの値を、係数βが乗算された基準信号の対応する周波数帯域の周波数スペクトルの値を上回る値に補正してもよい。この場合、予め隣り合う周波数帯域の周波数スペクトルの値の比を、低減処理済みの音声信号８３と係数βが乗算された基準信号８４’とのそれぞれで算出し、隣り合う周波数帯域の周波数スペクトルの値の比が一致するように、低減処理済みの音声信号８３における周波数スペクトルの値を補正すればよい。
【００５５】
また、低減処理済みの音声信号におけるある周波数帯域の周波数スペクトルの値が、係数βが乗算された基準信号の対応する周波数帯域の周波数スペクトルの値を超過している場合も同様であり、低減処理済みの音声信号におけるその周波数帯域の周波数スペクトルの値を、係数βが乗算された基準信号の対応する周波数帯域の周波数スペクトルの値に置換せずに、低減処理済みの音声信号におけるその周波数帯域の周波数スペクトルの値を、係数βが乗算された基準信号の対応する周波数帯域の周波数スペクトルの値を下回る値に補正してもよい。隣合う周波数帯域の周波数スペクトルの値の比が一致するように補正するのも同様に行えばよい。
【００５６】
本実施形態では、基準信号の各周波数帯域の周波数スペクトルに対して係数βを乗算し、係数βが乗算された基準信号における周波数帯域毎の周波数スペクトルと、低減処理済みの音声信号における周波数帯域毎の周波数スペクトルを、周波数帯域毎に比較し、比較の結果、周波数スペクトルの値が異なる周波数帯域を補正対象の周波数帯域とし、低減処理済みの音声信号におけるその補正対象の周波数帯域の周波数スペクトルを補正する。そして、低減処理済みの音声信号における補正対象の周波数帯域の周波数スペクトルを補正する際に、係数βが乗算された基準信号における対応する周波数帯域（補正対象の周波数帯域）の周波数スペクトルに基づいて、補正を行っている。しかしながら、周波数スペクトルの補正のしかたは、これに限定されるものではなく、基準信号における周波数帯域のうち、補正対象の周波数帯域を含む複数の周波数帯域（例えば、補正対象の周波数帯域と隣り合う周波数帯域）の周波数スペクトルの値の単純平均値、加重平均値、最大値或いは最小値のいずれかを求め、この求めた値を制限値として、この制限値に基づいて低減処理済みの音声信号における周波数スペクトルのうち、補正対象の周波数帯域の周波数スペクトルの値の補正を行うことも可能である。以下、単純平均値を用いる場合について説明する。なお、単純平均値を求める際に用いる周波数スペクトルの数は適宜設定してよいものとする。
【００５７】
図５に示すように、例えば低減処理済みの音声信号８３における各周波数帯域の周波数スペクトルのうち、周波数スペクトル８３ｅにおける周波数帯域が補正対象の周波数帯域である場合について説明する。信号補正部６４は、基準信号における各周波数帯域の周波数スペクトルのうち、周波数スペクトル８３ｅにおける周波数帯域を含む複数の周波数帯域の周波数スペクトル（例えば周波数スペクトル８６ｄ、８６ｅ、８６ｆ）の値を読み出し、これら周波数スペクトルの単純平均値を算出する。そして、信号補正部６４は算出した単純平均値に、係数σを乗算することで制限値を算出する。次に、信号補正部６４は、算出した制限値と、対象の周波数帯域の周波数スペクトルの値とを比較する。
【００５８】
上述した比較において、例えば周波数スペクトル８３ｅの値が、算出した制限値未満となる場合や、算出した制限値を超過する場合には、信号補正部６４は、周波数スペクトル８３ｅの値を制限値に置換する。
【００５９】
本実施形態では、基準信号の各周波数帯域の周波数スペクトルに対して係数βを乗算した値を各周波数帯域の制限値とし、この制限値を上限にした補正や、この制限値を下限にした補正行っている。しかしながら、基準信号の各周波数帯域の周波数スペクトルに対して係数βを乗算した値を制限値ではなく目標値として設定した上で、低減処理済みの音声信号の周波数スペクトルのうち、補正対象とする周波数スペクトルの値を目標値に近づけるように補正することも可能である。
【００６０】
本実施形態では、動画像撮影の際に取得される音声信号を例に挙げて説明しているが、これに限定される必要はなく、例えば音声信号のみを取得する場合にも適応できる。つまり、録音機能を有する電子機器であれば、本発明を適用することが可能である。また、動画撮影を行う装置としてデジタルカメラを例に挙げて説明しているが、この他に、携帯電話機や、ＰＤＡなどの携帯型端末機であってもよい。さらに、図２で示す信号処理装置の各機能をコンピュータにて実行させることが可能なプログラムであってもよい。この場合、該プログラムは、メモリカード、光学ディスク、磁気ディスクなどのコンピュータで読み取り可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００６１】
１０…デジタルカメラ、１５…撮像光学系、１６…撮像素子、１８…レンズ駆動部、１９…絞り、２０…絞り駆動部、２１…シャッタ、２２…シャッタ駆動部、３６…記憶媒体、４３…収音部、４４…音声メモリ、４５…信号処理装置、６１…周波数変換部、６２…信号算出部、６３…記録部、６４…信号補正部、６５…信号逆変換部
【図１】
2011097335.tif 000003
【図２】
2011097335.tif 000004
【図３】
2011097335.tif 000005
【図４】
2011097335.tif 000006
【図５】
2011097335.tif 000007