(57)【要約】【課題】  ＳＳ法によるノイズ低減の違和感を軽減する。【解決手段】  ＦＦＴ処理部１３１はメカノイズ音を含む音声データを高速フーリエ変換し、ＣＰＵ１１１及び減算器１３２に出力する。ＣＰＵ１１１はＦＦＴ処理部１３１の出力から平均音量を検出し、その平均音量に従いメカノイズ音を確実に除去できる大きめの乗算係数γを決定する。乗算器１３６は、ズームノイズプロファイル１３５からの初期メカノイズ音のノイズプロファイルに係数γを乗算する。減算器１３２はＦＦＴ処理部１３１の出力から乗算器１３６の出力を減算する。乗算器１３９，１４１は、乗算器１３６の出力にマイクノイズプロファイル１３８及びホワイトノイズ発生部１４０からのランダムノイズを乗算する。加算器１３３は減算器１３２の出力に乗算器１４１の出力を加算する。逆ＦＦＴ処理部１３４は、加算器１３３の出力を逆ＦＦＴ処理する。【選択図】  図２
2015034852.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を取得する取得手段と、
前記取得手段により取得された音声信号からノイズ音を低減するノイズ低減手段であって、前記音声信号から前記ノイズ音に対応する周波数成分を減算する減算手段と、前記ノイズ音に対応する前記周波数において前記減算手段の出力にランダムノイズを加算する加算手段とを具備するノイズ低減手段
とを有する音声処理装置。
【請求項２】
前記ノイズ低減手段が、前記取得手段により取得された音声信号を周波数領域に変換して、前記減算手段に供給する手段と、前記加算手段の出力を時間領域に変換する手段とを有することを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記周波数成分の振幅が、前記取得手段により取得された音声信号の平均音量に従い決定されることを特徴とする請求項１又は２に記載の音声処理装置。
【請求項４】
前記ノイズ音は、ズームレンズを有する撮像装置の前記ズームレンズの駆動時に発生する動作音であることを特徴とする請求項１ないし３の何れか１項に記載の音声処理装置。
【請求項５】
音声信号を取得する取得ステップと、
前記取得ステップにより取得される音声信号からノイズ音に対応する周波数成分を減算する減算ステップと、
前記ノイズ音に対応する前記周波数において前記減算ステップの出力にランダムノイズを加算する加算ステップ
とを有する音声処理方法。
【請求項６】
音声信号を取得する取得ステップと、
前記取得ステップにより取得される音声信号を周波数領域に変換する変換ステップと、
前記変換ステップによる前記周波数領域の信号からノイズ音に対応する周波数成分を減算する減算ステップと、
前記ノイズ音に対応する前記周波数において前記減算ステップで得られる信号にランダムノイズを加算する加算ステップと、
前記加算ステップで得られる信号を時間領域に変換するステップ
とを有することを特徴とする音声処理方法。
【請求項７】
前記周波数成分の振幅が、前記取得ステップで取得された音声信号の平均音量に従い決定されることを特徴とする請求項５又は６に記載の音声処理方法。
【請求項８】
前記ノイズ音は、ズームレンズを有する撮像装置の前記ズームレンズの駆動時に発生する動作音であることを特徴とする請求項５ないし７の何れか１項に記載の音声処理方法。
【請求項９】
音声信号を取得する取得手段と、
前記取得手段により取得された音声信号からノイズ音を低減するノイズ低減手段であって、前記音声信号から前記ノイズ音に対応する周波数成分を減算する減算手段と、前記ノイズ音に対応する前記周波数において前記減算手段の出力にランダムノイズを加算する加算手段とを具備するノイズ低減手段
としてコンピュータを動作させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、音声信号のノイズを低減するノイズ低減方法として、音声信号から所定の周波数成分を低減するスペクトルサブトラクション（Ｓｐｅｃｔｒａｌ  Ｓｕｂｔｒａｃｔｉｏｎ）法（以下、ＳＳ法と略す）を用いる方法が知られている。例えば、特許文献１には、周波数領域におけるノイズ成分を推定し抑圧することでノイズを低減する方法が記載されている。
【０００３】
このようなノイズ低減機能を有する音声処理装置は、屋外等で音声を録音再生する撮像装置に広く採用されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９５９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載される従来技術では、周波数領域信号から推定ノイズを単に減算しているに過ぎず、過減算又は減算不足により違和感の残る音声が生成されてしまう。
【０００６】
本発明は、このような不都合を解消する音声処理装置、方法及びコンピュータプログラムを提示することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る音声処理装置は、音声信号を取得する取得手段と、前記取得手段により取得された音声信号からノイズ音を低減するノイズ低減手段であって、前記音声信号から前記ノイズ音に対応する周波数成分を減算する減算手段と、前記ノイズ音に対応する前記周波数において前記減算手段の出力にランダムノイズを加算する加算手段とを具備するノイズ低減手段とを有する。
【発明の効果】
【０００８】
本発明によれば、適切にノイズを低減できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例を有する撮像装置の概略構成ブロック図である。
【図２】本実施例のノイズ除去部の概略構成ブロック図である。
【図３】本実施例のノイズ除去部での信号スペクトル例である。
【図４】マイクノイズの時間的な揺らぎを示すスペクトル例である。
【図５】本発明の実施例２を有する撮像装置の概略構成ブロック図である。
【図６】実施例２のノイズ除去部の概略構成ブロック図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１１】
図１は、本発明に係る音声処理装置の一実施例を備える撮像装置の概略構成ブロック図を示す。撮影レンズ１０１は被写体の光学像を撮像素子１０２に入射する。撮像素子１０２は、撮影レンズ１０１による被写体の光学像を電気信号に変換する。ズームエンコーダ１０３は、撮影レンズ１０１のズームレンズ位置を検出する。ズームレンズ駆動部１０４は、ＣＰＵ（中央演算処理装置）１１１からの駆動制御信号に従い撮影レンズ１０１のズームレンズを駆動する。ズームレンズ駆動部１０４は、撮影レンズ１０１のズームレンズを光軸方向に駆動するＤＣモータを具備する。
【００１２】
Ａ／Ｄ変換部１０５は、撮像素子１０２から出力されるアナログ画像信号をデジタル画像信号に変換する。画像処理部１０６は、Ａ／Ｄ変換部１０５の出力画像データを所定の表示形式及び記録形式に変換する。
【００１３】
音声マイク１０７は、周囲及び被写体の音声を電気信号として取り込む音声取得手段であり、撮像装置内で発生する機械音等も取り込む。マイクアンプ１１６は、音声マイク１０７から出力される音声信号を増幅する。Ａ／Ｄ変換部１０８は、マイクアンプ１１６から出力されるアナログ音声信号をデジタル音声信号に変換する。ノイズ除去部１０９は、Ａ／Ｄ変換部１０８から出力される音声信号からノイズを除去し、除去結果を音声処理部１１０に供給する。音声処理部１１０は、ノイズ除去部１０９から出力される音声データに所定の音声処理を施す。
【００１４】
ＣＰＵ１１１は、撮像装置全体の制御と各種演算を担う。バス１１５は、ＣＰＵ１１１と、画像処理部１０６と、音声処理部１１０と、表示部１１２と、記録部１１３とを接続し、これらの間でデータ及び制御信号を転送する。操作部１１４は、撮像装置の電源のオン／オフ、記録開始及びズームアップ／ダウン等をＣＰＵ１１１に指示するスイッチ及びボタン等からなる。
【００１５】
ＣＰＵ１１１は、操作部１１４からの記録指示を受けると、画像処理部１０６の出力画像データと音声処理部１１０の出力音声データを、バス１１５を経由して記録部１１３に転送する。記録部１１３は、バス１１５からの画像データ及び音声データを圧縮符号化し、図示しない記録媒体に所定のフォーマットで記録する。記録媒体は、例えば、メモリカード又はハードディスク等からなる。
【００１６】
ＣＰＵ１１１はまた、画像処理部１０６の出力画像データをバス１１５を介して表示部１１２にも転送する。表示部１１２は液晶ディスプレイ等で構成され、画像処理部１０６からの画像データと各種の操作画面等を表示する。
【００１７】
ユーザは、操作部１１４を操作してズーム画角をＣＰＵ１１１に指示できる。ＣＰＵ１１１は、操作部１１４からのズーム画角指示に応じて、ズームレンズ駆動部１０４に駆動制御信号を出力する。ズームレンズ駆動部１０４に内蔵されるＤＣモータは、ＣＰＵ１１１から駆動制御信号に応じて、指定された光軸方向に撮影レンズ１０１のズームレンズを駆動する。ズームレンズ駆動部１０４のＤＣモータは、ズームレンズを駆動する過程で動作音（以下、メカノイズ音という）を発生する。このメカノイズ音は、周囲の環境音声や被写体等の音声と一緒に、音声マイク１０７により取り込まれる。
【００１８】
本実施例では、ノイズ除去部１０９が、音声マイク１０７により取り込まれたメカノイズ音を除去する。図２は、ノイズ除去部１０９の概略構成ブロックを示す。図３は、ノイズ除去部１０９の動作説明用波形の模式図である。図２及び図３を参照して、ノイズ除去部１０９の構成と動作を説明する。
【００１９】
ＦＦＴ（Fast Fourier Transformation）処理部１３１は、Ａ／Ｄ変換部１０８からの音声データを高速フーリエ変換する変換手段であり、周波数スペクトル成分をＣＰＵ１１１及び減算器１３２に出力する。図３（ａ）は、ＦＦＴ処理部１３１の出力の周波数スペクトルを示す。図３（ａ）中のＦ１及びＦ２はメカノイズ音のピーク周波数に対応する周波数である。ここでは、例として、周波数Ｆ１（Ｈｚ）における振幅をＤ１１（ｄＢ）、周波数Ｆ２（Ｈｚ）における振幅をＤ１２（ｄＢ）とする。メカノイズ音の周波数スペクトルＦ１及びＦ２以外の周波数における振幅は、主にマイクアンプ１１６で発生する暗騒音の振幅を示す。図３（ａ）では、理解を容易にするために、撮影対象（被写体）や周囲の音声信号のスペクトルは省略してある。
【００２０】
ＣＰＵ１１１は、ＦＦＴ処理部１３１の出力から平均音量を検出し、その平均音量に基づいて、乗算器１３６の乗算係数γを決定する。但し、ＣＰＵ１１１は、メカノイズ音の音圧揺らぎを考慮し、メカノイズ音を確実に除去できるように乗算係数γを少し大きめの値に設定する。例えば、図３（ｂ）に示すように、周波数Ｆ１（Ｈｚ）において振幅Ｄ１３（ｄＢ）、周波数Ｆ２（Ｈｚ）において振幅Ｄ１４（ｄＢ）のメカノイズ音が発生していたとする。この場合、ＣＰＵ１１１は、図３（ｃ）に示すように、周波数Ｆ１（Ｈｚ）において振幅がＤ１３（ｄＢ）よりも大きいＤ１５（ｄＢ）、周波数Ｆ２（Ｈｚ）において振幅がＤ１４（ｄＢ）よりも大きいＤ１６（ｄＢ）となるように、乗算係数γを設定する。
【００２１】
ズームノイズプロファイル１３５には、この撮像装置の製造時に無響室等で実際に撮影レンズ１０１のズームレンズを駆動し、その際に発生したメカノイズ音のスペクトルからフロアノイズを差し引いたノイズスペクトルが初期値として収容されている。
【００２２】
乗算器１３６は、ズームノイズプロファイル１３５のズームノイズプロファイルにＣＰＵ１１１からの係数γを乗算し、図３（ｃ）に示すようなスペクトルの乗算結果を減算器１３２に供給する。減算器１３２は、ＦＦＴ処理部１３１の出力から乗算器１３６の出力を減算する。図３（ｄ）は、減算器１３２の出力スペクトル例を示す。ＦＦＴ処理部１３１から出力される周波数スペクトルから、メカノイズ音に対応する周波数スペクトルを除去した周波数スペクトルが得られる。これにより、音声マイク１０７による取得音声から、メカノイズ音の周波数成分が除去される。
【００２３】
マイクノイズプロファイル１３８には、この撮像装置の製造時に無響室等で撮影レンズ１０１のズームレンズを駆動しない無音の状態でのノイズスペクトルが収容されている。図３（ｅ）は、マイクノイズスペクトルのプロファイル例を示す。マイクノイズスペクトル成分としてはマイクアンプ１１６の暗騒音が支配的である。時間的な揺らぎが存在するものの、マイクノイズプロファイル１３８には、代表的なノイズスペクトルのみか、又は、周波数毎に平均化したノイズスペクトルを収容してある。マイクノイズプロファイル１３８は、音声マイク１０７、マイクアンプ１１６及びＡ／Ｄ変換部１０８からなる部分のノイズスペクトルを反映する。
【００２４】
マイクアンプ１１６が複数のゲイン設定が可能なものである場合、マイクノイズプロファイル１３８は、ゲインに応じた複数のノイズスペクトルを記憶する。この場合、例えば、マイクノイズプロファイル１３８が、マイクアンプ１１６に設定したゲインに応じたノイズプロファイルを出力するように構成する。
【００２５】
図４は、マイクノイズの時間的な揺らぎの波形例を示す。横軸は周波数を示し、奥に向かって時間を示す。縦軸は振幅（ｄＢ）を示す。波形４０２は時刻Ｔ０でのマイクノイズの周波数スペクトルを示す。波形４０４は、時刻Ｔ０から所定の時間が経過した時刻Ｔ１でのマイクノイズの周波数スペクトルを示す。波形４０６は周波数Ｆ１のみに着目したときの振幅の変化を示す。波形４０８は周波数Ｆ２のみに着目したときの振幅の変化を示す。
【００２６】
図２に戻る。乗算器１３９は、マイクノイズプロファイル１３８の出力に乗算器１３６の出力を乗算し、その結果を乗算器１４１に出力する。ホワイトノイズ発生部１４０は、内部に乱数発生器又は乱数テーブルを備え、図３（ｆ）に示すような、時間的な揺らぎを有するホワイトノイズを発生し、乗算器１４１に供給する。乗算器１４１は、乗算器１３９の出力にホワイトノイズ発生部１４０の出力ホワイトノイズを乗算する。図３（ｇ）は、乗算器１４１の出力波形例を示す。加算器１３３は、減算器１３２の出力（メカノイズ音を過剰に除去した音声信号）に乗算器１４１の出力を加算し、加算結果を逆ＦＦＴ処理部１３４に供給する。逆ＦＦＴ処理部１３４は、加算器１３３の出力を逆ＦＦＴ処理して、時間領域の音声データに戻し、音声処理部１１０に出力する。
【００２７】
乗算器１４１の出力は、ズームレンズによるメカノイズ音周波数Ｆ１，Ｆ２において、微小のメカノイズ音にマイクノイズとホワイトノイズというランダムノイズを重畳した音声データとなっている。乗算器１４１の出力を減算器１３２の出力に加算することで、減算器１３２により過剰に除去されたメカノイズ音周波数成分が補充される。乗算器１４１の出力におけるメカノイズ音成分の振幅は、加算器１３３での加算によっても過剰にならないように調整されている。マイクノイズとホワイトノイズというランダムノイズを重畳することで、メカノイズ音の除去と加算に伴う不自然さが緩和される。
【００２８】
図３（ｈ）で、波形Ｃ１２は加算器１３３の出力スペクトル波形を示し、波形Ｃ１１は減算器１３２の出力スペクトル波形（図３（ｄ）と同じスペクトル）を示す。周波数スペクトル波形Ｃ１１では、メカノイズ音のピーク周波数Ｆ１，Ｆ２においてノイズが過剰に除去されており、聴感上、違和感のあるノイズが発生する。しかし、スペクトル波形Ｃ１２では、メカノイズ音のピーク周波数Ｆ１，Ｆ２においてホワイトノイズにマイクノイズを重畳することで、本来のマイクノイズプロファイルに近似するノイズフロアを再現している。すなわち、本実施例では、ズームモータ駆動時のノイズ除去後の音声信号のノイズフロアの周波数特性をモータ非駆動時と同程度にすることができるので、ノイズ低減処理の有無によるノイズの質感の変化を低減でき、聴感上の違和感が緩和される。
【００２９】
全周波数帯域に対して一定のホワイトノイズを重畳するノイズ除去方法に比べると、本実施例では、重畳するノイズ量を必要最小限にすることが可能となり、残留ノイズ量を軽減できる。
【実施例２】
【００３０】
実施例１では、固定値のマイクノイズスペクトルをマイクノイズプロファイルに設定したが、マイクノイズスペクトルの経年変化等を考慮し、マイクノイズプロファイルに記憶するノイズスペクトルを更新可能としてもよい。
【００３１】
図５は、マイクノイズプロファイルのマイクノイズプロファイルを変更可能にした実施例の概略構成ブロック図を示し、図６はノイズ除去部の概略構成ブロック図を示す。
【００３２】
現在のマイクノイズプロファイルを決定又は計測するために、音声マイク１０７とマイクアンプ１１６の間にミュート回路１５０を配置し、ノイズ除去部１０９の代わりに、マイクノイズプロファイルを変更可能なノイズ除去部１５２を配置した。ノイズ除去部１５２のマイクノイズプロファイル１５６は更新可能である。図１に示す実施例と同じ機能の要素には同じ符号を付してある。
【００３３】
ＣＰＵ１５４は、ノイズ除去部１５２をノイズ除去部１０９と同様に動作させるノイズ除去モードと、ノイズ除去部１５２のマイクノイズプロファイルを更新する更新モードの２つのモードを具備する。
【００３４】
操作部１１４からのマイクノイズプロファイル更新指示に従い、ＣＰＵ１５４は更新モードになり、ミュート回路１５０をオンにする。ミュート回路１５０は、オンになると、音声マイク１０７の出力をミュート（無音化）して、マイクアンプ１１６には何も出力しない。この状態で、ＣＰＵ１５４は、ノイズ除去部１５２のＦＦＴ処理部１３１の出力データを取り込み、現在のマイクノイズプロファイルを計測し、計測結果でマイクノイズプロファイル１５６を更新する。
【００３５】
他方、ノイズ除去モードでは、ＣＰＵ１５４は、ノイズ除去部１５２をノイズ除去部１０９と同様に動作させる。ノイズ除去部１５２のノイズ除去モードでの動作は、ノイズ除去部１０９での動作説明でマイクノイズプロファイル１３８をマイクノイズプロファイル１５６と読み替えるだけであるので、詳細な説明を省略する。
【００３６】
撮像装置に適用したノイズ除去に関する実施例を説明したが、本発明は、撮像装置以外にも、特定周波数のノイズ音が混入する音声信号から当該ノイズ音を周波数領域で除去する音声処理装置に適用可能である。また、本実施例においては、ノイズ除去方法として、音声信号をＦＦＴ処理により周波数領域の信号に変換してからノイズに対応する周波数の音声を低減させていたが、ＦＦＴ処理をせずにノイズに対応する周波数の音声を低減させてもよい。
【００３７】
上述の実施例は、実施例の機能を実現するソフトウェアのプログラムを実行可能なコンピュータを有するシステム又は装置に供給して、そのプログラムを実行することにより、ソフトウェア的に実現することも可能である。従って、上述の実施例をコンピュータで実現するために、そのコンピュータに供給されるコンピュータプログラム自体も、本発明を実現するものである。つまり、上述の実施例の機能を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００３８】
なお、上述の実施例を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限られるものではない。
【００３９】
上述の実施例を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリ等がある。
【００４０】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を構成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
【００４１】
また、上述の実施例を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。上述の実施例を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。上述の実施例を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。これらは、撮像装置がコンピュータとしての内実を有する場合に明らかに適用がある。
【図１】
2015034852.tif 000003
【図２】
2015034852.tif 000004
【図３】
2015034852.tif 000005
【図４】
2015034852.tif 000006
【図５】
2015034852.tif 000007
【図６】
2015034852.tif 000008