(57)【要約】【課題】音質の低下を防止しつつ風雑音を低減させることができる音声信号処理装置を提供することを課題とする。【解決手段】音声信号処理装置は、複数の音声信号の同相成分及び逆相成分を生成する生成手段と、同相成分及び逆相成分の信号のうちの第１の周波数帯域の信号をそれぞれ抽出する第１及び第２の抽出手段と、同相成分及び逆相成分の信号のうちの第１の周波数帯域よりも高い第２の周波数帯域の信号をそれぞれ抽出する第３及び第４の抽出手段と、第１及び第２の抽出手段により抽出された信号の差分を出力する第１の差分手段と、第３及び第４の抽出手段により抽出された信号の差分を出力する第２の差分手段と、第１及び第２の差分手段が出力する差分をそれぞれ積分する第１及び第２の積分手段と、第１及び第２の積分手段の積分値に応じて、複数の音声信号に対して風雑音の低減処理を行うように制御する制御手段とを有する。【選択図】図２
2018042025.tif 000002
【特許請求の範囲】
【請求項１】
複数の音声信号の同相成分を生成する同相成分生成手段と、
前記複数の音声信号の逆相成分を生成する逆相成分生成手段と、
前記同相成分の信号のうちの第１の周波数帯域の信号を抽出する第１の抽出手段と、
前記逆相成分の信号のうちの前記第１の周波数帯域の信号を抽出する第２の抽出手段と、
前記同相成分の信号のうちの前記第１の周波数帯域よりも高い第２の周波数帯域の信号を抽出する第３の抽出手段と、
前記逆相成分の信号のうちの前記第２の周波数帯域の信号を抽出する第４の抽出手段と、
前記第１の抽出手段により抽出された信号と前記第２の抽出手段により抽出された信号との差分を出力する第１の差分手段と、
前記第３の抽出手段により抽出された信号と前記第４の抽出手段により抽出された信号との差分を出力する第２の差分手段と、
前記第１の差分手段が出力する差分を積分する第１の積分手段と、
前記第２の差分手段が出力する差分を積分する第２の積分手段と、
前記第１の積分手段の積分値が第１の閾値以上であり、かつ前記第１の積分手段の積分値と前記第２の積分手段の積分値との差分が第２の閾値以上である場合に、前記複数の音声信号に対して風雑音の低減処理を行うように制御する制御手段と
を有することを特徴とする音声信号処理装置。
【請求項２】
さらに、前記第１の差分手段が出力する差分を、前記第１の積分手段の積分期間よりも長い積分期間で積分する第３の積分手段を有し、
前記制御手段は、前記第３の積分手段の積分値が第３の閾値以上である場合に、前記複数の音声信号に対して風雑音の低減処理を行うように制御することを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
前記制御手段は、前記第３の積分手段の積分値が第３の閾値以上である場合は、前記第１の積分手段の積分値が第１の閾値以上であるか、及び、前記第１の積分手段の積分値と前記第２の積分手段の積分値との差分が第２の閾値以上であるか、にかかわらず、前記複数の音声信号に対して風雑音の低減処理を行うように制御することを特徴とする請求項２に記載の音声信号処理装置。
【請求項４】
前記制御手段は、前記第１の積分手段の積分値が第１の閾値以上であり、かつ前記第１の積分手段の積分値と前記第２の積分手段の積分値との差分が第２の閾値未満であっても、前記複数の音声信号に対して風雑音の低減処理中である場合には、前記複数の音声信号に対して風雑音の低減処理を継続するように制御することを特徴とする請求項１に記載の音声信号処理装置。
【請求項５】
前記第１の周波数帯域は、３００Ｈｚ未満の一部又は全てを含むことを特徴とする請求項１から４のいずれか１項に記載の音声信号処理装置。
【請求項６】
前記第２の周波数帯域は、３００Ｈｚ以上かつ４０００Ｈｚ以下の一部又は全てを含むことを特徴とする請求項１から５のいずれか１項に記載の音声信号処理装置。
【請求項７】
前記複数の音声信号は、右チャンネル音声信号及び左チャンネル音声信号であることを特徴とする請求項１から６のいずれか１項に記載の音声信号処理装置。
【請求項８】
さらに、前記複数の音声信号に対して風雑音の低減処理を行う風雑音処理手段を有し、
前記風雑音処理手段は、
前記逆相成分の低周波数の帯域を減衰させるハイパスフィルタ手段と、
前記同相成分と前記ハイパスフィルタ手段の出力信号を加算する第１の加算手段と、
前記同相成分から前記ハイパスフィルタ手段の出力信号を減算する第１の減算手段とを有することを特徴とする請求項１から７のいずれか１項に記載の音声信号処理装置。
【請求項９】
さらに、前記第１の抽出手段により抽出された信号を絶対値の信号に変換する第１の絶対値手段と、
前記第２の抽出手段により抽出された信号を絶対値の信号に変換する第２の絶対値手段と、
前記第３の抽出手段により抽出された信号を絶対値の信号に変換する第３の絶対値手段と、
前記第４の抽出手段により抽出された信号を絶対値の信号に変換する第４の絶対値手段と、
前記第１の差分手段の出力信号の値が負である場合には前記第１の差分手段の出力信号の値を出力せず、０又は正である場合に出力する第１の負値制限手段と、
前記第２の差分手段の出力信号の値が負である場合には前記第２の差分手段の出力信号の値を出力せず、０又は正である場合に出力する第２の負値制限手段とを有し、
前記第１の差分手段は、前記第２の絶対値手段の出力信号から前記第１の絶対値手段の出力信号を減算した値を出力し、
前記第２の差分手段は、前記第４の絶対値手段の出力信号から前記第３の絶対値手段の出力信号を減算した値を出力し、
前記第１の積分手段は、前記第１の負値制限手段の出力信号を積分し、
前記第２の積分手段は、前記第２の負値制限手段の出力信号を積分することを特徴とする請求項１から８のいずれか１項に記載の音声信号処理装置。
【請求項１０】
同相成分生成手段により、複数の音声信号の同相成分を生成する同相成分生成ステップと、
逆相成分生成手段により、前記複数の音声信号の逆相成分を生成する逆相成分生成ステップと、
第１の抽出手段により、前記同相成分の信号のうちの第１の周波数帯域の信号を抽出する第１の抽出ステップと、
第２の抽出手段により、前記逆相成分の信号のうちの前記第１の周波数帯域の信号を抽出する第２の抽出ステップと、
第３の抽出手段により、前記同相成分の信号のうちの前記第１の周波数帯域よりも高い第２の周波数帯域の信号を抽出する第３の抽出ステップと、
第４の抽出手段により、前記逆相成分の信号のうちの前記第２の周波数帯域の信号を抽出する第４の抽出ステップと、
第１の差分手段により、前記第１の抽出ステップで抽出された信号と前記第２の抽出ステップで抽出された信号との差分を出力する第１の差分ステップと、
第２の差分手段により、前記第３の抽出ステップで抽出された信号と前記第４の抽出ステップで抽出された信号との差分を出力する第２の差分ステップと、
第１の積分手段により、前記第１の差分ステップで出力する差分を積分する第１の積分ステップと、
第２の積分手段により、前記第２の差分ステップで出力する差分を積分する第２の積分ステップと、
制御手段により、前記第１の積分ステップの積分値が第１の閾値以上であり、かつ前記第１の積分ステップの積分値と前記第２の積分ステップの積分値との差分が第２の閾値以上である場合に、前記複数の音声信号に対して風雑音の低減処理を行うように制御する制御ステップと
を有することを特徴とする音声信号処理方法。
【請求項１１】
コンピュータを、請求項１から９のいずれか１項に記載された音声信号処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置、音声信号処理方法及びプログラムに関する。
【背景技術】
【０００２】
ビデオカメラ等の音声処理装置において、マイクロホン近傍に吹き付けられた風によって発生する雑音（以下、風雑音という）を低減する技術が知られている（特許文献１参照）。通常の音声信号は、左チャンネル（Ｌｃｈ）と右チャンネル（Ｒｃｈ）で同位相の成分（同相成分）を多く含んでいるのに対して、風雑音は、左チャンネルと右チャンネルで低周波数の帯域に逆位相の成分（逆相成分）を多く含んでいる。そこで、特許文献１では、左チャンネルと右チャンネルの差分の低周波数成分に基づいて風雑音の低減処理を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５―１４９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、風雑音以外にも低周波数の帯域に逆相成分を多く含む雑音がある。それは、ユーザがカメラ本体（筐体）に触れた際の振動によって発生する雑音（以下、タッチ音という）である。そのため、逆相成分の低周波数を含むだけでは、タッチ音と風雑音とを判別できないので、実際にはタッチ音であるにもかかわらず、風雑音の低減処理を行ってしまうおそれがある。タッチ音は比較的短時間で収束するため、風雑音の低減処理を行うと、音質が低下してしまう課題がある。
【０００５】
本発明の目的は、音質の低下を防止しつつ風雑音を低減させることができる音声信号処理装置、音声信号処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の音声信号処理装置は、複数の音声信号の同相成分を生成する同相成分生成手段と、前記複数の音声信号の逆相成分を生成する逆相成分生成手段と、前記同相成分の信号のうちの第１の周波数帯域の信号を抽出する第１の抽出手段と、前記逆相成分の信号のうちの前記第１の周波数帯域の信号を抽出する第２の抽出手段と、前記同相成分の信号のうちの前記第１の周波数帯域よりも高い第２の周波数帯域の信号を抽出する第３の抽出手段と、前記逆相成分の信号のうちの前記第２の周波数帯域の信号を抽出する第４の抽出手段と、前記第１の抽出手段により抽出された信号と前記第２の抽出手段により抽出された信号との差分を出力する第１の差分手段と、前記第３の抽出手段により抽出された信号と前記第４の抽出手段により抽出された信号との差分を出力する第２の差分手段と、前記第１の差分手段が出力する差分を積分する第１の積分手段と、前記第２の差分手段が出力する差分を積分する第２の積分手段と、前記第１の積分手段の積分値が第１の閾値以上であり、かつ前記第１の積分手段の積分値と前記第２の積分手段の積分値との差分が第２の閾値以上である場合に、前記複数の音声信号に対して風雑音の低減処理を行うように制御する制御手段とを有する。
【発明の効果】
【０００７】
本発明によれば、音質の低下を防止しつつ風雑音を低減させることができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態による撮像装置の構成例を示す図である。
【図２】音声処理部の構成例を示す図である。
【図３】タッチ音の周波数分布を示すスペクトラム図である。
【図４】風雑音の周波数分布を示すスペクトラム図である。
【図５】風雑音低減処理の動作状態を示す図である。
【図６】風雑音の低減処理を示すフローチャートである。
【図７】風雑音の低減処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
図１は、本発明の実施形態による撮像装置１００の構成例を示す図である。撮像装置１００は、音声信号処理装置である。撮像装置１００は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。撮像装置１００は、内部バス１０１を介して互いに接続されたＣＰＵ１０２、プログラムＲＯＭ１０３、メモリ１０４、ディスプレイ１０５、操作部１０６、撮像部１０７、画像処理部１０８、集音部１０９、音声処理部１１０、及び記録部１１１を有する。なお、撮像装置１００は、その他、電池や記録媒体ドライブ及びその他の入出力端子等を有する。また、撮像装置１００は、筐体を有し、上記の各機能ブロックは筐体内に配置される。また、ユーザが撮像装置１００の筐体に触れることにより発生した振動がタッチ音として集音部１０９により取り込まれる。
【００１０】
バス１０１は、各種データ、制御信号、及び指示信号等を撮像装置１００の各ブロックに入出力するための汎用バスである。ＣＰＵ１０２は、撮像装置１００の動作を制御する中央演算処理装置である。ＣＰＵ１０２は、音声処理部１１０の制御に関して後述する各種プログラムを実行すると共に、ディスプレイ１０５の表示制御や操作部１０６の受付処理等を行う。プログラムＲＯＭ１０３は、データや、ＣＰＵ１０２の動作処理手順（例えば撮像装置１００の立ち上げ処理や基本入出力処理、後述する各処理等のプログラム）を記憶する。
【００１１】
メモリ１０４は、ＣＰＵ１０２のワークエリアとして使用される。ディスプレイ１０５は、グラフィックユーザインターフェース（ＧＵＩ）を提供するための表示部である。操作部１０６は、撮像装置１００の筺体に配された複数のスイッチや、ディスプレイ１０５の表面上に配置された抵抗膜方式や静電容量方式によるタッチパネルである。タッチパネルは、ディスプレイ１０５の表示画像とタッチパネルの検出領域とを組み合わせることによって、ＣＰＵ１０２に様々な操作入力を指示することができる。
【００１２】
撮像部１０７は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、信号処理部１０８に送信する。画像処理部１０８は、画像の記録再生に必要な画像処理を実行するものであり、下記の処理を実行するプログラムを搭載したマイクロコンピュータである。また、画像処理部１０８は、ＣＰＵ１０２の一部の機能として下記の処理を実行するものであってもよい。画像処理部１０８は、撮像部１０７から取得したデジタル画像信号を一時的に内部メモリに記憶し、ホワイトバランスや色、明るさ等を設定に基づいて調整する画質調整処理を行う。また、画像処理部１０８は、撮像部１０７から得られた画像の画素数やアスペクト比等の画像サイズを変更する。また、画像処理部１０８は、画質調整処理された複数のフレームの画像信号から動画データを生成する。
【００１３】
集音部１０９は、内蔵されたマイクロホンにより、撮像装置１００の周囲の音声を取り込み、取得したアナログ音声信号をデジタル信号に変換して音声処理部１１０に送信する。集音部１０９は、左チャンネル（Ｌｃｈ）及び右チャンネル（Ｒｃｈ）の音声信号を出力する。音声処理部１１０は、音声の記録再生に必要な処理を実行するもので、下記の処理を実行するプログラムを搭載したマイクロコンピュータである。また、音声処理部１１０は、ＣＰＵ１０２の一部の機能として下記の処理を実行するものであってもよい。
【００１４】
音声処理部１１０は、集音部１０９から送信されたデジタル音声信号を一時的に内部メモリに記憶し、音声に特殊効果を付与するエフェクト処理やレベルの適正化処理や雑音低減処理等の音声に関する処理を行う。音声処理部１１０は、上記の処理が完了した音声信号を記録部１１１へ送信する。
【００１５】
記録部１１１は、画像信号及び音声信号を記録に適したデータ形式に変換し、データテープ、光ディスク、フラッシュメモリ等からなる記録媒体に対してデータの書き込みや格納されているデータの読み出しを行う。
【００１６】
図２は、音声処理部１１０の構成例を示す図である。音声処理部１１０は、デジタル信号処理を行う。音声処理部１１０は、複数の信号の加減算部、フィルタ処理部及び絶対値変換処理部の前後に、信号処理によるオーバフローを防止するためのビットシフタ２０１、２０２、２０８、２０９、２１３、２１４、２２０、２３５、２３６、２４２を有する。それらのビットシフタのシフト量は、各配置場所毎に適正な信号レベルが得られるように設定される。また、ビットシフタは、必要に応じて、その他の位置に配置してもよい。
【００１７】
音声処理部１１０は、集音部１０９から右チャンネル音声信号Ｒｃｈ及び左チャンネル音声信号Ｌｃｈを受信する。ビットシフタ２０１は、右チャンネル音声信号Ｒｃｈをビットシフトして出力する。ビットシフタ２０２は、左チャンネル音声信号Ｌｃｈをビットシフトして出力する。加算器２０３は、ビットシフタ２０１及び２０２の出力信号を加算することにより、右チャンネル音声信号Ｒｃｈ及び左チャンネル音声信号Ｌｃｈに含まれる同位相の成分（同相成分）の信号を出力する。加算器２０３は、複数の音声信号Ｒｃｈ及びＬｃｈの同相成分を生成する同相成分生成手段である。減算器２０４は、ビットシフタ２０１の出力信号からビットシフタ２０２の出力信号を減算することにより、右チャンネル音声信号Ｒｃｈ及び左チャンネル音声信号Ｌｃｈに含まれる逆位相の成分（逆相成分）の信号を出力する。減算器２０４は、複数の音声信号Ｒｃｈ及びＬｃｈの逆相成分を生成する逆相成分生成手段である。この同相成分の信号には通常音声が多く含まれ、この逆相成分の低音域には風雑音が多く含まれている。風雑音は、集音部１０９近傍に吹き付けられた風によって発生する雑音である。
【００１８】
風雑音処理手段は、ハイパスフィルタ（以下、ＨＰＦという）２０５と、加算器２０６と、減算器２０７とを有し、複数の音声信号Ｒｃｈ及びＬｃｈに対して風雑音の低減処理を行う。ＨＰＦ２０５は、ハイパスフィルタ手段であり、減算器２０４が出力する逆相成分の低周波数の帯域を減衰させることにより、風雑音を低減させる。ＣＰＵ１０２は、後述する風雑音の検出結果等に応じて、このＨＰＦ２０５の入切やカットオフ周波数を制御する。即ち、風雑音の低減処理を行わない場合、ＣＰＵ１０２は、ＨＰＦ２０５を制御して、ＨＰＦ２０５が入力された信号の低周波数帯域を減衰させずにそのまま出力するように制御する。また、風雑音の低減処理を行う場合には、ＣＰＵ１０２は、ＨＰＦ２０５を制御して、ＨＰＦ２０５が入力された信号の低周波数帯域を減衰させて出力するように制御する。更に、風雑音の低減処理を行う場合、ＣＰＵ１０２は、検出された風雑音が大きいほど、ＨＰＦ２０５のカットオフ周波数をより高周波数側に変更するように制御する。加算器２０６は、第１の加算手段であり、加算器２０３が出力する同相成分とＨＰＦ２０５が出力する逆相成分を加算することにより、風雑音の低減処理が施された後の右チャンネル音声信号を出力する。減算器２０７は、第１の減算手段であり、加算器２０３が出力する同相成分からＨＰＦ２０５が出力する逆相成分を減算することにより、風雑音の低減処理が施された後の左チャンネル音声信号を出力する。なお、ＨＰＦ２０５による風雑音低減の効果が現れているが、さらに風雑音が多く含まれる低音域の聴感を補正するために、加算器２０６及び減算器２０７の後段にＨＰＦを追加してもよい。
【００１９】
ビットシフタ２０８は、加算器２０６の出力信号をビットシフトして出力する。ビットシフタ２０９は、減算器２０７の出力信号をビットシフトして出力する。その他の処理部２１０は、ビットシフタ２０８及び２０９が出力する風雑音低減処理を終えた音声信号に対して、周波数特性補正やＡＬＣ（オートレベルコントロール）等の信号処理を行い、右チャンネル音声信号Ｒｃｈ及び左チャンネル音声信号Ｌｃｈを生成する。そして、その他の処理部２１０は、この右チャンネル音声信号Ｒｃｈ及び左チャンネル音声信号Ｌｃｈを、内部バス１０１を介して記録部１１１へ送信する。
【００２０】
続いて、音声処理部１１０内の風雑音検出部の構成を説明する。ローパスフィルタ（以下、ＬＰＦという）２１１は、加算器２０３が出力する同相成分の信号のうちの低周波数の帯域（第１の周波数帯域）の信号だけを通過させる。ＬＰＦ２１１は、上記の同相成分の信号のうちの第１の周波数帯域の信号を抽出する第１の抽出手段である。なお、ＬＰＦ２１１は、所望の周波数帯域を通過させるバンドパスフィルタ（以下、ＢＰＦという）であってもよい。ビットシフタ２１３は、ＬＰＦ２１１の出力信号をビットシフトして出力する。絶対値回路（ＡＢＳ）２１５は、第１の絶対値手段であり、ビットシフタ２１３が出力する正負振幅の信号を絶対値の信号に変換して出力する。
【００２１】
ＬＰＦ２１２は、減算器２０４が出力する逆相成分の信号のうちの低周波数の帯域（第１の周波数帯域）の信号だけを通過させる。ＬＰＦ２１２は、上記の逆相成分の信号のうちの第２の周波数帯域の信号を抽出する第２の抽出手段である。なお、ＬＰＦ２１２は、所望の周波数帯域を通過させるＢＰＦであってもよい。ビットシフタ２１４は、ＬＰＦ２１２の出力信号をビットシフトして出力する。絶対値回路２１６は、第２の絶対値手段であり、ビットシフタ２１４が出力する正負振幅の信号を絶対値の信号に変換して出力する。
【００２２】
増幅器２１７は、絶対値回路２１６の出力信号を増幅して出力する。減算器２１８は、絶対値回路２１６が出力する逆相成分から増幅器２１７が出力する同相成分を減算することにより、低周波数の帯域における両者のレベル差を出力する。減算器２１８は、絶対値回路２１６の出力信号と増幅器２１７の出力信号との差分を出力する第１の差分手段である。前述のように、風雑音には低周波数の帯域の逆相成分が多く含まれるため、減算器２１８の減算結果から風雑音の大きさを推定できる。このとき、両者にどれくらいのレベル差が生じたところから後述する積分器２２１及び２２２が積分を開始するかを、増幅器２１７によって設定することができる。
【００２３】
ここで、減算器２１８によって得たい情報は、逆相成分が同相成分に対してどれだけ大きいかである。逆相成分の方が小さくなる情報は不要であり、また後述の積分器２２１及び２２２が負方向の値を積分してしまっていると、風雑音を検出した直後から正の値を積分していくことができなくなる。このため、負値制限リミッタ２１９を設ける。
【００２４】
負値制限リミッタ２１９は、第１の負値制限手段であり、減算器２１８の出力信号の値が負である場合に出力せず、０又は正である場合に出力する。これにより、積分器２２１及び２２２は、同相成分より逆相成分の方が大きくなる場合だけ、減算器２１８の出力を積分するようにする。ビットシフタ２２０は、負値制限リミッタ２１９の出力信号をビットシフトして出力する。積分器２２１は、ビットシフタ２２０の出力信号を積分する第１の積分手段である。積分器２２２は、ビットシフタ２２０の出力信号を積分する第３の積分手段である。積分器２２１と積分器２２２は互いに積分期間が異なり、積分器２２２の積分期間は積分器２２１の積分期間よりも長い。そのため、積分器２２１は、低周波数帯域の逆相成分が同相成分よりも大きい時には俊敏に値を積分して、それを低周波数の帯域の短期間積分値ｓｈｏｒｔ＿ｌｏｗとしてＣＰＵ１０２に送信する。一方、積分器２２２は、低周波数の帯域の逆相成分が同相成分よりも大きい時には比較的緩やかに値を積分して、それを低周波数帯域の長期間積分値ｌｏｎｇ＿ｌｏｗとしてＣＰＵ１０２に送信する。
【００２５】
さらに、加算器２０３と減算器２０４によって得られた同相成分と逆相成分の信号は、第１の周波数帯域よりも高い周波数帯域（第２の周波数帯域）で同様の検出を行うためにも使用される。ＬＰＦ２３１とＨＰＦ２３３の直列接続は、加算器２０３が出力する同相成分の信号のうちの中音域の周波数帯域（第２の周波数帯域）の信号だけを通過させる。ＬＰＦ２３１とＨＰＦ２３３は、上記の同相成分の信号のうちの第２の周波数帯域の信号を抽出する第３の抽出手段である。なお、ＬＰＦ２３１とＨＰＦ２３３の直列接続は、１個のＢＰＦであってもよい。ビットシフタ２３５は、ＨＰＦ２３３の出力信号をビットシフトして出力する。絶対値回路２３７は、第３の絶対値手段であり、ビットシフタ２３５が出力する正負振幅の信号を絶対値の信号に変換して出力する。
【００２６】
ＬＰＦ２３２とＨＰＦ２３４の直列接続は、減算器２０４が出力する逆相成分の信号のうちの中音域の周波数帯域（第２の周波数帯域）の信号だけを通過させる。ＬＰＦ２３２とＨＰＦ２３４は、上記の逆相成分の信号のうちの第２の周波数帯域の信号を抽出する第４の抽出手段である。なお、ＬＰＦ２３２とＨＰＦ２３４の直列接続は、１個のＢＰＦであってもよい。ビットシフタ２３６は、ＨＰＦ２３４の出力信号をビットシフトして出力する。絶対値回路２３８は、第４の絶対値手段であり、ビットシフタ２３６が出力する正負振幅の信号を絶対値の信号に変換して出力する。
【００２７】
増幅器２３９は、絶対値回路２３７の出力信号を増幅して出力する。減算器２４０は、絶対値回路２３８が出力する逆相成分から増幅器２３９が出力する同相成分を減算することにより、中音域の周波数帯域における両者のレベル差を出力する。減算器２４０は、絶対値回路２３８の出力信号と増幅器２３９の出力信号との差分を出力する第２の差分手段である。負値制限リミッタ２４１は、第２の負値制限手段であり、減算器２４０の出力信号の値が負である場合には出力せず、０又は正である場合に出力する。ビットシフタ２４２は、負値制限リミッタ２４１の出力信号をビットシフトして出力する。積分器２４３は、ビットシフタ２４２の出力信号を積分する第２の積分手段である。積分器２４３の積分期間は、積分器２２１の積分期間と同じである。積分器２４３は、中音域の逆相成分が同相成分よりも大きい時には、俊敏に値を積分して、それを中音域の短期間積分値ｓｈｏｒｔ＿ｍｉｄとしてＣＰＵ１０２に送信する。
【００２８】
次に、音声処理部１１０の風雑音とタッチ音の違いとこれに基づく風雑音の低減処理を説明する。図３は、加算器２０３及び減算器２０４の出力における、タッチ音の周波数分布を表すスペクトラム図の一例である。タッチ音の同相成分は、加算器２０３の出力信号である。タッチ音の逆相成分は、減算器２０４の出力信号である。低周波数帯域では、同相成分に匹敵する逆相成分が生じていることが分かる。また、中音域の周波数帯域についても同様に、同相成分に匹敵する逆相成分が現れている。
【００２９】
図４は、加算器２０３及び減算器２０４の出力における、風雑音の周波数分布を表すスペクトラム図の一例である。風雑音の同相成分は、加算器２０３の出力信号である。風雑音の逆相成分は、減算器２０４の出力信号である。タッチ音と同様に、風雑音では、低周波数の帯域では同相成分に匹敵する逆相成分が生じていることが分かる。これが、低音域の逆相成分の大きさだけでは風雑音とタッチ音の違いを区別することが困難であることの原因である。しかし、風雑音の発生時、中音域の周波数帯域については、タッチ音とは異なる特徴を示している。風雑音では、３００Ｈｚから４０００Ｈｚに渡る周波数帯域において、逆相成分は同相成分に比べて明らかに小さくことが分かる。したがって、上記の第１の周波数帯域は、３００Ｈｚ未満の一部又は全てを含み、上記の第２の周波数帯域は、３００Ｈｚ以上かつ４０００Ｈｚ以下の一部又は全てを含む。
【００３０】
風雑音が発生している場合、低周波数帯域において同相成分に匹敵する逆相成分が現れるが、実際に風雑音が発生している期間では、逆相成分の方が大きい状態と同相成分の方が大きい状態とが時間の経過に応じてランダムに発生する。逆相成分の方が大きいタイミングで負値制限リミッタ２１９により出力される差分値が積分器２２１により積分される。この結果、風雑音が含まれている場合には積分器２２１の積分値が大きくなるので、積分器２２１の積分値を検出することにより風雑音が発生していることがわかる。一方、タッチ音が発生している場合にも同様に、低周波数帯域において同相成分に匹敵する逆相成分が現れるため、積分器２２１の積分値は風雑音の場合と同様に大きくなる。
【００３１】
しかし、風雑音が含まれている場合、中音域においては逆相成分の方が同相成分よりも小さいので、積分器２４３への出力は負値制限リミッタ２４１により制限されてしまい、積分器２４３の積分値は大きくならない。一方、タッチ音が含まれている場合は、図３に示すように中音域においても同相成分に匹敵する逆相成分が現れるので、逆相成分の方が大きいタイミングで負値制限リミッタ２４１により出力される差分値が積分される。
【００３２】
そのため、積分器２２１の積分値が大きい場合であっても、積分器２４３の積分値を確認することにより、風雑音が発生しているのか、或いは、風雑音ではなくタッチ音が含まれているのか、ということが検出できる。即ち、積分器２２１の積分値が大きい場合であっても、積分器２４３の積分値が大きく無い場合には風雑音であると判断できる。
【００３３】
図５は、入力された音声信号に風雑音ｗｉｎｄ及びタッチ音ｔｏｕｃｈが含まれているときに、各積分器からＣＰＵ１０２に送信される積分値ｓｈｏｒｔ＿ｌｏｗ，ｓｈｏｒｔ＿ｍｉｄ，ｌｏｎｇ＿ｌｏｗを示す。
【００３４】
まず、音声信号がタッチ音ｔｏｕｃｈのみを含む場合を説明する。タッチ音ｔｏｕｃｈが取得される期間Ｔ１においては、図３のスペクトラム図で見たように、低周波数帯域と中音域の周波数帯域の両方で逆相成分が多くなる。このとき、積分器２２１は、積分値ｓｈｏｒｔ＿ｌｏｗを俊敏に積分していき、積分値ｓｈｏｒｔ＿ｌｏｗが閾値ＴＨ２以上となる。また、積分器２４３も積分値ｓｈｏｒｔ＿ｍｉｄを俊敏に積分していき、積分値ｓｈｏｒｔ＿ｍｉｄがある程度の値に到達する。
【００３５】
ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗが所定値ＴＨ２以上となると、積分値ｓｈｏｒｔ＿ｌｏｗと積分値ｓｈｏｒｔ＿ｍｉｄとを比較する。このとき、積分値ｓｈｏｒｔ＿ｍｉｄは積分値ｓｈｏｒｔ＿ｌｏｗに近い値となっているために、両者の値の差は大きくならず、閾値ＴＨ３以上とはならない。この結果から、入力されている雑音がタッチ音であると判断できるため、ＣＰＵ１０２は、風雑音の低減処理を行わないように制御する。
【００３６】
次に、音声信号が風雑音ｗｉｎｄのみを含む場合を説明する。風雑音ｗｉｎｄが取得される期間Ｔ２及びＴ３は、図４のスペクトラム図で見たように、低周波数帯域では逆相成分が多くなるが、中音域の周波数帯域では明らかに逆相成分が少ない。このため、期間Ｔ１と同じ長さの期間Ｔ２において、積分器２２１は積分値ｓｈｏｒｔ＿ｌｏｗを俊敏に積分していき、積分値ｓｈｏｒｔ＿ｌｏｗが閾値ＴＨ２を超えるが、積分器２４３の積分値ｓｈｏｒｔ＿ｍｉｄは大きくならない。
【００３７】
ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗが閾値ＴＨ２以上になると、積分値ｓｈｏｒｔ＿ｌｏｗと積分値ｓｈｏｒｔ＿ｍｉｄとを比較する。積分値ｓｈｏｒｔ＿ｌｏｗは大きい値であるが、積分値ｓｈｏｒｔ＿ｍｉｄは小さい値であるので、両者の値の差は大きくなり、閾値ＴＨ３以上となる。この結果から、入力されている雑音は風雑音であると判断できるため、ＣＰＵ１０２は、風雑音の低減処理を行うように制御する。このとき、ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗの積分量や積分速度に応じて、ＨＰＦ２０５のカットオフ周波数の設定を変化させてもよい。
【００３８】
また、風雑音の低減処理を開始した後も、低周波数帯域の逆相成分の多い状態が継続していると、積分器２２２が緩やかに積分した積分値ｌｏｎｇ＿ｌｏｗが閾値ＴＨ１以上となる。期間Ｔ３では、ＣＰＵ１０２は、風雑音の低減処理の制御の判断基準を積分値ｌｏｎｇ＿ｌｏｗに基づくものに移行する。すなわち、ＣＰＵ１０２は、積分値ｌｏｎｇ＿ｌｏｗが閾値ＴＨ１以上である場合に、風雑音の低減処理を行うように制御する。これにより、積分値ｓｈｏｒｔ＿ｌｏｗ及びｓｈｏｒｔ＿ｍｉｄの積分時間が短いことによって生じるかもしれない過敏な反応を防ぐことができる。
【００３９】
次に、音声信号が風雑音ｗｉｎｄ及びタッチ音ｔｏｕｃｈを含む場合を説明する。期間Ｔ２では、ＣＰＵ１０２が風雑音と判断し、風雑音の低減処理を行う。風雑音の低減処理が動作中である期間Ｔ４では、積分値ｓｈｏｒｔ＿ｍｉｄが大きくなり、積分値ｓｈｏｒｔ＿ｌｏｗとｓｈｏｒｔ＿ｍｉｄの差が閾値ＴＨ３よりも小さくなる。その場合、期間Ｔ４に取得された雑音はタッチ音であると考えられる。しかし、このときは、既に積分器２２２が緩やかに積分した積分値ｌｏｎｇ＿ｌｏｗが所定値ＴＨ１以上となっているために、風雑音の低減処理の制御の判断基準が積分値ｌｏｎｇ＿ｌｏｗの値に基づくものに移行している。したがって、積分値ｓｈｏｒｔ＿ｍｉｄの状態には影響を受けず、風雑音の低減処理は、継続して行われる。
【００４０】
図６は、撮像装置１００の音声信号処理方法を示すフローチャートであり、風雑音の低減処理方法を示す。図６の処理は、ＣＰＵ１０２が各部を制御することにより行われる。まず、ステップＳ１１では、ＣＰＵ１０２は、低周波数帯域の長期間積分値ｌｏｎｇ＿ｌｏｗが閾値以上（第３の閾値ＴＨ１以上）であるか否かを判定する。ＣＰＵ１０２は、積分値ｌｏｎｇ＿ｌｏｗが閾値ＴＨ１以上である場合には、音声信号に風雑音が含まれていると判断し、ステップＳ１４に処理を進め、積分値ｌｏｎｇ＿ｌｏｗが閾値未満（閾値ＴＨ１未満）である場合にはステップＳ１２に処理を進める。ステップＳ１２では、ＣＰＵ１０２は、低周波数帯域の短期間積分値ｓｈｏｒｔ＿ｌｏｗが第１の閾値ＴＨ２以上であるか否かを判定し、閾値ＴＨ２以上である場合にはステップＳ１３に処理を進め、閾値ＴＨ２未満である場合にはステップＳ１５に処理を進める。
【００４１】
ステップＳ１３では、ＣＰＵ１０２は、音声信号に風雑音が含まれているかを判断するため、中音域の周波数帯域の短期間積分値ｓｈｏｒｔ＿ｍｉｄと低周波数帯域の短期間積分値ｓｈｏｒｔ＿ｌｏｗとを比較する。ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗから積分値ｓｈｏｒｔ＿ｍｉｄを減算した値が閾値ＴＨ３以上である場合には、音声信号に風雑音が含まれていると判断し、ステップＳ１４に処理を進める。また、ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗから積分値ｓｈｏｒｔ＿ｍｉｄを減算した値が閾値ＴＨ３未満である場合には、音声信号に風雑音が含まれていないと判断し、ステップＳ１５に処理を進める。すなわち、ステップＳ１３では、ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗと積分値ｓｈｏｒｔ＿ｍｉｄとの差分が第２の閾値ＴＨ３以上である場合には、ステップＳ１４に処理を進める。
【００４２】
また、ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗと積分値ｓｈｏｒｔ＿ｍｉｄとの差分が第２の閾値ＴＨ３未満である場合には、ステップＳ１５に処理を進める。ステップＳ１４では、ＣＰＵ（制御手段）１０２は、音声信号に風雑音が含まれていると判断し、複数の音声信号Ｒｃｈ及びＬｃｈに対して風雑音の低減処理を行うように音声処理部１１０を制御する。
【００４３】
音声処理部１１０内のその他の処理部２１０は、風雑音の低減処理した右チャンネル音声信号Ｒｃｈ及び左チャンネル音声信号ＬｃｈをＣＰＵ１０２に送信し、ＣＰＵ１０２は、ステップＳ１１に処理を戻す。ステップＳ１５では、ＣＰＵ１０２は、複数の音声信号Ｒｃｈ及びＬｃｈに対して風雑音の低減処理を行わないように制御し、ステップＳ１１に処理を戻す。例えば、ＣＰＵ１０２は、ＨＰＦ２０５を動作停止状態（切状態）に制御することにより、風雑音の低減処理を行わないように制御する。その場合、ＨＰＦ２０５は、入力信号をそのまま通過させる。
【００４４】
このように、本実施形態では、音声処理部１１０は、右チャンネル音声信号Ｒｃｈ及び左チャンネル音声信号Ｌｃｈの同相成分と逆相成分の差分の低周波数成分に加え、中音域の周波数成分も検出する。ＣＰＵ１０２は、同相成分と逆相成分の低周波数成分の差分が閾値ＴＨ２よりも大きい場合にはステップＳ１３に進む。ステップＳ１３では、ＣＰＵ１０２は、同相成分と逆相成分の低周波数成分の差分と、同相成分と逆相成分の中音域の周波数成分の差分との差が閾値ＴＨ３より小さい場合には、風雑音が含まれていないと判断し、風雑音の低減処理を行わないようにする。
【００４５】
これにより、本実施形態は、風雑音を確実に低減できると共に、風雑音が含まれておらず、タッチ音が含まれている場合には、風雑音の低減処理を行わないので、風雑音の低減処理により音質が低下してしまうことを防ぐことができる。
【００４６】
ここで、図２の構成では、積分期間が長い積分器２２２を設け、ＣＰＵ１０２は、この積分器２２２の出力値ｌｏｎｇ＿ｌｏｗに基づいて風雑音を検出したが、以下、積分器２２２を設けずに風雑音の低減処理を行う場合について説明する。図６の処理において、積分器２２２をなくしてしまうと、風雑音の低減処理の実行中にタッチ音が発生した場合には、風雑音の低減処理を中断してしまうことになる。そこで、図７に示す処理を行う。
【００４７】
図７は、撮像装置１００の音声信号処理方法を示すフローチャートであり、風雑音の低減処理方法を示す。まず、ステップＳ２１では、ＣＰＵ１０２は、低周波数帯域の短期間積分値ｓｈｏｒｔ＿ｌｏｗが閾値ＴＨ２以上であるか否かを判定する。ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗが閾値ＴＨ２以上である場合には、音声に風雑音が含まれているかを判断するため、ステップＳ２２に処理を進める。また、ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗが閾値ＴＨ２未満である場合には、ステップＳ２５に処理を進める。
【００４８】
ステップＳ２２では、ＣＰＵ１０２は、中音域の周波数帯域の短期間積分値ｓｈｏｒｔ＿ｍｉｄと低周波数帯域の短期間積分値ｓｈｏｒｔ＿ｌｏｗとを比較する。ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗから積分値ｓｈｏｒｔ＿ｍｉｄを減算した値が閾値ＴＨ３以上である場合には、音声信号に風雑音が含まれていると判断し、ステップＳ２４に処理を進める。また、ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗから積分値ｓｈｏｒｔ＿ｍｉｄを減算した値が閾値ＴＨ３未満である場合には、ステップＳ２３に処理を進める。すなわち、ステップＳ２２では、ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗと積分値ｓｈｏｒｔ＿ｍｉｄとの差分が閾値ＴＨ３以上である場合には、ステップＳ２４に処理を進める。また、ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗと積分値ｓｈｏｒｔ＿ｍｉｄとの差分が閾値ＴＨ３未満である場合には、ステップＳ２３に処理を進める。
【００４９】
ステップＳ２３では、ＣＰＵ１０２は、前回の処理において、風雑音の低減処理を行ったか否かを判定する。ＣＰＵ１０２は、前回の処理において、風雑音の低減処理を行った場合には、複数の音声信号Ｒｃｈ及びＬｃｈに対して風雑音の低減処理中であり、音声信号に風雑音が含まれていると判断し、ステップＳ２４に処理を進める。その場合、ステップＳ２４では、ＣＰＵ１０２は、複数の音声信号Ｒｃｈ及びＬｃｈに対して風雑音の低減処理中であり、複数の音声信号Ｒｃｈ及びＬｃｈに対して風雑音の低減処理を継続するように音声処理部１１０を制御する。
【００５０】
また、ステップＳ２３において、ＣＰＵ１０２は、前回の処理において、風雑音の低減処理を行っていない場合には、音声信号に風雑音が含まれていないと判断し、ステップＳ２５に処理を進める。ステップＳ２４では、ＣＰＵ１０２は、音声信号に風雑音が含まれていると判断し、複数の音声信号Ｒｃｈ及びＬｃｈに対して風雑音の低減処理を行うように音声処理部１１０を制御する。音声処理部１１０内のその他の処理部２１０は、風雑音の低減処理した右チャンネル音声信号Ｒｃｈ及び左チャンネル音声信号ＬｃｈをＣＰＵ１０２に送信し、ＣＰＵ１０２は、ステップＳ２１に処理を戻す。ステップＳ２５では、ＣＰＵ１０２は、複数の音声信号Ｒｃｈ及びＬｃｈに対して風雑音の低減処理を行わないように制御し、ステップＳ２１に処理を戻す。
【００５１】
以上のように、ステップＳ２１は、図６のステップＳ１２と同じ処理である。ステップＳ２２は、図６のステップＳ１３と同じ処理である。ステップＳ１３では、ＣＰＵ１０２は、積分値ｓｈｏｒｔ＿ｌｏｗから積分値ｓｈｏｒｔ＿ｍｉｄを減算した値が閾値ＴＨ３未満である場合には、風雑音の低減処理を動作させないようにしていた。
【００５２】
一方、ステップＳ２３では、ＣＰＵ１０２は、前回の処理において、風雑音の低減処理を行ったか否かを判定する。ＣＰＵ１０２は、前回の処理において、風雑音の低減処理を行った場合には、風雑音の低減処理の動作中にタッチ音を収音したとしても、風雑音の低減処理を中断することなく継続することができる。
【００５３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５４】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５５】
２０３  加算器、２０４  減算器、２１１，２１２，２３１，２３２  ＬＰＦ、２３３，２３４  ＨＰＦ、２１８，２４０  減算器、２２１，２２２，２４３  積分器
【図１】
2018042025.tif 000003
【図２】
2018042025.tif 000004
【図３】
2018042025.tif 000005
【図４】
2018042025.tif 000006
【図５】
2018042025.tif 000007
【図６】
2018042025.tif 000008
【図７】
2018042025.tif 000009