(57)【要約】【課題】  風雑音、駆動雑音の両方を低減することができる音声処理装置を提供する。【解決手段】  集音手段により得られた音声信号に含まれる駆動部の駆動による雑音を低減する第１の低減手段と、第１の低減手段により駆動部の駆動による雑音が低減された音声信号から風雑音を低減する第２の低減手段とを有する。【選択図】  図３
2015114444.tif 000002
【特許請求の範囲】
【請求項１】
駆動部を有する音声処理装置であって、
周囲の音声を集音して音声信号を取得する集音手段と、
前記集音手段により得られた音声信号に含まれる前記駆動部の駆動による雑音を低減する第１の低減手段と、
前記第１の低減手段により前記駆動部の駆動による雑音が低減された音声信号から風雑音を低減する第２の低減手段とを有し、
前記第１の低減手段は、前記駆動部の駆動による雑音に係数を乗算した信号を前記集音手段により得られた音声信号から減算することで前記駆動部の駆動による雑音を低減することを特徴とする音声処理装置。
【請求項２】
前記第１の低減手段は、前記集音手段により得られた音声信号のレベルに基づいて前記係数を決定することを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記第１の低減手段は、前記集音手段により得られた音声信号に含まれる風雑音を低減した後の音声信号のレベルに基づいて前記係数を決定することを特徴とする請求項１または２に記載の音声処理装置。
【請求項４】
前記第１の低減手段は、前記集音手段により得られた音声信号の所定の周波数の音声信号を低減した後の音声信号のレベルに基づいて前記係数を決定することを特徴とする請求項１から３のいずれか１項に記載の音声処理装置。
【請求項５】
前記第２の低減手段は、前記１の低減手段により前記駆動部の駆動による雑音が低減された音声信号に含まれる風雑音の量に応じた周波数帯の音声信号を低減し、
前記第１の低減手段は、前記集音手段により得られた音声信号から前記風雑音の量に応じた周波数帯の音声信号を低減した後の音声信号のレベルに基づいて前記係数を決定することを特徴とする請求項１から４のいずれか１項に記載の音声処理装置。
【請求項６】
前記第１の低減手段は、前記集音手段により得られた音声と前記駆動部の駆動による雑音との比較結果に応じて、前記係数を決定することを特徴とする請求項１に記載の音声処理装置。
【請求項７】
前記第１の低減手段は、前記集音手段により得られた音声信号に含まれる風雑音を低減した後の音声と前記駆動部の駆動による雑音との比較結果に応じて、前記係数を決定することを特徴とする請求項１に記載の音声処理装置。
【請求項８】
さらにレンズを含む撮像手段を有し、
前記駆動部は前記レンズを駆動させるための駆動部であることを特徴とする音声処理装置。
【請求項９】
駆動部の駆動による雑音を低減する音声処理方法であって、
集音手段により得られた音声信号に含まれる前記駆動部の駆動による雑音を低減する第１の低減ステップと、
前記第１の低減ステップにより前記駆動部の駆動による雑音が低減された音声信号から風雑音を低減する第２の低減ステップとを有し、
前記第１の低減ステップは、前記駆動部の駆動による雑音に係数を乗算した信号を前記集音手段により得られた音声信号から減算することで前記駆動部の駆動による雑音を低減することを特徴とする音声処理方法。
【請求項１０】
前記第１の低減ステップは、前記集音手段により得られた音声信号のレベルに基づいて前記係数を決定することを特徴とする請求項９に記載の音声処理方法。
【請求項１１】
前記第１の低減ステップは、前記集音手段により得られた音声信号に含まれる風雑音を低減した後の音声信号のレベルに基づいて前記係数を決定することを特徴とする請求項９または１０に記載の音声処理方法。
【請求項１２】
前記第１の低減ステップは、前記集音手段により得られた音声信号の所定の周波数の音声信号を低減した後の音声信号のレベルに基づいて前記係数を決定することを特徴とする請求項９から１１のいずれか１項に記載の音声処理方法。
【請求項１３】
前記第２の低減ステップは、前記１の低減ステップにより前記駆動部の駆動による雑音が低減された音声信号に含まれる風雑音の量に応じた周波数帯の音声信号を低減し、
前記第１の低減ステップは、前記集音手段により得られた音声信号から前記風雑音の量に応じた周波数帯の音声信号を低減した後の音声信号のレベルに基づいて前記係数を決定することを特徴とする請求項９から１２のいずれか１項に記載の音声処理方法。
【請求項１４】
前記第１の低減ステップは、前記集音手段により得られた音声と前記駆動部の駆動による雑音との比較結果に応じて、前記係数を決定することを特徴とする請求項９に記載の音声処理方法。
【請求項１５】
前記第１の低減ステップは、前記集音手段により得られた音声信号に含まれる風雑音を低減した後の音声と前記駆動部の駆動による雑音との比較結果に応じて、前記係数を決定することを特徴とする請求項９に記載の音声処理方法。
【請求項１６】
前記駆動部は撮像手段のレンズを駆動させるための駆動部であることを特徴とする音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、音声処理方法に関する。
【背景技術】
【０００２】
従来、音声処理置として、被写体を撮像して得られた画像データと、マイクにより得られた音声データとを記録媒体に記録するデジタルカメラが知られている。これらの撮像装置では、音声収録中のレンズの駆動に起因する雑音が収録されてしまうことがあった。これまで、このような雑音に対して、たとえば特許文献１のように、ノイズメモリに記憶されたノイズパターンに基づいて、雑音を低減する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０６−３４９２０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１においては、たとえばデジタルカメラにおいてほかに雑音とされる風雑音を低減する処理と、駆動部の駆動雑音の両方に対応する構成が考慮されていない。
【０００５】
そこで、本発明は、風雑音、駆動雑音の両方を低減することができる音声処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
このような目的を達成するために、本発明の音声処理装置は、駆動部を有する音声処理装置であって、周囲の音声を集音して音声信号を取得する集音手段と、前記集音手段により得られた音声信号に含まれる前記駆動部の駆動による雑音を低減する第１の低減手段と、前記第１の低減手段により前記駆動部の駆動による雑音が低減された音声信号から風雑音を低減する第２の低減手段とを有し、前記第１の低減手段は、前記駆動部の駆動による雑音に係数を乗算した信号を前記集音手段により得られた音声信号から減算することで前記駆動部の駆動による雑音を低減することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、風雑音、駆動雑音の両方を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施例の撮像装置の構成を示す図。
【図２】本実施例の音声処理部の構成を示す図。
【図３】本実施例の風雑音低減部の構成を示す図。
【図４】本実施例の係数決定部の構成を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１０】
なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。
【００１１】
（実施例１）
本実施例では、音声処理装置の例として撮像装置を説明するが、所定の駆動部を備え、マイク（集音部）により周囲の音声を集音して音声信号を取得することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。
【００１２】
本実施例の撮像装置は、撮像部、周囲の音声を集音して音声信号を取得する集音部と、集音分により得られた音声信号を処理する音声処理部、を有する。そして、音声処理部は、風雑音、撮像部の駆動に伴う駆動雑音を低減する処理を実行することができる。処理の詳細は実施例において説明する。
【００１３】
このような構成とすることで、本実施例の撮像装置は、風雑音、駆動雑音の両方を低減することができる。以下、このような撮像装置について説明する。
【００１４】
＜全体構成＞
まず、図１を用いて、本実施例の撮像装置１００の構成を説明する。
【００１５】
本実施例の撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、操作部１０４とを有する。また、撮像装置１００は、撮像部１１０と、画像処理部１１１と、集音部１２０と、音声処理部１２１とを有する。また、撮像装置１００は、表示部１４０と、表示制御部１４１と、記録再生部１５０と、記録媒体１５１と、姿勢検出部１６０とを有する。なお、ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称である。
【００１６】
本実施例の撮像装置１００において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３に記録された各種プログラムをＲＡＭ１０２に展開し、プログラムに応じて撮像装置１００の各ブロックを制御する。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０４は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。操作部１０４の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。なお、操作部１０４は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
【００１７】
撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶する。画像処理部１１１は、記録時にはＲＡＭ１０２に記憶された画像データを処理し、再生時には、後述の記録媒体１５１から読みだされた画像データを処理する。画像処理部１１１は、画像データのホワイトバランス調整、ゲイン調整、色強調処理等様々な処理を行う。画像処理部１１１は処理した画像データを、表示制御部１４１に送信したり、記録再生部１５０や通信部に送信したりする。
【００１８】
音声処理部１２１は、記録時には、集音部１２０により集音して得られた音声データを処理し、再生時には、後述の記録媒体１５１から読みだされた圧縮または非圧縮の音声データを処理する。たとえば、音声データのレベル調整処理、圧縮された音声データの伸張処理、音声データの圧縮処理等を行う。音声処理部１２１は、処理した音声データを、記録再生部１５０や通信部に送信したり、再生時にはスピーカに送信したりする。なお、集音部１２０は、たとえば、撮像装置１００のハウジング内に内蔵された複数の無指向性の音声を集音するマイクである。また、音声処理部１２１では音声圧縮方式として、たとえば、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いる。
【００１９】
表示部１４０は、例えば、液晶表示デバイス、または有機ＥＬ表示デバイスなどからなり、表示制御部１４１の制御により画像を表示する。表示部１４０は、ＬＥＤディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部１４１では、画像処理部１１１により処理された画像データに基づいて、表示部１４０に画像を表示する。また、表示制御部１４１は、表示部１４０に表示するデジタル画像信号に基づく映像信号に対し、マトリクス変換、ブライト調整、コントラスト調整、ガンマ調整、クロマゲイン調整、シャープネス調整等の画像信号処理を行ってもよい。
【００２０】
記録再生部１５０は、記録時においては、画像処理部１１１により処理された画像データや音声データを記録媒体１５１に記録し、再生時においては、記録媒体１５１に記録された画像データや音声データを再生する。記録再生部１５０は、記録時においては、画像データや音声データとともに、撮影日や、圧縮に関する情報、撮像部１１０の設定等の各種情報を記録媒体１５１に書き込む。なお、記録再生部１５０は、画像データや音声データを記録媒体１５１に記録する際は、たとえばＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形でファイルとして記録媒体に記録する。また、記録媒体１５１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１５０は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。
【００２１】
ここで、画像処理部１１１、音声処理部１２１、表示制御部１４１、記録再生部１５０は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、ＣＰＵ１０１がＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２２】
＜音声処理部１２１について＞
続いて、音声処理部１２１の構成及び動作について、図２、図３、図４を用いて説明する。音声処理部１２１は、集音部１２０により得られた音声信号を処理する。音声処理部１２１では、集音部１２０により得られた音声信号を処理する。音処処理部１２１は、撮像部１１０のレンズの駆動に伴う駆動雑音を低減する「駆動雑音低減処理」および、風に起因する雑音を低減する「風雑音低減処理」を実行する。そのほか、音声レベルを調整するオートレベルコントロールや無指向性のマイクにより得られた２つの音声信号の位相をずらして合成することによりステレオ化する処理を行う。本実施例においては、レンズ等の駆動部の駆動雑音を低減する処理と風雑音を低減する処理を中心に説明を行う。
【００２３】
図２は、撮像部１１０、集音部１２０、音声処理部１２１の構成を説明するための図である。また、図３は、図２の風雑音低減部２３４の構成を説明するための図である。また、図４は、図２の係数決定部２３６の構成を説明するための図である。まず、図２を用いて、音声処理部１２１の動作について説明し、次に図３、図４を用いてより詳細な説明を行う。
【００２４】
図２に示すように、本実施例の撮像部１１０は、レンズ２１１により取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子２１３により画像信号に変換する。このレンズ２１１や絞り等の駆動部を駆動させるのがレンズ制御部２１２である。レンズ制御部２１２は、ＣＰＵ１０１の制御によりレンズ２１１や絞りを駆動させる、モータ等の駆動部を有する。ＣＰＵ１０１は、ユーザの操作部１０４への操作に応じてレンズ制御部２１２の駆動部を動作させたり、撮像素子２１３により得られた画像に基づいてレンズ制御部２１２の駆動部を動作させたりする。なお、レンズ２１１、レンズ制御部２１２は交換レンズになっていてもよい。また、いわゆる防振機能を備えている場合には、ＣＰＵ１０１は、不図示の振動センサにより検出された振動に基づいて、レンズ２１１を移動させるための制御信号をレンズ制御部２１２に送信してもよい。図２においては、ＡＤ変換部等は不図示とした。また本実施例の集音部１２０は、周囲の音声を音声信号に変換する２つのマイクを有し、これらのマイクにより得られたアナログ音声信号をデジタル音声信号に変換するＡＤ変換部２２１を有する。なお、集音部１２０の２つのマイクは、無指向性の複数のマイクであるものとして本実施例では説明を行うが、指向性を有するものであってもよい。
【００２５】
次に、本実施例の音声処理部１２１の構成について説明する。本実施例の音声処理部１２１は、撮像部１１０のレンズ制御部２１２の駆動部の駆動に伴う雑音を低減するための処理を実行する。本実施例の音声処理部１２１は、ＦＦＴ２３１、ノイズ処理部２３２、ｉＦＦＴ２３３、風雑音低減部２３４、ＡＬＣ２３５、係数決定部２３６、ノイズメモリ２３７を有する。
【００２６】
ＦＦＴ２３１は、ＡＤ変換部２１１により得られたデジタル音声信号を時間領域の信号から、周波数領域の信号に変換する高速フーリエ変換を行う。ノイズ処理部２３２は、ＦＦＴ２３１から出力された周波数領域の音声信号から、撮像部１２０の駆動部の駆動に伴う雑音を低減する。本実施例では、周波数領域の音声信号からノイズメモリ２３７に記憶されている雑音のスペクトルに所定の係数をかけてから減算を行う。この係数は、係数決定部２３６によって決定される。
【００２７】
ｉＦＦＴ２３３は、ノイズ処理部２３２で雑音が低減された周波数領域の音声信号を時間領域の信号に変換する逆高速フーリエ変換を行う。風雑音低減部２３４は、ｉＦＦＴ２３３で時間領域の信号に変換された音声信号から風による雑音（風雑音）を低減する。風雑音低減部２３４の動作については、後述する（図３参照）。ＡＬＣ２３５は、時間領域の音声信号の振幅レベルが所定のレベルに収まるように、音声信号に付加するゲインを調整するものである。
【００２８】
係数決定部２３６は、ＦＦＴ２３１で得られた音声信号、ノイズメモリ２３７から読みだされた雑音のスペクトル、風雑音低減部２３４により検出された風雑音の量を示す信号に基づいてノイズ処理部２３２による雑音の低減量を補正する。すなわちノイズ処理部２３２における雑音のスペクトルに対する係数を決定する役割を担う。係数決定部２３６の動作については後述する（図４参照）。
【００２９】
音声処理部１２１のこれらの構成により、集音部１２０により得られた音声信号は、周波数領域に変換され、駆動部の駆動による雑音を低減し、時間領域の信号に変換され、風雑音低減処理がされることになる。
【００３０】
ここで、風雑音低減部２３４の構成及び動作について説明する。図３は、風雑音低減部２３４の構成を示す図である。本実施例の風雑音低減部２３４は、第１の加算器３１１、第１の減算器３１２、第１のローパスフィルタ（ＬＰＦ）３２１、第２のローパスフィルタ（ＬＰＦ）３２２、風雑音検出部３２３を有する。また、本実施例の風雑音低減部２３４は、第１のハイパスフィルタ（ＨＰＦ）３３１、第２のハイパスフィルタ（ＨＰＦ）３３２、第２の加算器３４１、第２の減算器３４２を有する。
【００３１】
風雑音低減部２３４は、ｉＦＦＴ２３３により周波数領域から時間領域に変換された、２つの音声信号を処理する。まず、第１の加算器３１１では、２つの音声信号を加算し、２つの音声信号の和成分を生成し、第１の減算器３１２では、２つの音声信号を減算し、２つの音声信号の差成分を生成する。
【００３２】
次に、第１のＬＰＦ３２１で第１の加算器３１１の出力である和成分の低周波成分を抽出し、第２のＬＰＦ３２２で第１の減算器３１２の出力である差成分の低周波成分を抽出する。第１のＬＰＦ３２１、第２のＬＰＦ３２２は、たとえば、１ｋＨｚ以下の信号を抽出するように設定されている。これは風雑音の主成分が１ｋＨｚ以下に集中しているからである。
【００３３】
次に風雑音検出部３２３は、第１のＬＰＦ３２１、第２のＬＰＦ３２２の出力から風雑音を検出する。風雑音検出部３２３は、和成分の低域成分である第１のＬＰＦ３２１の出力に対する、差成分の低域成分である第２のＬＰＦ３２２の出力の大きさが大きいほど、風雑音のレベルが高いものとして、風雑音を示す信号のレベルを変えて出力する。これは通常の音声が、２つの近接したマイクに対して位相がほぼ同じ状態で入力される（すなわち差成分がほとんどない）のに対し、風雑音は、位相がずれて入力される（すなわち差成分が大きい）という特性を持つからである。そのために、差成分の大きさを考慮して風雑音のレベルを判定している。風雑音のレベルを示す信号は、係数決定部２３６、及び、第１のＨＰＦ３３１、第２のＨＰＦ３３２に出力される。
【００３４】
第１のＨＰＦ３３１は、第１の加算器３１１の出力である和成分の高周波成分を抽出し、第２のＨＰＦ３３２は、第１の減算器３１２の出力である差成分の高周波成分を抽出する。第１のＨＰＦ３３１、第２のＨＰＦ３３２は、それぞれ、風雑音検出部３２３により検出された風雑音のレベルを示す信号に応じて、カットオフ周波数を変更する。すなわち、通常は１ｋＨｚ以下に集中する風雑音も、そのレベルが高くなるにつれて高い周波数にも雑音としてあらわれてくる。そのため、風雑音のレベルが高いときはカットオフ周波数を上げ、風雑音のレベルが低いときはカットオフ周波数を下げる。たとえば、第１のＨＰＦ３３１では、カットオフ周波数は、風雑音のレベルが低いときは６２Ｈｚであり、風雑音のレベルが高いときは５００Ｈｚとする。また、第２のＨＰＦでは、カットオフ周波数は、風雑音のレベルが低いときは１８７Ｈｚであり、風雑音のレベルが高いときは６６００Ｈｚである。なお、これらの周波数は一例であるが、基本的には第１のＨＰＦのカットオフ周波数は、第２のＨＰＦのカットオフ周波数よりも低い周波数になるように制御する。
【００３５】
次に、第１のＨＰＦ３３１の出力は、第２の加算器３４１および第２の減算器３４２に送信され、第２のＨＰＦ３３２の出力も、第２の加算器３４１および第２の減算器３４２に送信される。第２の加算器では、和成分（Ｌ＋Ｒ）と差成分（Ｌ−Ｒ）の和になるため、２つのマイクのうち一方のマイクに対応した音声が生成される。また、第２の減算器では、和成分（Ｌ＋Ｒ）と差成分（Ｌ−Ｒ）の差になるため、２つのマイクのうち他方のマイクに対応した音声が生成される。そして増幅部で、レベルが調整され、ＡＬＣ２３５に出力される。風雑音低減部２３４はこのようにして風雑音を低減する。なお、第１のＨＰＦ３３１、第２のＨＰＦ３３２の所定の周波数以下の音声を低減させるようにすることで風雑音を低減する構成を含んでもよい。
【００３６】
次に、ノイズ処理部２３２および係数決定部２３６の構成及び動作について、図２及び図４を用いて説明する。
【００３７】
まずノイズ処理部２３２の動作について説明する。ノイズ処理部２３２は、前述したように、集音部１２０で得られた音声信号から係数をかけた雑音のスペクトルを減算するようにしている。具体的に、被写体を拡大するとき、つまり、レンズ２１１を拡大方向に駆動させるときの雑音を低減する処理について説明する。ノイズメモリ２３７には、レンズの駆動に対応する雑音のスペクトルが記憶されている。ＣＰＵ１０１は、レンズ２１１を拡大方向に駆動するようにレンズ制御部２１２を制御するとともに、ノイズメモリ２３７からレンズ２１１を拡大方向に駆動する際の雑音のスペクトルを読み出すようにノイズ処理部２３２を制御する。そして、ノイズ処理部２３２は、係数決定部２３６により決定された係数をノイズメモリ２３７から読みだした拡大方向に駆動する際の雑音のスペクトルに乗算し、集音部１２０で得られた音声信号から減算する。本実施例では、一例としてレンズ２１１を拡大方向に移動する場合について具体的に説明したが、これ以外の駆動部においても、対応する雑音のスペクトルを用いて、同様の処理をしてもよい。
【００３８】
次に、係数決定部２３６の動作について説明する。図４は、係数決定部２３６の構成を説明するための図である。本実施例の係数決定部２３６は、スイッチ４１１、第３の加算器４２１、第３の減算器４２２、第３のハイパスフィルタ（ＨＰＦ）４３１、第４のハイパスフィルタ（ＨＰＦ）４３２、第５のハイパスフィルタ（ＨＰＦ）４３３を有する。また、本実施例の係数決定部２３６は、第４の加算器４４１、第４の減算器４４２、パワー演算部４５１を有する。スイッチ４１１は、ＦＦＴ２３１から出力された周波数領域の２つの音声信号をそれぞれ、第３の加算器４２１、第３の減算器４２２、第５のＨＰＦ４３３、パワー演算部４５１に送信するものである。スイッチ４１１は、風雑音が発生しているときは、ＦＦＴ２３１から出力された周波数領域の２つの音声信号を、第３の加算器４２１、第３の減算器４２２に出力し、風雑音が発生していないときは、パワー演算部４５１に送信する。また、風雑音低減部２３４が所定の周波数以下の音声を低減させることで風雑音を低減させる場合は、スイッチ４１１は、ＦＦＴ２３１から出力された周波数領域の２つの音声信号を、第５のＨＰＦ４３３に送信する。
【００３９】
風雑音が発生している場合は、前述のようにスイッチ４１１は、ＦＦＴ２３１から出力された周波数領域の２つの音声信号をそれぞれ、第３の加算器４２１、第３の減算器４２２に送信する。第３の加算器４２１は、２つの音声信号を加算し、２つの音声信号の和成分を生成し、第３の減算器４２２は、２つの音声信号を減算し、２つの音声信号の差成分を生成する。第３のＨＰＦ４３１は、第３の加算器４２１の出力である和成分の高周波成分を抽出し、第４のＨＰＦ４３２は、第３の減算器４２２の出力である差成分の高周波成分を抽出する。第３のＨＰＦ４３１、第４のＨＰＦ４３２は、それぞれ、風雑音検出部３２３により検出された風雑音のレベルを示す信号に応じて、カットオフ周波数を変更する。本実施例においては、第１のＨＰＦ３３１、第２のＨＰＦ３３２と同様のカットオフ周波数が設定するものとする。ただし、第１のＨＰＦ３３１、第２のＨＰＦ３３２に近似する値であれば全く同様である必要はない。そして、第３のＨＰＦ４３１の出力は、第４の加算器４４１および第４の減算器４４２に送信され、第４のＨＰＦ４３２の出力も、第４の加算器４４１および第４の減算器４４２に送信される。第４の加算器では、和成分（Ｌ＋Ｒ）と差成分（Ｌ−Ｒ）の和になるため、２つのマイクのうち一方のマイクに対応した音声が生成される。また、第４の減算器では、和成分（Ｌ＋Ｒ）と差成分（Ｌ−Ｒ）の差になるため、２つのマイクのうち他方のマイクに対応した音声が生成される。そして増幅部でレベルが調整され、パワー演算部４５１に出力される。ここまでの処理により、風雑音を減算した後の音声信号を疑似的に算出したことになる。パワー演算部４５１では、風雑音を減算した後の音声信号のパワーレベルをたとえば、二乗和を求めることにより算出し、そのレベルに応じて、ノイズ処理部２３２における、雑音のスペクトルの係数を決定する。なお、本実施例ではパワー演算部４５１は、音声信号のパワーレベルを算出するものとしたが、音圧レベルを算出してもよい。
【００４０】
たとえば、閾値を３つ設け、第１の閾値＞第２の閾値＞第３の閾値とする。そして、パワー演算部４５１で求めた風雑音を減算した後の音声信号のパワーレベル（または音圧レベル）が、第１の閾値以上である場合には、雑音のスペクトルに対する係数を０に決定する。また、風雑音を減算した後の音声信号のレベルが、第２の閾値以上で第１の閾値よりも小さい場合には、雑音のスペクトルに対する係数を０．３に決定する。また、風雑音を減算した後の音声信号のレベルが、第３の閾値以上で第２の閾値よりも小さい場合には、雑音のスペクトルに対する係数を０．６に決定する。また、風雑音を減算した後の音声信号のレベルが、第３の閾値よりも小さい場合には、雑音のスペクトルに対する係数を１に決定する。このようにパワー演算部は、風雑音を減算した後の音声信号のレベルに応じて、ノイズ処理部２３２における雑音スペクトルの係数を決定する。
【００４１】
一方、風雑音が発生していない場合は、前述のようにスイッチ４１１は、ＦＦＴ２３１から出力された周波数領域の２つの音声信号をパワー演算部４５１に送信するので、パワー演算部４５１は、風雑音を減算していない音声信号のパワーレベル（または音圧レベル）を算出する。そして算出されたパワーレベル（または音圧レベル）に応じて、ノイズ処理部２３２における、雑音のスペクトルの係数を決定する。
【００４２】
また、風雑音低減部２３４が所定の周波数以下の音声を低減させることで風雑音を低減させる場合は、前述のようにスイッチ４１１は、ＦＦＴ２３１から出力された周波数領域の２つの音声信号を、第５のＨＰＦ４３３に送信する。第５のＨＰＦ４３３は、風雑音低減部２３４と同様の所定の周波数以下の音声を低減させた信号をパワー演算部４５１に出力する。なお、風雑音低減部２３４における所定の周波数と近似する周波数の音声を低減させることができれば、全く同様の周波数でなくてもよい。
【００４３】
以上のような構成とすることによって、本実施例の撮像装置は、風雑音、駆動雑音の両方を低減することができる。また、風雑音を減算した後の音声信号から駆動部の駆動による雑音を低減するのではなく、風雑音を減算する前の音声信号から駆動部の駆動による雑音を低減することで、駆動部の駆動による雑音の低減不足や低減しすぎることを回避することができる。これは、風雑音と同じ周波数帯に含まれる駆動音が無視されてしまうことが原因である。たとえば、風雑音と異なる周波数帯の駆動音に対しては、駆動部の駆動による雑音の低減不足が発生してしまう。一方、風雑音と同じ周波数帯の駆動音に対しては、風雑音の低減により既にレベルが低減されている信号から、駆動部の駆動による雑音を減算することになるため低減しすぎが発生してしまう。これに対し、本発明では、風雑音を減算した後の音声信号を疑似的に算出し、その信号に基づいて、駆動部の駆動による雑音のスペクトルに対する係数を決定し、風雑音の低減をする前の音声信号から駆動部の駆動による雑音のスペクトルを減算する。このようにすることで、駆動部の駆動による雑音の低減不足や低減しすぎることを回避することができる。
【００４４】
なお、本実施例では、ノイズ処理部２３２において、集音手段１２０により得られた音声信号の周波数成分の音声信号から、雑音のノイズスペクトルに係数を乗算したものを減算することで雑音を低減していた。そして、その係数は、係数決定部２３６において、集音手段１２０により得られた音声信号の周波数成分の音声信号から風雑音を低減した音声信号を生成し、そのレベルをパワー演算部４５１で算出し、そのレベルに応じて決定していた。すなわち、周囲環境音のレベルが大きく、風雑音低減後の音声信号のレベルが高いほど、集音手段１２０により得られた音声信号から減算する雑音のスペクトルに対する係数を低くする。一方、周囲環境音のレベルが小さく、風雑音低減後の音声信号のレベルが低いほど、集音手段１２０により得られた音声信号から減算する雑音のスペクトルに対する係数を高くする。しかしながら、以下のように、風雑音低減後の音声信号と、雑音のスペクトルとを比較して、その比較結果に応じて係数を決定してもよい。すなわち、係数決定部２３６において、パワー演算部４５１の動作を以下のように変更する。パワー演算部４５１は、ノイズメモリ２３７から読みだされた雑音のスペクトルと、風雑音を減算した後の音声信号とを比較し、その比較結果に応じて、係数を変更する。すなわち、風雑音を減算した後の音声信号に対する雑音のスペクトルの割合に応じて、集音手段１２０により得られた音声信号から減算する雑音のスペクトルに対する係数を変更する。周囲環境音のレベルが小さく、雑音の割合が高いときは、雑音のスペクトルに対する係数を高くし、集音手段１２０により得られた音声信号から減算される雑音の割合が高くなるようにする。逆に、周囲環境音のレベルが大きく、雑音の割合が低いときは、雑音のスペクトルに対する係数を低くし、集音手段１２０により得られた音声信号から減算される雑音の割合が低くなるようにする。たとえば、雑音のスペクトルが風雑音を減算した後の音声信号のレベルのうち、８０％以上を占める場合には、雑音のスペクトルに対する係数を１に設定する。また、６０〜８０％では、雑音のスペクトルに対する係数を０．６に設定し、４０〜６０％では、雑音のスペクトルに対する係数を０．４に設定し、２０〜４０％では、雑音のスペクトルに対する係数を０．２に設定し、２０％以下では０に設定する。このように風雑音を減算した後の音声信号に対する雑音のスペクトルの割合が高いほど大きい係数を設定し、割合が低いほど小さい係数を設定する。このように、ノイズ処理部２３２では、ノイズメモリ２３７から読みだされた雑音のスペクトルと風雑音を減算した後の音声信号のレベルを比較し、その比較結果から風雑音を減算した後の音声信号に対して雑音がどれくらい支配的であるかを判定する。そして、判定した結果、駆動部の駆動による雑音の割合が多いと判定された場合は、ノイズメモリ２３７から読みだされた雑音のスペクトルに大きい係数をかけてＦＦＴ２３１で得られた音声信号から雑音のスペクトルを減算する。一方で、判定した結果、駆動部の駆動による雑音の割合が小さいと判定された場合は、ノイズメモリ２３７から読みだされた雑音のスペクトルに小さい係数をかけてＦＦＴ２３１で得られた音声信号から雑音のスペクトルを減算する。このようにすることによっても、本実施例の撮像装置は、風雑音、駆動雑音の両方を低減することができる。
【００４５】
また、ノイズ処理部２３２は、これ以外の方法でノイズを低減させてもよい。たとえば、雑音のスペクトルに対する係数を周波数領域ごとに異ならせてもよい。たとえば、周囲環境音のレベルが特定の周波数帯だけ大きく、他の周波数帯では小さい場合、周囲環境音のレベルが大きい特定の周波数帯の係数だけ小さくし、他の周波数帯では大きくしてもよい。この場合は、係数決定部２３６のパワー演算部４５１は、ノイズメモリ２３７から読みだされた雑音のスペクトルと、風雑音を減算した後の音声信号とを所定の周波数ごとに比較する。たとえば０から２４ｋＨｚの間の５１２点において比較を行い、各周波数ごとに周囲環境音に対する雑音のスペクトルの割合を求める。そしてその割合に応じて、各周波数ごとの係数を決定する。このようにすることによっても、本実施例の撮像装置は、風雑音、駆動雑音の両方を低減することができる。
【００４６】
なお、本実施例では、撮像装置を例にとって説明したが、内蔵マイクを備え、外部マイクからの音声信号を取得することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。
【００４７】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００４８】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００４９】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００５０】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図１】
2015114444.tif 000003
【図２】
2015114444.tif 000004
【図３】
2015114444.tif 000005
【図４】
2015114444.tif 000006