(57)【要約】      （修正有）【課題】ＭＥＭＳマイクを備える撮像装置において、光電効果によって発生する音声信号に含まれるノイズを判定する。【解決手段】ＭＥＭＳマイクを備える撮像装置であって、画像を撮像する撮像手段と、撮像手段により撮像された画像の輝度と、ＭＥＭＳマイクからの音声信号と、を取得する取得手段と、を有する。取得手段が取得した輝度が所定の条件を満たしていないタイミングに対応する第１音声信号の電圧と、取得手段が取得した輝度が所定の条件を満たしているタイミングに対応する第２音声信号の電圧と、に基づいて、第２音声信号に含まれているノイズを判定する。【選択図】図１２
2020005189.tif 000002
【特許請求の範囲】
【請求項１】
ＭＥＭＳ（Ｍｉｃｒｏ−Ｅｌｅｃｔｒｉｃａｌ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）マイクを備える撮像装置であって、
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像の輝度と、前記ＭＥＭＳマイクからの音声信号と、を取得する取得手段と、
前記取得手段が取得した輝度が所定の条件を満たしていないタイミングに対応する第１音声信号の電圧と、前記取得手段が取得した輝度が所定の条件を満たしているタイミングに対応する第２音声信号の電圧と、に基づいて、前記第２音声信号に含まれているノイズを判定する判定手段とを有することを特徴とする撮像装置。
【請求項２】
前記判定手段は、前記第１音声信号の周波数毎の電圧と、前記第２音声信号の周波数毎の電圧と、を比較し、閾値以上の電圧差がある周波数の前記第２音声信号をノイズとして判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記取得手段が第２タイミングにて取得した第２輝度と、前記第２タイミングより所定時間前である第１タイミングにて取得した第１輝度との差が第１閾値以上であって、
前記第１音声信号は、前記第１輝度が取得されてないタイミングに対応する音声信号であり、
前記第２音声信号は、前記第２輝度が取得されてからのタイミングに対応する音声信号であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第１音声信号は、閾値以上の輝度が取得されてないタイミングに対応する音声信号であり、
前記第２音声信号は、前記閾値以上の輝度が取得されてからのタイミングに対応する音声信号であることを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記判定手段によりノイズと判定された周波数の前記第２音声信号に対して低減処理を行う低減手段とを有する請求項１乃至４のいずれか一項に記載の撮像装置。
【請求項６】
前記ＭＥＭＳマイクは、半導体の振動膜を有するマイクであることを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
【請求項７】
前記第１音声信号および前記第２音声信号に対して、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を行い、周波数毎の電圧を算出する算出手段を有することを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。
【請求項８】
前記判定手段は、前記低減手段により低減処理が実行された前記第２音声信号に所定の音声が含まれていることを判定し、
前記判定手段により所定の音声が含まれていると判定された場合、イベントとして通知する通知手段を有することを特徴とする請求項５乃至７のいずれか一項に記載の撮像装置。
【請求項９】
ＭＥＭＳマイクを備える撮像装置の音声処理方法であって、
画像を撮像する撮像工程と、
前記撮像手段により撮像された画像の輝度と、前記ＭＥＭＳマイクからの音声信号と、を取得する取得工程と、
前記取得工程が取得した輝度が所定の条件を満たしていないタイミングに対応する第１音声信号の電圧と、前記取得手段が取得した輝度が所定の条件を満たしているタイミングに対応する第２音声信号の電圧と、に基づいて、前記第２音声信号に含まれているノイズを判定する判定工程とを有することを特徴とする音声処理方法。
【請求項１０】
ＭＥＭＳマイクを備えるコンピュータを請求項１に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光電効果によるノイズを判定する技術に関するものである。
【背景技術】
【０００２】
従来、集音した音声を音声信号に変換して入力する装置として、ＥＣＭ（Ｅｌｅｃｔｒｅｔ  Ｃｏｎｄｅｎｓｅｒ  Ｍｉｃｒｏｐｈｏｎｅｓ）が知られている。また、このＥＣＭに代わる小型マイクとして、半導体からなる振動膜（以下、半導体振動膜）を有する音声入力素子であるＭＥＭＳ（Ｍｉｃｒｏ−Ｅｌｅｃｔｒｉｃａｌ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）マイクが知られている。
【０００３】
ＭＥＭＳマイクは、音圧を検知するための素子であり、図１に示すように、半導体振動膜と、背面電極と、絶縁体により形成されたキャパシタと、検出回路とを有する。
【０００４】
半導体振動膜が音圧により振動することによって、半導体振動膜と背面電極との間の距離が変化し、これに伴って静電容量が変化する。
【０００５】
ここで、半導体振動膜内の電荷をＱ、キャパシタの静電容量をＣ、半導体振動膜と背面電極との間の電圧をＶとする。このとき、Ｑ、Ｃ、およびＶの関係を式で表すと
【０００６】
【数１】
2020005189.tif 000003
【０００７】
となる。
【０００８】
また、半導体振動膜の表面積をＳ、半導体振動膜と背面電極との間の距離をｄ、半導体振動膜と背面電極との間の誘電率をｅとする。このとき、Ｃ、Ｓ、ｄ、およびｅの関係を式で表すと、
【０００９】
【数２】
2020005189.tif 000004
【００１０】
となる。以上より、電圧Ｖと距離ｄとの関係は、
【００１１】
【数３】
2020005189.tif 000005
【００１２】
となる。
【００１３】
音圧により半導体振動膜が振動する際は、電荷Ｑが一定であるため、電圧Ｖは距離ｄに比例する。そこで、検出回路により検出した電圧の変動ΔＶに基づいて、変化した距離Δｄを算出することによって、音圧を検知することができる。
【００１４】
特許文献１では、車の状態データに応じたノイズパターンを記憶しておき、車の状態に応じたノイズパターンデータに基づいてノイズを抑圧する。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００２−３５１４８８
【発明の概要】
【発明が解決しようとする課題】
【００１６】
ＭＥＭＳマイクにおいて、一定の周期で明滅する光がＭＥＭＳマイクの半導体振動膜に当たることで、光電効果によって半導体振動膜内の電荷が変化し、半導体振動膜と背面電極間の電圧が変化する。この電圧変化によって、周期的なノイズが発生することがあった。
【００１７】
特許文献１では、予めノイズパターンを登録しておかなければならない。しかし、光電効果によるノイズの原因となる光源の明滅周期は、照明の種類（照明メーカー、型番）によって異なるため、設置環境においてユーザーがノイズパターンを登録しなければならず不便であった。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、例えば、本発明の撮像装置は以下の構成を備える。すなわち、ＭＥＭＳマイクを備える撮像装置であって、画像を撮像する撮像手段と、前記撮像手段により撮像された画像の輝度と、前記ＭＥＭＳマイクからの音声信号と、を取得する取得手段と、前記取得手段が取得した輝度が所定の条件を満たしていないタイミングに対応する第１音声信号の電圧と、前記取得手段が取得した輝度が所定の条件を満たしているタイミングに対応する第２音声信号の電圧と、に基づいて、前記第２音声信号に含まれているノイズを判定する判定手段とを有することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、利便性よく、光電効果によって発生するノイズを判定することができる。
【図面の簡単な説明】
【００２０】
【図１】ＭＥＭＳマイクの構造を示す模式図である。
【図２】システム構成を示す模式図である。
【図３】音声処理装置のハードウェア構成を示す概略図である。
【図４】音声処理装置の機能を示すブロック図である。
【図５】音声信号の周波数毎の電圧を示す線図である。
【図６】音声信号の周波数毎の位相差を示す線図である。
【図７】Ｆ１およびＦ３の周波数における位相を示す線図である。
【図８】ノイズ低減を行う処理のフローチャートである。
【図９】システム構成を示す模式図である。
【図１０】音声処理装置のハードウェア構成を示す概略図である。
【図１１】音声信号の周波数毎の電圧を示す線図である。
【図１２】（a）輝度の変化を判定する処理のフローチャートである。（ｂ）ノイズ低減を行う処理のフローチャートである。
【発明を実施するための形態】
【００２１】
以下に、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
【００２２】
（参考例）
図２は本参考例におけるシステム構成を示す図である。本参考例におけるシステムは、音声処理装置２００とクライアント装置２０２を有する。
【００２３】
音声処理装置２００は、画像を撮像する撮像装置でもあり、マイクロフォン２０１Ａと、マイクロフォン２０１Ｂとを有する。マイクロフォン２０１Ａおよび２０１Ｂは、図１に示す構成と機能を有するＭＥＭＳマイクであり、その説明は前述したとおりなので省略する。
【００２４】
マイクロフォン２０１Ａおよび２０１Ｂは、半導体振動膜の振動を電圧に変換したアナログ音声信号を生成する。
【００２５】
クライアント装置２０２は、後述するＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｆ等のハードウェア構成により実現されるパーソナルコンピュータである。
【００２６】
音声処理装置２００とクライアント装置２０２は、ネットワーク２０３を介して通信が行われる。ネットワーク２０３は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。また、ネットワーク２０３は、インターネットや有線ＬＡＮ（ＬＯＣＡＬ  ＡＲＥＡ  ＮＥＴＷＯＲＫ）、無線ＬＡＮ（ＷＩＲＥＬＥＳＳ  ＬＡＮ）、ＷＡＮ（ＷＩＤＥ  ＡＲＥＡ  ＮＥＴＷＯＲＫ）等により構成されてもよい。
【００２７】
次に、図３を参照して、本参考例に係る音声処理装置２００のハードウェア構成の一例について説明する。本参考例における音声処理装置２００は、ＣＰＵ３０１、ＲＡＭ３０２、ＨＤＤ３０３、Ｉ／Ｆ３０４、Ａ／Ｄ変換部３０５、撮像部３０６、画像処理部３０７、マイクロフォン２０１Ａ及びマイクロフォン２０１Ｂを有する。
【００２８】
ＣＰＵ（ＣＥＮＴＲＡＬ  ＰＲＯＣＥＳＳＩＮＧ  ＵＮＩＴ）３０１は、ＲＡＭ３０２に格納されるコンピュータプログラムを実行し、音声処理装置２００を制御する。なおＣＰＵ以外にも、ＤＳＰ（ＤＩＧＩＴＡＬ  ＳＩＧＮＡＬ  ＰＲＯＣＥＳＳＯＲ）等のプロセッサを用いてもよい。
【００２９】
Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０４は、ネットワーク２０３を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、他の機器との通信を行う。例えば、Ｉ／Ｆ３０４は、音声を再生する再生装置（不図示）やクライアント装置２０２等と通信を行う。
【００３０】
ＲＡＭ（ＲＡＮＤＯＭ  ＡＣＣＥＳＳ  ＭＥＭＯＲＹ）３０２は、ＣＰＵ３０１が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ３０２は、ＣＰＵ３０１が後述する処理を実行する際に用いるワークエリアを提供する。
【００３１】
ＨＤＤ（ＨＡＲＤ  ＤＩＳＫ  ＤＲＩＶＥ）３０３は、オペレーティングシステムのプログラムや後述する処理にて利用するデータ等を不揮発に記憶する。後述するフローチャートを実行するためのコンピュータプログラム（プログラムコード）やデータはＨＤＤ３０３に格納されており、ＣＰＵ３０１（又は後述するＤＭＡ）による制御に従って、適宜、ＲＡＭ３０２にロードされ、ＣＰＵ３０１によって実行される。なおＨＤＤ以外にもフラッシュメモリ等の他の記憶媒体を用いてもよい。
【００３２】
Ａ／Ｄ変換部３０５は、アンプと、アナログ／デジタル変換器とを有する。Ａ／Ｄ変換部３０５のアンプは、マイクロフォン２０１Ａおよびマイクロフォン２０１Ｂから受け取ったアナログ音声信号をアンプによりそれぞれ増幅する。そしてＡ／Ｄ変換部３０５のアナログ／デジタル変換器は、その増幅されたアナログ音声信号を標本化・量子化することでデジタル化したデジタル音声信号を生成する。
【００３３】
なお、以下の説明において、便宜上、マイクロフォン２０１Ａにて生成されたアナログ音声信号を、Ａ／Ｄ変換部３０５によりデジタル化したデジタル音声信号を第１音声信号と呼ぶ。また、マイクロフォン２０１Ｂにて生成されたアナログ信号を、Ａ／Ｄ変換部３０５によりデジタル化したデジタル音声信号を第２音声信号と呼ぶ。
【００３４】
撮像部３０６は、ＣＣＤ（ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）センサやＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子で構成されている。そして、撮像部３０６は、レンズ群（不図示）を通って結像された光像を光電変換することで電気信号を生成する。
【００３５】
画像処理部３０７は、撮像部３０６において光電変換された電気信号をデジタル信号へ変換する処理や、ＪＰＥＧ或いはＨ．２６４やＨ．２６５等の形式に基づき圧縮符号化処理を行うことにより画像データを生成する。
【００３６】
なお、以降の説明では、ＣＰＵ３０１が処理を実行する例について説明するが、ＣＰＵ３０１の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ＨＤＤ３０３からプログラムコードを読み出してＲＡＭ３０２に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ  ＭＥＭＯＲＹ  ＡＣＣＥＳＳ）によって実行してもよい。
【００３７】
次に、図４を参照して、本参考例に係る音声処理装置２００の機能について説明する。なお、図４は本参考例に係る音声処理装置２００の機能ブロック図である。図４に示す各機能ブロックの機能は、ＣＰＵ３０１がＲＡＭ３０２に格納されるコンピュータプログラムを実行することで実現される。
【００３８】
取得部４０１は、Ａ／Ｄ変換部３０５によりデジタル化された音声信号を取得する。本参考例における音声処理装置２００は、マイクロフォン２０１Ａおよびマイクロフォン２０１Ｂを有している。そのため、本参考例における取得部４０１は、マイクロフォン２０１Ａから第１音声信号、マイクロフォン２０１Ｂから第２音声信号を取得しＲＡＭ３０２に格納する。なお、本参考例における音声処理装置２００は、２つのマイクロフォンを有しているが、３つ以上のマイクロフォンを有していてもよい。この場合、取得部４０１は、複数のマイクロフォンのうち、所定の２つのマイクロフォンから第１音声信号と第２音声信号とを取得する。
【００３９】
算出部４０２は、取得部４０１で取得した音声信号に対し、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を実行し、音声信号を周波数に分解することで、周波数スペクトルを生成する。なお、本参考例における算出部４０２は、取得部４０１で取得した第１音声信号および第２音声信号のそれぞれに対しＦＦＴを行い、第１音声信号の周波数毎の位相と、第２音声信号の周波数毎の位相との間の位相差を算出する。
【００４０】
記憶部４０３は、音声信号のうち、或る周波数における電圧に対し、ノイズを判定するうえで、候補となる周波数を判定するための第１閾値を記憶する。また記憶部４０３は、算出部４０２で算出した或る周波数における位相差に対し、光電効果に起因するノイズを判定するための第２閾値を記憶する（詳細は図５〜８を参照して後述する）。
【００４１】
判定部４０４は、算出部４０２にて算出された周波数毎の電圧と、記憶部４０３にて記憶された第１閾値とを比較し、第１閾値以上の電圧値の周波数を判定する。
【００４２】
さらに、判定部４０４は、第１閾値以上の電圧値の周波数において、算出部４０２にて算出された周波数毎の位相差と、記憶部４０３にて記憶された第２閾値とを比較し、第２閾値未満である位相差の周波数の電圧を光電効果によるノイズと判定する。
【００４３】
なお、本参考例に係る判定部４０４は、第１閾値以上の電圧値の周波数において、周波数毎の位相差と第２閾値とを比較するが、これに限らない。例えば、判定部４０４は、第１閾値以上の電圧値の周波数に限らず、算出部４０２にて算出された周波数毎の位相差と第２閾値とを比較し、第２閾値未満である位相差の周波数の電圧をノイズと判定するようにしてもよい。
【００４４】
一般に、複数のマイクロフォンに対して音源から音が発せられると、音源から各マイクまでの距離が異なる場合に、各マイクで受ける音声信号の間には位相差が発生する。しかし、音速に比べて光速は非常に速いため、光源から各マイクまでの距離が異なっていても、各マイクで受ける音声信号の間には位相差は無視できるほど小さい。本参考例における判定部４０４は、各マイクで受ける音声信号の間の位相差に基づいて、光電効果によるノイズを判定する。
【００４５】
また判定部４０４は、後述する低減部４０５によりノイズ低減処理が行われた音声信号が、所定の音声を含むかを判定してもよい。詳細には、所定の音声に対応する波形パターンを辞書として予め保持しておき、ノイズ低減処理が行われた音声信号とパターンマッチングすることで、所定の音声を含むか判定する。なお、所定の音声として、例えば、悲鳴を含む音声やガラスが割れた音声がある。
【００４６】
低減部４０５は、判定部４０４によりノイズと判定された周波数の第１音声信号または第２音声信号に対して、ノイズ低減処理を行う。なお、ノイズ低減処理は公知技術を利用してよく、例えば、特定の波長帯域を減衰させるノッチフィルタやノイズを含む音波について、ノイズの逆位相の音波を重ね合わせるノイズキャンセル処理等を利用してよい。
【００４７】
通信部４０６は、ノイズ低減処理が行われた音声信号が、所定の音声信号を含むと判定部４０４により判定された場合、イベントとしてクライアント装置２０２へ通知する。また、通信部４０６は、ノイズ低減処理が行われた音声信号をクライアント装置２０２へ送信してもよい。
【００４８】
次に図５、図６、および図７を参照して、本参考例に係る音声処理装置２００の処理について説明する。図５は、取得部４０１にて取得された第１音声信号に対し、算出部４０２によってＦＦＴを実行して得られた周波数スペクトルを示している。縦軸は電圧値を示しており、横軸は周波数を示している。なお、音声信号の周波数毎の音圧は図５に示す電圧値から算出することができる。
【００４９】
図５に示すように、算出部４０２は公知の手法によりピーク（局所的最大）を探索し、ここでは３つのピークを検出している。周波数Ｆ１［Ｈｚ］における電圧がＶ１［Ｖ］、周波数Ｆ２［Ｈｚ］における電圧がＶ２［Ｖ］、周波数Ｆ３［Ｈｚ］における電圧がＶ３［Ｖ］である。
【００５０】
図６は、第１音声信号の周波数毎の位相と、第２音声信号の周波数毎の位相との差（位相差）を示す波形である。図６では、横軸は周波数、縦軸は位相差を示している。
【００５１】
図７（ａ）は、周波数Ｆ１［Ｈｚ］におけるマイクロフォン２０１Ａ（第１音声信号）および２０１Ｂ（第２音声信号）からそれぞれ得られた波形を示す模式図である。このとき、横軸は時間、縦軸は電圧を示している。図７（ａ）に示すように、それぞれの波形を比較したとき、位相差（Δφ１）は無視できるほど小さい。
【００５２】
図７（ｂ）は、周波数Ｆ３［Ｈｚ］におけるマイクロフォン２０１Ａ（第１音声信号）および２０１Ｂ（第２音声信号）からそれぞれ得られた波形を示す模式図である。このとき、横軸は時間、縦軸は電圧を示している。図７（ｂ）に示すように、それぞれの波形を比較したとき、位相差（Δφ３）が存在する。
【００５３】
図８は、本参考例に係る音声処理装置２００の処理の流れを示すフローチャートである。図８に示す処理によって、音声処理装置２００は、位相差に基づいて光電効果によるノイズを判定し、ノイズ低減処理を実行する。なお、図８に示すフローチャートの処理は、ＣＰＵ３０１がＨＤＤ３０３に格納されるコンピュータプログラムを実行することで実現される図４に示す各機能ブロックにより実行される。
【００５４】
なお、本参考例に係るフローは、マイクロフォンにて生成されたアナログ音声信号がＡ／Ｄ変換部３０５によってデジタル音声信号へ変換された後で、実行されるものとする。もちろん、所定の時間間隔の音声信号を逐次的にデジタル音声信号へ変換しつつ、並行して本実施形のフローを実施してもよい。
【００５５】
まず、ステップＳ８０１にて、取得部４０１は、音声信号を取得する。本参考例における取得部４０１は、マイクロフォン２０１Ａから第１音声信号、マイクロフォン２０１Ｂから第２音声信号を取得する。
【００５６】
次に、ステップＳ８０２にて、算出部４０２は、取得部４０１で取得した第１音声信号及び第２音声信号に対してＦＦＴを実行し、それぞれの音声信号に対する周波数スペクトルを生成する。さらに本参考例における算出部４０２は、第１音声信号の周波数毎の位相と第２音声信号の周波数毎の位相との間で周波数毎の位相差を算出する。
【００５７】
次に、ステップＳ８０３にて、判定部４０４は、第１音声信号の周波数毎の電圧と、第１閾値とを比較して、第１閾値以上の電圧値の周波数があればステップＳ８０４へ遷移し、第１閾値以上の電圧値の周波数がなければ処理を終了する。
【００５８】
なお、本参考例における判定部４０４は、第１音声信号の周波数毎の電圧を第１閾値と比較する対象としたが、これに限らない。判定部４０４は、第２音声信号の周波数毎の電圧や、第１音声信号の周波数毎の電圧と第２音声信号の周波数毎の電圧との平均値を比較対象としてもよい。
【００５９】
図５に示すような周波数スペクトルが得られた場合、判定部４０４は、周波数Ｆ１［Ｈｚ］およびＦ３［Ｈｚ］が、第１閾値であるＶ［Ｖ］以上の電圧値に対応する周波数であると判定する。
【００６０】
次に、ステップＳ８０４にて、判定部４０４は、第１閾値以上の電圧値の周波数を対象に、算出部４０２にて算出された周波数毎の位相差と、記憶部４０３にて記憶された第２閾値とを比較する。そして、判定部４０４は、第２閾値未満の位相差の周波数がある場合、その周波数の電圧を光電効果に起因するノイズと判定して、ステップＳ８０５へ遷移し、第２閾値未満の位相差の周波数がなければ、処理を終了する。
【００６１】
図６において、判定部４０４は、周波数Ｆ１［Ｈｚ］およびＦ３［Ｈｚ］を対象に、周波数毎の位相差と第２閾値とを比較する。そして、判定部４０４は、第２閾値である
【００６２】
【数４】
2020005189.tif 000006
【００６３】
［ｒａｄ］未満である位相差の周波数のＦ１［Ｈｚ］を光電効果に起因するノイズであると判定する。
【００６４】
次に、ステップＳ８０５にて、低減部４０５は、判定部４０４によりノイズと判定された周波数の第１音声信号または第２音声信号に対して、ノイズ低減処理を行う。
【００６５】
なお、本参考例における音声処理装置２００は、複数のマイクロフォンを有しているため、音源の所在位置を測定することができる。具体的には、複数のマイクフォンを用いることで、各マイクロフォンへの音声信号の到達時間のずれと、各マイクロフォン間の距離とに基づき、音源の位置を測定することができる。
【００６６】
また、複数のマイクロフォンを有していることで、指定角度の音声信号を取り出すことができる。具体的には、複数のマイクロフォンを用いることで、指定した角度における各マイクロフォンに対する音声信号の到達時間のズレに基づき、指定した角度の音声信号を取り出すことができる。
【００６７】
以上説明したように、複数のマイクロフォンに対して音源から音が発せられると、音源から各マイクまでの距離が異なる場合は、各マイクが取得する音声信号の位相差が発生する。一方で、照明がある場合、光源から各マイクまでの距離が異なっていても、光電効果によって各マイクの出力信号に乗るピークの周波数成分の位相差は限りなく小さい（音速に比べて高速は非常に速いため）。そこで本参考例における音声処理装置２００は、閾値未満である位相差に対応する周波数の信号が光電効果に起因するノイズであると判定し、該周波数の信号に対してノイズ低減処理を行う。こうすることにより、利便性よく、光電効果によって発生するノイズを判定し、さらにそのノイズを低減することができる。
【００６８】
（実施形態１）
参考例では、位相差に基づいて光電効果に起因するノイズを判定したが、本実施形態に係る音声処理装置２００は、輝度情報に基づいて、光電効果に起因するノイズを判定する。以下、実施形態１に係る音声処理装置２００の処理について説明する。
【００６９】
なお、以下の説明において、参考例と同一または同等の機能構成および処理には同一の符号を付すとともに、重複する説明は適宜省略する。
【００７０】
図９は、本実施形態に係るシステム構成を示す概略図である。本実施形態に係るシステムは、音声処理装置２００と、クライアント装置２０２を有している。音声処理装置２００は、画像を撮像する撮像装置でもあり、マイクロフォン９０１を有する。マイクロフォン９０１は、図１に示す構成と機能を有するＭＥＭＳマイクであり、その説明は前述したとおりなので省略する。
【００７１】
マイクロフォン９０１は、半導体振動膜の振動を電圧に変換したアナログ音声信号を生成する。
【００７２】
クライアント装置２０２およびネットワーク２０３は、実施形態と同様であるため説明を省略する。
【００７３】
次に、図１０を参照して、本実施形態における音声処理装置２００のハードウェア構成の一例について説明する。
【００７４】
本実施形態における音声処理装置２００は、ＣＰＵ３０１、ＲＡＭ３０２、ＨＤＤ３０３、Ｉ／Ｆ３０４、Ａ／Ｄ変換部３０５、撮像部３０６、画像処理部３０７、およびマイクロフォン９０１を有する。
【００７５】
なお、ＣＰＵ３０１、ＲＡＭ３０２、ＨＤＤ３０３、Ｉ／Ｆ３０４、Ａ／Ｄ変換部３０５、撮像部３０６、および画像処理部３０７の説明は、参考例と同様であるため省略する。
【００７６】
次に、図４を参照して、実施形態に係る音声処理装置２００の処理について説明する。取得部４０１は、Ａ／Ｄ変換部３０５によりデジタル化された音声信号を取得する。実施形態における音声処理装置２００は、マイクロフォン９０１から音声信号を取得する。
【００７７】
また取得部４０１は、さらに画像処理部３０７にて生成された画像データにおける各画素の輝度の平均値を取得する。なお、以降の説明において、取得部４０１が取得した輝度は、画像データにおける各画素の輝度の平均値を指すものとする。
【００７８】
なお本実施形態における取得部４０１は、音声処理装置２００の画像処理部３０７にて生成された画像データに基づいて輝度を取得するが、これに限らない。例えば、通信部４０６は、音声処理装置２００とネットワーク２０３を介して接続された撮像装置（不図示）が撮像した画像データを受信する。そして、取得部４０１は、通信部４０６を介して受信した画像データに基づいて、輝度を取得するようにしてもよい。
【００７９】
算出部４０２は、取得部４０１で取得した音声信号のうち、所定時間分の音声信号に対してＦＦＴを実行し、音声信号を周波数に分解することで、周波数スペクトルを生成する。
【００８０】
記憶部４０３は、輝度が変化したことを判定部４０４が判定するための第１閾値を記憶する。なお、輝度が変化したことを判定部４０４が判定するための第１閾値は、本実施形態においてＡとする。
【００８１】
また、記憶部４０３は、音声信号の或る周波数における信号が光電効果に起因するノイズであることを判定部４０４が判定するための第２閾値としてΔＶを記憶する。
【００８２】
判定部４０４は、取得された輝度に基づき、所定の条件を満たしていないタイミングに対応する音声信号である第１音声信号の周波数毎の電圧と、所定の条件を満たしているタイミングに対応する音声信号である第２音声信号の周波数毎の電圧とを比較する。そして、判定部４０４は、第１音声信号の周波数毎の電圧と、第２音声信号の周波数毎の電圧とを比較し、記憶部４０３にて記憶された第２閾値（ΔＶ）以上の電圧差がある周波数の信号を光電効果に起因するノイズであると判定する。
【００８３】
また、本実施形態における判定部４０４は、所定時間前の輝度と最新の輝度とを比較し、記憶部４０３が記憶する第１閾値であるＡ以上に輝度が変化したかを判定する。ここで、判定部４０４は、所定の時間間隔前後の輝度を比較すればよく、最新の輝度を用いなくてもよい。
【００８４】
また判定部４０４は、低減部４０５によりノイズ低減処理が行われた音声信号が、所定の音声を含むかを判定してもよい。詳細には、所定の音声に対応する波形パターンを辞書として予め保持しておき、ノイズ低減処理が行われた音声信号とパターンマッチングすることで、所定の音声を含むか判定する。なお、所定の音声として、例えば、悲鳴を含む音声信号やガラスが割れた音声がある。
【００８５】
低減部４０５は、判定部４０４によりノイズと判定された周波数の信号に対して、ノイズ低減処理を行う。なお、ノイズ低減処理は公知技術を利用してよく、例えば、ノッチフィルタやノイズキャンセル処理等を利用してよい。
【００８６】
通信部４０６は、Ｉ／Ｆ３０４を介して、ノイズ低減処理が行われた音声信号が、所定の音声を含むと判定部４０４により判定された場合、イベントとしてクライアント装置２０２へ通知する。また、通信部４０６は、ノイズ低減処理が行われた音声信号をクライアント装置２０２へ送信する。
【００８７】
次に、図１１および図１２を参照して、本実施形態に係る音声処理装置２００の処理について説明する。
【００８８】
図１１は、取得部４０１にて取得された所定時間分の音声信号に対し、算出部４０２によってＦＦＴを実行して得られた周波数毎の電圧値を示している。縦軸は電圧値、横軸は周波数を表している。なお、音声信号の周波数毎の音圧は図１１に示す電圧値から算出することができる。
【００８９】
図１１にて、実線で示される波形は、照明がオフの状態において、取得部４０１にて取得された所定時間分の音声信号に対し、算出部４０２によってＦＦＴを実行して得られた周波数毎の電圧値を示している。また、破線で示される波形は、照明がオンの状態において、取得部４０１にて取得された所定時間分の音声信号に対し、算出部４０２によってＦＦＴを実行して得られた周波数毎の電圧値を示している。
【００９０】
図１１に示すように、照明がオンの状態とオフの状態とで比較すると、Ｆ１［Ｈｚ］において閾値ΔＶ以上に電圧値が変化している。
【００９１】
次に、図１２のフローチャートを参照して、本実施形態に係る音声処理装置２００の処理について説明する。なお、図１２（ａ）に示す処理によって、音声処理装置２００は、輝度の変化を判定する。また、図１２（ｂ）に示す処理によって、音声処理装置２００は、輝度に基づいて光電効果によるノイズを判定し、ノイズ低減処理を実行する。
【００９２】
なお、図１２（ａ）および図１２（ｂ）に示すフローチャートの処理は、ＣＰＵ３０１がＨＤＤ３０３に格納されるコンピュータプログラムを実行することで実現される図４に示す各機能ブロックにより実行される。
【００９３】
なお、本実施形態における図１２に示す処理は、マイクロフォンにて生成されたアナログ音声信号がＡ／Ｄ変換部３０５によってデジタル音声信号へ変換された後で、実行されるものとする。ここでまず、図１２（ａ）に示すフローチャートの処理について説明する。なお、図１２（a）に示すフローの処理は、図１２（ｂ）に示すフローの処理と並行して行われ、また、繰り返して行われるものとする。
【００９４】
ステップＳ１２０１にて、取得部４０１は、画像処理部３０７にて生成された画像データにおける各画素の輝度の平均値を取得する。
【００９５】
次に、ステップＳ１２０２にて、記憶部４０３は、ステップＳ１２０１で取得した輝度と、輝度を取得した時刻とを関連付けて記憶する。
【００９６】
次に、ステップＳ１２０３にて、判定部４０４は、最も新しく取得した輝度と、その輝度に対し所定時間前に取得した輝度とを比較して、閾値以上に輝度が変化したかを判定する。このとき、閾値以上に輝度が変化している場合、ステップＳ１２０４へ遷移し、閾値以上に輝度が変化していない場合はステップＳ１２０１へ遷移する。なお、ここでの所定時間は、予め設定された時間でもよいし、ユーザーにより適宜設定されてもよい。
【００９７】
なお、記憶部４０３が最も新しく取得した輝度に対し所定時間前の輝度を記憶していない場合、ステップＳ１２０１へ遷移するものとする。
【００９８】
次に、ステップＳ１２０４にて、記憶部４０３は、ステップＳ１２０３にて比較対象となった最も新しく取得した輝度を第２輝度、第２輝度に対し所定時間前に取得した輝度を第１輝度として記憶する。なおこのとき、記憶部４０３は、第２輝度を取得した第２タイミングと、第１輝度を取得した第１タイミングとを記憶する。
【００９９】
次に、図１２（ｂ）に示すフローチャートの処理について説明する。
【０１００】
ステップＳ１２０５にて、取得部４０１は、マイクロフォン８０１から所定時間分の音声信号を取得する。
【０１０１】
次に、ステップＳ１２０６にて、判定部４０４は、輝度が第１閾値以上に変化したか否かを判定する。具体的には、判定部４０４は、ステップＳ１２０５で取得した音声信号の時間幅において、記憶部４０３が記憶する第１タイミングと第２タイミングが含まれている場合、輝度が第１閾値以上に変化したとして、ステップＳ１２０７へ遷移する。そして、含まれていない場合、処理を終了する。
【０１０２】
次に、ステップＳ１２０７にて、算出部４０２は、取得部４０１で取得した音声信号に対してＦＦＴを実行し、音声信号の周波数毎の電圧値を算出する。このとき、記憶部４０３が記憶する第１タイミングおよび第２タイミングを起点にして、第１タイミングより以前、つまり、第１輝度が取得されていないタイミングに対応する音声信号を第１音声信号とする。また、第２タイミングより以後、つまり、第２輝度が取得されてからのタイミングに対応する音声信号を第２音声信号とする。
【０１０３】
ステップＳ１２０７にて、本実施形態における算出部４０２は、第１音声信号と、第２音声信号のそれぞれに対し、ＦＦＴを実行し、第１音声信号および第２音声信号の周波数毎の電圧値を算出する。
【０１０４】
図１１において、第１音声信号の周波数毎の電圧値は、実線で示した波形であり、第２音声信号の周波数毎の電圧値は、破線で示した波形とする。このとき、第１音声信号は、照明がオフの状態における音声信号であり、第２音声信号は、照明がオンの状態における音声信号となる。
【０１０５】
次に、ステップＳ１２０８にて、判定部４０４は、第１音声信号の周波数毎の電圧と、第２音声信号の周波数毎の電圧とで比較し、第２閾値であるΔＶ以上に電圧値が変化した周波数がない場合、処理を終了する。そして判定部４０４は、第２閾値であるΔＶ以上に電圧値が変化した周波数がある場合、ステップＳ１２０９へ遷移する。
【０１０６】
次に、ステップＳ１２０９にて、判定部４０４は、輝度が増大したかを判定する。具体的には、判定部４０４は、第１タイミングで取得した第１輝度に対し、第２タイミングで取得した第２輝度は増大したかを判定する。増大している場合は、判定部４０４は、第２閾値であるΔＶ以上に電圧値が変化した周波数の第２音声信号を光電効果に起因するノイズとして判定し、ステップＳ１２１０へ遷移し、増大していない場合は処理を終了する。なお、記憶部４０３は、光電効果に起因するノイズであると判定された信号に対応する周波数を記憶する。
【０１０７】
図１１において、判定部４０４は、ΔＶ以上に電圧値が変化した周波数Ｆ１［Ｈｚ］の第２音声信号を光電効果に起因するノイズであると判定する。
【０１０８】
次に、ステップＳ１２１０にて、低減部４０５は、判定部４０４によりノイズと判定された周波数の第２音声信号に対して、ノイズ低減処理を行う。
【０１０９】
なお、図１２（ｂ）に示すフローにおけるステップＳ１２１０にて、ノイズと判定された周波数の信号に対して一度ノイズ低減処理が行われた場合を想定する。このとき、図１２（ｂ）に示すフローは繰り返さず、低減部４０５は、輝度が閾値以下になったことを判定部４０４により判定されるまで、取得部４０１により取得される音声信号に対してノイズ低減処理を継続して実行するものとする。ここでの閾値は予め設定されたものでもよいし、ユーザーにより適宜設定されてもよい。
【０１１０】
なお、輝度が閾値以下になり継続して実行していたノイズ低減処理が停止した場合、図１２（ｂ）に示すフローの処理が再び行われるものとする。また、図１２（ｂ）に示すフローにおいて、ステップＳ１２１０のノイズ低減処理が行われていない場合、図１２（ｂ）に示すフローは繰り返して行われるものとする。
【０１１１】
なお、本実施形態における判定部４０４は、所定時間前の輝度と最新の輝度とを比較し、記憶部４０３が記憶する第１閾値であるＡ以上に輝度が変化したかを判定するが、これに限らない。
【０１１２】
判定部４０４は、所定時間前の輝度が閾値未満かつ最新の輝度が閾値以上であること、ことを判定するようにしてもよい。
【０１１３】
このとき、ステップＳ１２０３にて、判定部４０４は、所定時間前の輝度が閾値未満かつ最新の輝度が閾値以上であることを判定する。そして、所定時間前の輝度が閾値未満かつ最新の輝度が閾値以上である場合、ステップＳ１２０４へ遷移し、所定時間前の輝度が閾値未満かつ最新の輝度が閾値以上でない場合、ステップＳ１２０１へ遷移する。
【０１１４】
この場合、第１音声信号は、閾値以上の輝度が取得されてないタイミングに対応する音声信号であり、第２音声信号は、閾値以上の輝度が取得されてからのタイミングに対応する音声信号となる。
【０１１５】
このように、判定部４０４は、所定時間前の輝度が閾値未満かつ最新の輝度が閾値以上であることを判定するようにしてもよい。
【０１１６】
以上説明したように、本実施形態における音声処理装置２００によれば、輝度が第１閾値以上に変化したことに伴い、第２閾値以上に変化した電圧値の周波数の信号が光電効果に起因するノイズであると判定し、その周波数の信号に対してノイズ低減処理を行う。こうすることにより、利便性よく、光電効果によって発生するノイズを判定し、さらにそのノイズを低減することができる。
【０１１７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2020005189.tif 000007
【図２】
2020005189.tif 000008
【図３】
2020005189.tif 000009
【図４】
2020005189.tif 000010
【図５】
2020005189.tif 000011
【図６】
2020005189.tif 000012
【図７】
2020005189.tif 000013
【図８】
2020005189.tif 000014
【図９】
2020005189.tif 000015
【図１０】
2020005189.tif 000016
【図１１】
2020005189.tif 000017
【図１２】
2020005189.tif 000018