(57)【要約】      （修正有）【課題】屋外に設置された音声処理装置において、日中と夜間とでマイクに設定するゲインを可変とすることにより、安定した音声レベルを実現できる音声処理装置を提供する。【解決手段】屋外で周辺の音声情報を取得し、音声信号を生成する場合に、周辺の環境が日中か夜間かなどによって、地表より上空の方が温度が高い第１の状態であるか、地表より上空の方が温度が低い第２の状態であるかを推定し、その推定結果に基づき、第１の状態と推定された場合には、第２の状態と推定された場合より基準とする外気温度において、適切な音量で音声データが取得できる音声マイクのゲイン量となるように低いゲイン量をマイクに設定する。【選択図】図３
2018023061.tif 000002
【特許請求の範囲】
【請求項１】
周辺の音声を取得し音声信号を生成する音声入力手段と、
前記音声信号のレベルを調整するゲイン制御手段と、
地表と上空の温度関係を推定する推定手段と、を有し、
前記ゲイン制御手段は、前記推定手段により地表より上空の方が温度が高い第１の状態であると推定したときに、地表より上空の方が温度が低い第２の状態であると推定したときより低いゲインを前記音声入力手段に設定する
ことを特徴とする音声処理装置。
【請求項２】
前記推定手段は、時刻情報に基づいて前記推定を行うことを特徴とする請求項１に記載の音声処理装置。
【請求項３】
周辺の温度情報を取得する温度取得手段をさらに有し、
前記推定手段は、前記温度情報に基づいて前記推定を行うことを特徴とする請求項１または２に記載の音声処理装置。
【請求項４】
周辺の明るさを検出する照度検知手段をさらに有し、
前記推定手段は、前記検出した明るさと所定の閾値との比較に基づいて前記推定を行うことを特徴とする請求項１乃至３のいずれか１項に記載の音声処理装置。
【請求項５】
周辺の被写体を撮像することで画像を取得する撮像手段をさらに有し、
前記推定手段は、前記画像の輝度情報と所定の閾値との比較に基づいて前記推定を行うことを特徴とする請求項１乃至４のいずれか１項に記載の音声処理装置。
【請求項６】
周辺の被写体を撮像することで画像を取得する撮像手段と、
前記撮像手段の撮影モードを、デイモードとナイトモードを切替えるモード切替手段をさらに有し、
前記推定手段は、前記モード切替手段に連動して前記推定を行うことを特徴とする請求項１乃至５のいずれか１項に記載の音声処理装置。
【請求項７】
前記推定手段は、さらに温度情報に基づいて前記推定を行うことを特徴とする請求項１乃至６のいずれか１項に記載の音声処理装置。
【請求項８】
前記推定手段は、さらに天候情報に基づいて前記推定を行うことを特徴とする請求項１乃至７のいずれか１項に記載の音声処理装置。
【請求項９】
前記音声信号からノイズを除去するＮＲ制御手段をさらに有し、
前記音声入力手段のゲインが変更されたことに応じて前記ＮＲ制御手段の設定を変更することを特徴とする請求項１乃至８のいずれか１項に記載の音声処理装置。
【請求項１０】
前記音声入力手段が屋外に設置されていることを判別する手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の音声処理装置。
【請求項１１】
周辺の音声を取得し音声信号を生成する音声入力工程と、
前記音声信号のレベルを調整するゲイン制御工程と、
地表と上空の温度関係を推定する推定する推定工程と、
前記推定の結果、地表より上空の方が温度が高い第１の状態であると推定したときに、地表より上空の方が温度が低い第２の状態であると推定したときより低いゲインを前記ゲイン制御工程において設定する
ことを特徴とする音声処理装置の制御方法。
【請求項１２】
請求項１１に記載の工程をコンピュータに実行させるためのコンピュータプログラム。
【請求項１３】
請求項１２に記載のコンピュータプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置及びその制御方法に関し、特に監視環境に応じた音声マイクのゲイン制御が可能な音声処理装置に関するものである。
【背景技術】
【０００２】
従来、音声処理装置において、音声マイクのゲインが予め固定設定されていると、監視環境によっては入力音声が大きすぎて音割れが発生し、あるいは遠くから聞こえる監視対象外の背景ノイズが入力されてしまう場合がある。逆に、入力音声が小さすぎる場合は、音声の認識が出来ないという課題がある。
【０００３】
従来技術ではこうした課題への対策として、音量、光量、撮影時のパラメータ値などに応じて、音声マイクのゲインや特性を制御する方法が知られている。
【０００４】
特許文献１では、入射光を測光して、その測光値に基づいて入力音信号を増幅する際のゲインを設定する技術が開示されている。例えば、打ち上げ花火の爆発音で突発的に音量が上がるシーンにおいて、花火が打ちあがってから音が到達し終わるまでの期間の入力音信号のゲインを小さくして、花火の音が途中から急に小さくならないように制御している。
【０００５】
特許文献２では、撮影シーンに応じて露出制御パラメータと露出制御モードが選定され、その露出制御モードに応じて音声マイクの特性を可変する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−１２００４９号公報
【特許文献２】特開２００２−１９９２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、一般に日中は地表付近の気温が上空の気温より高くなり、逆に夜間（太陽の光が地表に届かないとき）は、放射冷却と言われる地表から周辺に電磁波が放射される現象により、地表近くの温度が下がることが知られている。日中は地表近くに暖気、上空に寒気という環境に対し、夜間にこの関係が逆転する。そのため、日中と夜間とでは音の屈折方向が変化し、音の伝わり方も異なってくる。
【０００８】
図１２（ａ）に昼間の音の屈折の様子を、図１２（ｂ）に夜間の音の屈折の様子を示す。特に屋外環境では、地表の温度と上空の温度差による音の屈折が起こるために、一般的に昼間は音が通りにくく、夜間は音が通りやすい。このため、昼と夜で音声マイクに入力される音声のレベルや、音の届く範囲が異なる場合がある。
【０００９】
しかしながら、上述の特許文献には、突発的な音量変化や選定された撮影シーンに応じて音声マイクのゲインや特性を可変する技術について開示されているが、日中と夜間の音の伝わり方の違いに応じたゲイン制御については開示されていない。
【００１０】
そこで、本発明の目的は、地表と上空の温度関係を推定した結果に基づき音声入力手段に設定するゲインを制御することにより、安定した音声レベルを得ることができる音声処理装置を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、周辺の音声を取得し音声信号を生成する音声入力手段と、前記音声信号のレベルを調整するゲイン制御手段と、地表と上空の温度関係を推定する推定手段と、を有し、前記ゲイン制御手段は、前記推定手段により地表より上空の方が温度が高い第１の状態であると推定したときに、地表より上空の方が温度が低い第２の状態であると推定したときより低いゲインを前記音声入力手段に設定することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、特に屋外環境などで、音の伝わり方が異なる日中と夜間などにおいて安定した音声レベルを得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る音声処理装置の構成例を示すブロック図
【図２】本発明の第１の実施形態に係る音声処理を示すフローチャート
【図３】本発明の第１の実施形態に係る外気温度とゲインの関係図
【図４】本発明の第２の実施形態に係る音声処理を示すフローチャート
【図５】本発明の第２の実施形態に係る外気温度の変化量とゲインの関係図
【図６】本発明の第３の実施形態に係る音声処理を示すフローチャート
【図７】本発明の第３の実施形態に係る外気温度と基準温度との差分とゲインの関係図
【図８】本発明の第４の実施形態に係るマイク設定処理を示すフローチャート
【図９】本発明の第４の実施形態に係るＤ／Ｎ判定とゲインの関係図
【図１０】本発明の第５の実施形態に係るマイク設定処理を示すフローチャート
【図１１】本発明の第５の実施形態に係る夜間における環境温度とゲインの関係図
【図１２】音の屈折を表した図
【発明を実施するための形態】
【００１４】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１５】
（第１の実施形態）
本発明の第１の実施形態に係る音声処理装置の構成例について、図１を参照して説明する。図１は、本発明の第１の実施形態に係る音声処理装置の構成例を示すブロック図である。
【００１６】
音声処理装置１００は例えばネットワークカメラとして構成されており、温度センサ部１０１より環境温度の取得が可能であり、通信部１１０を介してクライアント装置２００とネットワークを介して相互に通信可能に接続されている。
【００１７】
温度センサ部１０１は、周辺の温度情報を取得する。温度測定部１０２は、温度センサ部１００から取得したデータに基づいて環境温度を測定する。
【００１８】
測定した環境温度は、温度記録部１０９に記録することが可能な構成とする。温度記録部１０９は、測定した環境温度を保持しており、その蓄積している環境温度の情報から、所定期間内（例えば、一日とか、夜間とか）の最低温度、最高温度、平均温度等の算出も可能な構成とする。
【００１９】
マイク部１０３は、内蔵しているマイクにより周辺の音声を取得し、取得したアナログ音声信号をＡＤ変換部で、デジタル信号に変換して音声信号を生成し、音声処理装置１００への音声入力を行う音声入力手段として機能している。また、マイク部１０３の内部にはゲインを変更可能なアンプが内蔵されている。
【００２０】
ゲイン算出部１０４は、マイク部１０３で生成する音声信号のレベルを調整するためのゲインを算出する。本実施例では、日中か夜間かの推定情報に基づいてゲインを決定する。日中か夜間かに対応してそれぞれ予め設定された基準のゲインとしても良いし、季節や天候などに応じて可変の値としても良い。
【００２１】
ゲイン制御部１０５では、ゲイン算出部１０４で算出された音声マイクのゲインをマイク部１０３に設定する。
【００２２】
フィルタ部１０６では、マイク部１０３のゲインを制御したことを受けて、制御されたゲインに応じたフィルタ特性で、取得した音声信号に対してフィルタ処理を行う。
【００２３】
ＮＲ制御部１０７では、マイク部１０３で取得した音声信号から、ノイズ音（例えば、あらかじめ記憶した背景音など）を除去するノイズリダクション処理を行う。マイク部１０３のゲインが変更された場合は、その前後で音声のノイズ除去の性能に差異が発生しないように、背景音等のノイズレベルの再学習を行い、ノイズ除去特性を更新するよう構成している。
【００２４】
音声認識／悲鳴検知部１０８では、マイク部１０３で生成した音声信号に対して、フィルタ処理、ノイズリダクション（ＮＲ）処理などの処理を実行した後の音声信号を使い、音声認識／悲鳴検知を行う。その結果は、ネットワークを介してクライアント２００に通知する。
【００２５】
通信部１１０は、無線又は有線のネットワークを介して外部のクライアント装置２００に接続されている。通信部１１０は、クライアント装置２００から送信される制御コマンドを受信し、システム制御部１１１へ伝達し、制御コマンドに対するレスポンスをクライアント装置２００へ送信する。また、取得した音声情報や画像情報を外部装置へ配信可能である。
【００２６】
システム制御部１１１は、ＣＰＵ、ＭＰＵなどのプログラマブルプロセッサと、メモリ（ＲＯＭ、ＲＡＭ）を含み、音声処理装置１００の全体の処理を制御する。ＣＰＵは、ＲＯＭからロードしたプログラムに従い、後述のように、通信バスで接続された各ユニットの制御およびそのために必要な演算を行う。記憶媒体としてのＲＯＭには、ＣＰＵで実行される制御用のコンピュータプログラムや、コンピュータプログラムの実行に必要な各種の定数値が格納される。ＲＡＭは、プログラムの実行に必要な各種一時データを記憶するための領域である。詳しくは図示しないが、制御や通信を行うための信号線がシステム制御部１１１から各機能ブロックに接続されている。クライアント装置２００におけるユーザ操作等による制御コマンドを通信部１１０を介して受信すると、システム制御部１１１は制御コマンドに応答して、指示された動作が実行されるように他の機能ブロックなどを制御する。
【００２７】
撮像部１１２は、レンズ、撮像素子及びその制御群から構成され、屋外の監視領域などの被写体像を撮像、電気信号への変換して画像データを生成し、画像処理を行うことで被写体画像を生成する。なお、撮像部１１２での画像データの生成、露出、焦点距離、ホワイトバランスの調整などの画像処理については、一般的なカメラによる撮像制御と同様の動作であるため、ここでは詳細は省略する。
【００２８】
シーン判定部１１３は、撮像部１１２から取得した画像データから、又は、露出、フォーカス、ホワイトバランスなどの撮影パラメータから、監視対象エリアのシーン判定を行う。具体的には、例えば、ＧＰＳに基づく緯度経度情報とそれに対応した地域に関してネットワークから得られる天気情報や、湿度や気温を直接測定した結果に基づき晴天か曇りかなどの天候情報に関するシーンの判定が可能である。
【００２９】
明るさ検知部１１４は、撮像部１１２から取得した画像データ、もしくは露出、フォーカス、ホワイトバランスなどの撮影パラメータに基づいて、監視対象の明るさを検出する。
【００３０】
時間管理部１１５は、時刻情報を保持、又は取得する。また、環境温度の測定タイミングなどの制御や、時間間隔の測定が可能な構成であり、ＧＰＳも内蔵している。
【００３１】
Ｄ／Ｎ判定部１１６は、明るさ検知部１１４で検出した明るさの情報、時間管理部１１５が保持する月日や時刻情報、ＧＰＳからの緯度経度情報、温度測定部１０２で測定した温度情報などに基づいて、日中（Ｄａｙ）か夜間（Ｎｉｇｈｔ）かの判定を行う。
【００３２】
なお、本実施形態では、「夜間」であると判定した場合には、地表より上空の方が温度が高い第１の状態であると推定しており、「日中」であると判定した場合には、地表より上空の方が温度が低い第２の状態であると推定している。判定は、例えば、明るさ検知部１１４で検出した明るさを、所定の閾値と比較し、閾値より明るい場合は日中（Ｄａｙ）、暗い場合は夜間（Ｎｉｇｈｔ）と判定する。なお、本実施例においては推定と判定とはほぼ同じ動作を意味する。また、環境温度が閾値より高いか低いかで判定してもよく、その場合、基準とする環境温度はその日の平均温度や季節などに応じて可変とするのが好ましい。また、例えば、６時から１８時までが日中、など、時刻及び緯度経度に基づいて判定してもよく、その場合、基準とする時刻は季節などに応じて可変とするのが好ましい。
【００３３】
従来、ネットワークカメラにはデイナイト機能がある。明るい環境下での撮影モードであるデイモードでは、ＩＲＣＦ（赤外カットフィルタ）を挿入し可視域の波長の光でカラー撮影を行う。一方、暗い環境下での撮影モードであるナイトモードでは、ＩＲＣＦを抜いて赤外域の波長の光も取り込んで明るさを稼ぎモノクロ撮影を行う。デイナイト機能は、監視環境の明るさを画像の輝度情報や露出パラメータ、又は照度センサによる照度検知結果などから判断して、ネットワークカメラ内でデイ／ナイトのモード切替えを行う構成である。また、ユーザ操作に応じて手動で切替えを行うことも可能である。デイナイト機能を持つネットワークカメラにおいては、Ｄ／Ｎ判定部１１６は、このデイナイト機能のモード切替えに連動して、デイモードの時は日中、ナイトモードのときは夜間と、判定を切り替える構成としてもよい。
【００３４】
クライアント装置２００では、通信部１１０を介して配信される音声、音声認識結果、悲鳴検知イベントなどにより撮影環境の監視を行う。なお、本発明では、音声処理について説明するが、通信部１１０を介して通知されるイベントはこれに限られず、画像や外部センサによる異常検知など、種々のイベントが含まれる。
【００３５】
以下、図２を参照して、本発明の第１の実施形態による、外気温度に応じた音声マイクのゲイン量制御について説明する。
【００３６】
図２は外気温度に応じた音声処理の制御フローを示したフローチャートである。図２のフローチャートは、システム制御部１１１によって、各処理ブロックを制御し実行される処理手順を図示したものである。システム制御部１１１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００３７】
まず温度測定ステップＳ１００にて外気温度を測定する。温度測定部１０２は、温度センサー部１０１から取得したデータに基づいて外気温度を測定する。
【００３８】
音声マイクゲイン算出ステップＳ１１０で、取得した外気温度から音声マイクゲイン量を算出する。ゲイン算出部１０４は、温度測定部１０２で取得した外気温度から音声マイクのゲイン量を算出する。ここで、外気温度と音声マイクゲイン量との関係は線形な特性をもつものとし、その特性上に沿って音声マイクのゲイン量を算出する。その特性は図３で示しており、その詳細な説明は後述する。
【００３９】
ゲイン制御部１０５では、算出された音声マイクのゲイン量となるように、マイク部１０３に内蔵されたアンプに設定するゲイン量を制御する。
【００４０】
フィルタ制御ステップＳ１２０で、フィルタ制御部１０６は、外気温度によって制御された音声マイクのゲイン量に基づいて、音声マイクのフィルタ特性の制御を行う。外気温度が低く音が通りやすい環境では、音声マイクのゲイン量が小さく抑えられており、そのゲイン量によるノイズの影響が小さいので、通過周波数域をやや広めにする。逆に外気温度が高く音が通りにくい環境では、音声マイクのゲイン量が大きくなっているので、そのゲイン量によるノイズの影響が大きいので、ノイズを考慮して通過周波数域をやや狭くなるようにする。
【００４１】
ＮＲ再学習ステップＳ１３０で、ＮＲ制御部１０７は、ＮＲ処理を行うための背景音の再学習を行う。音声マイクのゲイン量やフィルタ特性が変更されているため、それらを新しく制御された状態で背景音を再学習して、ノイズ除去の精度が制御前後で変わらないようにする。
【００４２】
音声認識／悲鳴検知ステップＳ１４０では、制御された音声マイクのゲイン量、フィルタ特性、ＮＲ処理を通った音声データに対して、音声認識や悲鳴検知処理を行う。音声認識／悲鳴検知部１０８は、ゲイン量が制御されたマイク部１０３で取得した音声データにフィルタ処理、ＮＲ処理を通し、それらの処理をした後の音声データで音声認識／悲鳴検知を行う。
【００４３】
図３は外気温度と音声マイクのゲイン量の関係を示す図である。基本的に、外気温度が高ければ音が通りにくい環境なので、音声マイクのゲイン量を増加する。逆に、外気温度が低ければ音が通りやすい環境なので、音声マイクのゲイン量を抑制する。
【００４４】
また、その関係は、以下の式（Ａ）に示すことができる。
Ｇａｉｎ＝ａ×ｔｍｐ＋ｂ  ・・・  式（Ａ）
【００４５】
ここで、Ｇａｉｎ：音声マイクのゲイン量、ｔｍｐ：外気温度、ａ、ｂは係数である。係数ａ，ｂは、ユーザーが任意の値に設定できるようにする。あるいは環境に応じて自動制御してもよい。例えば、季節や天候などで一日の温度変化量が変わることが考えられる。晴れの日については一日の温度変化量が大きいので、係数ａを増加して微小な外気温度の変化でも、音声マイクのゲイン量の制御幅をやや大きくなるようにする。曇りや雨等の天候が悪い日については一日の温度変化量が小さいので、係数ａを抑制して音声マイクのゲイン量があまり変化しないようにする。また放射冷却による地表の温度が上空の温度より低くなる現象は、夏より冬のほうが発生しやすく、冬の夜のほうがより音が通りやすくなる。そこで冬の時期には、係数ａを増加させて気温の変化によるゲイン量の変化幅が大きくなるように制御し、夏の時期には係数ａを抑制して気温の変化によるゲイン量の変化幅が小さくなるように制御する。係数ｂは、基準とする外気温度において、適切な音量で音声データが取得できる音声マイクのゲイン量となるように、係数ａの傾きを考慮した値が入る。これは、基準とする外気温度、その基準外気温度での適切な音声マイクのゲイン量、傾きとなる係数ａが定まれば算出できる。ここで適切な音量というのは、入力音声として監視対象外の遠くの背景ノイズが入力されない程度に大きい音量であり、かつ入力音声が小さい場合にノイズが気にならない音量で音声を録音できることを言う。
【００４６】
以上説明したように、本実施形態における音声処理装置によれば、気温の変化から地上と上空との温度関係を推定し、音の伝達状態が異なる場合に、所定の音声レベルで所定の範囲内の音声データを取得することが可能である。
【００４７】
（第２の実施形態）
以下、図４を参照して、本発明の第２の実施形態による外気温度に応じた音声マイクのゲイン量制御について説明する。
【００４８】
図４は現在と過去との外気温度の差分から音声マイクのゲイン量を制御する音声処理の制御フローを示したフローチャートである。図４のフローチャートは、システム制御部１１１によって、各処理ブロックを制御し実行される処理手順を図示したものである。システム制御部１１１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００４９】
まず、温度測定ステップＳ２００にて、温度測定部１０２は、温度センサ部１０１から取得したデータに基づいて外気温度を測定する。
【００５０】
温度記録ステップＳ２０１では、温度記録部１０９は、温度測定部１０２で測定した外気温度を記録する。
【００５１】
過去測定値との差分検出ステップＳ２１０では、温度測定ステップＳ２００から取得した現在の外気温度と、温度記録ステップＳ２０１から取得した過去の外気温度の差分をとる。現在と過去との外気温度との差分が大きい場合は、制御幅設定大ステップＳ２２０へ進み、音声マイクのゲイン量の変更幅が大きくなるように制御する。現在と過去との外気温度との差分が小さい場合は、制御幅設定小ステップＳ２２１へ進み、音声マイクのゲイン量の変更幅が小さくなるように制御する。
【００５２】
音声マイクゲイン算出ステップＳ２３０では、音声マイクのゲイン量の変更幅が制御された状態で、現在と過去との外気温度の差分から音声マイクのゲイン量を算出する。ゲイン算出部１０４は、温度測定部１０２で取得した現在の外気温度と、温度記録部１０９から取得した過去の外気温度との差分から音声マイクのゲイン量を算出する。ここで現在と過去との外気温度の差分と、音声マイクゲイン量とは線形な特性をもつものとし、その特性上に沿って音声マイクのゲイン量を算出する。その特性は図５で示しており、その詳細な説明は後述する。
【００５３】
ゲイン制御部１０５では、算出された音声マイクのゲイン量となるように、マイク部１０３に内蔵されたアンプに設定するゲイン量を制御する。
【００５４】
その後の処理、フィルタ制御ステップＳ２４０以降は、第１の実施形態の図２のステップＳ１２０以降と同様の処理であるため、ここでは詳細を省略する。
【００５５】
図５は現在と過去との外気温度の差分値と音声マイクのゲイン量の関係を示す図である。前回（過去）に算出した音声マイクのゲイン量を基準とし、その時の外気温度と現在の外気温度との差分をみて音声マイクのゲイン量を算出する。
【００５６】
また、その関係は、以下の式（Ｂ）に示すことができる。
Ｇａｉｎ＝ａ×ｔｍｐ＿ｄｉｆｆ＋ｂ  ・・・  式（Ｂ）
【００５７】
ここで、Ｇａｉｎ：音声マイクのゲイン量、ｔｍｐ＿ｄｉｆｆ：過去と現在の外気温度の差分、ａ：係数、ｂ：係数（前回算出時の音声マイクのゲイン量）である。係数ａは、ユーザーが任意の値に設定できるようにする。あるいは第１の実施形態で述べたように季節や天候などの環境に応じて自動制御してもよい。本実施形態では、係数ｂには、現在の音声マイクのゲイン量を算出するための基準として、前回算出した音声マイクのゲイン量を適用する。これにより、前回算出した音声マイクのゲイン量と、現在と過去との外気温度の差分値とから、現在の音声マイクのゲイン量を算出する。係数ｂの初期値としては、基準とする外気温度において適切な音量で音声データが取得できる音声マイクのゲイン量とする。ここで適切な音量というのは、入力音声として監視対象外の遠くの背景ノイズが入力されない程度に大きい音量であり、かつ入力音声が小さい場合にノイズが気にならない音量で音声が録音できることをいう。
【００５８】
以上説明したように、本実施形態における音声処理装置によれば、温度の変化の度合いに応じてゲインの変化量を可変とすることで、より周辺環境に適したゲイン調整をすることが可能である。
【００５９】
（第３の実施形態）
以下、図６を参照して、本発明の第３の実施形態による、外気温度に応じた音声マイクのゲイン量制御について説明する。
【００６０】
図６は基準温度と現在との外気温度の差分から音声マイクのゲイン量制御フローを示したフローチャートである。図６のフローチャートは、システム制御部１１１によって、各処理ブロックを制御し実行される処理手順を図示したものである。システム制御部１１１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００６１】
時間管理ステップＳ３００では外気温度を測定するタイミングを制御する。これは例えば一定な時間間隔を設定して、その時間間隔毎に温度を測定するようにしてもよいし、時刻情報に基づき、指定した時刻で温度を測定するようにしてもよい。
【００６２】
温度測定ステップＳ３１０では、時間管理ステップＳ３００から取得した測定タイミングで、外気温度を測定する。温度測定部１０２は、温度センサ部１０１から取得したデータ、及び時間管理部１１５から取得した測定タイミングに基づいて外気温度を測定する。
【００６３】
基準温度更新ステップＳ３１１で、温度測定部１０２が測定した外気温度を温度記録部１０９に記録する。このとき時刻情報と対応づけて記録可能な構成とする。
【００６４】
撮像ステップＳ３０１では、屋外の監視対象の被写体などを撮像する。撮像部１１２が、屋外の監視対象の被写体などを撮像して画像データを取得する。
【００６５】
シーン判定ステップＳ３０２では、撮像部１１２で撮像された画像情報から監視対象の状態を判定する。シーン判別部１１３は、撮像部１１２から取得した画像データから、監視対象の状態、例えば天候の善し悪しを判別する。例えば画像の輝度ヒストグラムから霧や霞を検知して天候が悪いことを判定する。別の例では、監視対象エリアの人物を検知して、その人物が傘をさしているか否かを認識して天候の善し悪しを判定する。
【００６６】
明るさ測定ステップＳ３０３では、明るさ検知部１１４は、撮像部１１２から取得した画像データ、もしくは撮像パラメータに基づいて屋外の監視対象の明るさを検知する。ここで撮像パラメータは、例えば露出の値などを指す。
【００６７】
日の出検知Ｓ３０４では、明るさ検知部１１４の検知結果、及び時間管理部１１５から取得した時間情報に基づいて日の出のタイミングを検知する。
【００６８】
基準温度更新ステップＳ３１１では、温度測定部１０２が取得した外気温度、及び日の出のタイミングから、一日の最低気温を基準温度として更新する。基準温度は温度記録部１０９で保持しており、日の出のタイミングで温度記録部１０９に記録された外気温度で保持している基準温度を更新する。ここで基準温度は、一日の最低気温と定義している。一般的に一日の最低気温は日の出のタイミングであることが多いことから、これらのようなステップを踏んで基準温度を算出している。
【００６９】
基準温度との差分検出ステップＳ３２０では、温度測定ステップＳ３１０から取得した現在の外気温度と、基準温度音声マイクゲイン更新ステップＳ３１２を通して基準温度更新ステップＳ３１１から取得した基準温度との差分をとる。
【００７０】
基準温度と現在の外気温度との差分が大きい場合は、制御幅設定大ステップＳ３３０へ進み、音声マイクのゲイン量の変更幅が大きくなるように制御する。
【００７１】
基準温度と現在の外気温度との差分が小さい場合は、制御幅設定小ステップＳ３３１へ進み、音声マイクのゲイン量の変更幅が小さくなるように制御する。
【００７２】
音声マイクゲイン算出ステップＳ３４０では、音声マイクのゲイン量の変更幅が制御された状態で、基準温度と現在の外気温度との差分から音声マイクのゲイン量を算出する。ここで基準温度と現在の外気温度との差分と、音声マイクゲイン量とは線形な特性をもつものとし、その特性上に沿って音声マイクのゲイン量を算出する。ゲイン算出部１０４は、基準温度と現在の温度との差分に基づいて、音声マイクのゲイン量を算出する。基準温度と現在の外気温度との差分と、と音声マイクのゲイン量との関係は線形な特性をもつものとし、その特性上に沿って音声マイクのゲイン量を算出する。その特性は図９で示しており、その詳細な説明は後述する。
【００７３】
さらに、その特性上に沿った上で、シーン判定部１１３で取得した監視対象の状態も考慮して音声マイクのゲイン量を算出する構成としてもよい。ゲイン制御部１０５では、算出された音声マイクのゲイン量となるように、マイク部１０３内部のアンプのゲインを設定する。
【００７４】
基準温度音声マイクゲイン更新ステップＳ３１２では、ステップＳ３１１で更新された基準温度に基づいて、基準となる音声マイクのゲイン量を更新する。基準温度における音声マイクとして、ステップＳ３４０で算出した音声マイクのゲインを図示しないメモリなどに記録する。ゲイン算出部で保持する構成としてもよい。
【００７５】
その後の処理、フィルタ制御ステップＳ３５０以降は、第１の実施形態の図２のステップＳ１２０以降と同様の処理であるため、ここでは詳細を省略する。
【００７６】
図７は、基準温度と現在の外気温度との差分値と、音声マイクのゲイン量の関係を示す図である。一般的に一日の最低温度となる日の出の外気温度を基準温度とし、その基準温度時の音声マイクのゲイン量と、基準温度と現在の外気温度との差分から音声マイクのゲイン量を算出する。
【００７７】
また、その関係は、以下の式（Ｃ）に示すことができる。
Ｇａｉｎ＝ａ×ｔｍｐ＿ｄｉｆｆ＋ｂ  ・・・  式（Ｃ）
【００７８】
ここで、Ｇａｉｎ：音声マイクのゲイン量、ｔｍｐ＿ｄｉｆｆ：基準温度と現在の外気温度の差分、ａ：係数、ｂ：係数（基準温度での音声マイクのゲイン量）である。係数ａはユーザーが任意の値に設定できるようにする。あるいは第１の実施例で述べたように季節や天候などの環境に応じて自動制御してもよい。また、図６におけるシーン判定ステップＳ３０２から取得した監視対象の状態を検知して係数ａを制御してもよい。例えば、監視対象の状態で天候が悪いと判定されれば、一日における温度変化が小さいと判断して係数ａを抑制し、天候が良いと判定されれば、一日における温度変化が大きいので係数ａを増加させる。係数ｂには、現在の音声マイクのゲイン量を算出するためのゲイン量の基準として、基準温度時の音声マイクのゲイン量とし、基準温度と現在の外気温度との差分値から、現在の音声マイクのゲイン量を算出する。係数ｂの初期値としては基準とする外気温度において適切な音量で音声データが取得できる音声マイクのゲイン量とする。ここで適切な音量というのは、入力音声として監視対象外の遠くの背景ノイズが入力されない程度に大きい音量であり、かつ入力音声が小さい場合にノイズが気にならない音量で音声が録音できることをいう。
【００７９】
以上説明したように、本実施形態における音声処理装置によれば、基準温度と基準ゲインに基づいてゲインを調整することで、日ごとの周辺環境の変動にも適したゲイン調整をすることが可能である。
【００８０】
（第４の実施形態）
図８を参照して、本発明の第４の実施形態に係る環境温度に応じた音声マイクのゲイン制御について説明する。なお、前述した実施形態と同一の処理を行う部分は同一の記号で示し、説明を省略する。
【００８１】
図８は、本発明の第１の実施形態に係るマイク設定処理を示すフローチャートである。図８のフローチャートは、システム制御部１１１によって、各処理ブロックを制御し実行される処理手順を図示したものである。システム制御部１１１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００８２】
まずステップＳ８００にて、Ｄ／Ｎ判定部１１６は現在の監視対象エリアが、日中（Ｄａｙ）なのか、夜間（Ｎｉｇｈｔ）なのかを判定し、地上と上空の温度関係を推定する。すなわち、日中（Ｄａｙ）と判定することによって、地表より上空の方が温度が低い第２の状態であると推定し、夜間（Ｎｉｇｈｔ）であると判定することによって、地表より上空の方が温度が高い第１の状態であると推定している。
【００８３】
次にステップＳ８１０へ進み、判定結果に基づいて、ゲイン算出部１０４で音声マイクへ設定するゲインを算出する。具体的には、例えば図９は、本発明の第４の実施形態に係るＤ／Ｎ判定とゲインの関係性の例を示した図であり、夜間の場合の方が、日中の場合と比較して低いゲインを設定する。一般に、夜間になると、日中に暖められた地面から、宇宙空間に向かって電磁波（赤外線）が放出され、地表付近の温度は下がる放射冷却という現象が起こる。放射冷却の影響で図１２（ｂ）に示すように地表より上空の方が温度が高い第１の状態となり音の屈折が変化することにより、図１２（ａ）に示す日中（地表より上空の方が温度が低い第２の状態）より夜間の方がより音が通りやすくなる。そのため、図９に示すように、夜間の場合の方が、日中の場合と比較してゲインを低くする。ここで、設定するゲインは日中か夜間かに対応づけて、実測値に基づいた値を予め保持しておく。なお、さらに季節、平均気温、天候などに応じて複数のゲインを保持しておいてもよい。また、ここで算出したゲインを基準として、公知の技術を用いてさらにゲインを調整可能な構成としてもよい。
【００８４】
次に、ステップＳ８２０では、フィルタ部１０６は、Ｄ／Ｎ判定の結果により算出された音声マイクのゲインに基づいて、音声データに対してフィルタ処理を行う。夜間で音が通りやすい環境では、音声マイクのゲインが小さく抑えられており、そのゲインによるノイズの影響が小さいので、通過周波数域をやや広めにする。逆に日中の音が通りにくい環境では、音声マイクのゲインが大きくなっているので、そのゲインによるノイズの影響が大きいので、ノイズを考慮して通過周波数域をやや狭くなるようにする。
【００８５】
ステップＳ８３０では、ＮＲ制御部１０７は、音声データから、例えばあらかじめ記憶されている背景音などを除去するＮＲ処理を行う。音声マイクのゲインやフィルタ特性が変更されている場合は、新しく制御された状態で背景音を再学習して、記憶されている背景音を更新する構成としてもよい。背景音の再学習を行うことで、ゲインやフィルタ特性の変更制御の前後でノイズ除去の精度が変わらないようにすることができる。
【００８６】
以上説明したように、本実施形態における音声処理装置によれば、音の伝達状態が異なる夜間と日中などで特に屋外で音声データを取得する場合にも、所定の音声レベルで所定の範囲内の音声データを取得することが可能である。
【００８７】
（第５の実施形態）
以下、図１０を参照して、本発明の第５の実施形態に係る環境温度の変化に応じた音声マイクのゲイン制御について説明する。なお、前述した実施形態と同一の処理を行う部分は同一の記号で示し、説明を省略する。
【００８８】
図１０は、本発明の第５の実施形態に係るマイク設定処理を示したフローチャートである。図１０のフローチャートは、システム制御部１１１によって、各処理ブロックを制御し実行される処理手順を図示したものである。システム制御部１１１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００８９】
本実施形態におけるマイク設定処理を開始すると、まず、ステップＳ９００にて、Ｄ／Ｎ判定部１１６は現在の監視対象エリアが、日中（Ｄａｙ）なのか、夜間（Ｎｉｇｈｔ）なのかを判定する。日中の場合はステップＳ９３０へ進み、夜間の場合はステップＳ９１０へ進む。
【００９０】
夜間の場合は、次にステップＳ９１０で、温度測定部１０２は、温度センサ部１００から温度情報を取得し、監視環境の現在の気温を測定する。その後、温度記録部１９０に測定した現在の環境温度を日時情報とともに記録する。温度記録部１９０は、蓄積した環境温度情報から所定期間の平均温度、最高温度、最低温度、温度変化量等を算出可能な構成とする。なお、温度取得の方法は温度センサと温度測定部によるものに限られず、ネットワークを介して外部のサーバ情報などから取得する構成としてもよい。
【００９１】
ステップＳ９２０で、温度記録部１９０に保持している過去の温度情報と測定した現在の温度情報から、環境温度の変化量を算出する。
【００９２】
次に、ステップＳ９３０では、ゲイン算出部１０４は、日中の場合は図２のステップＳ９２０と同様に、日中に対応づけられた値を基準量としてゲインを算出する。他方、夜間の場合は、夜間に対応づけられたゲインに対し、環境温度の変化量に基づいて調整したゲインを算出する。
【００９３】
ここで、図１１を参照して、環境温度の変化量とゲインの関係性について詳細に説明する。図１１は、本発明の第５の実施形態に係る夜間における環境温度とゲインの関係図を例示したものである。
【００９４】
図１１（ａ）は、夜間における環境温度の変化量の例を示した図である。実線（１）は点線（２）と比較して、夜間に急激に気温が低下している。実線（１）は、例えば、晴天の風の無い冬の日が典型であり、夜間に日射がなくなると日中に暖められた地面から宇宙空間に向かって電磁波（赤外線）が放出され、地表近くの温度は低下する。しかし、晴天でないつまり曇りのときは雲が赤外線を吸収するため、点線（２）のようにそれほど気温の低下は見られない。一般に、風が強い場合には大気に流れがあることにより気温の低下は少なく、また、夏と冬を比較すると冬の方が気温の低下が大きい。また放射冷却による地表の温度が上空の温度より低くなる現象は、夏より冬のほうが発生しやすく、冬の夜のほうがより音が通りやすくなる。
【００９５】
図１１（ｂ）は、夜間における図１１（ａ）に示した温度変化に応じたゲインの例を示している。監視環境が夜間である場合には、日中の場合よりゲインを低くし、さらに、環境温度の変化量に応じて、図１１（ｂ）は変化量に幅を持たせ段階的にゲインを下げる構成を示している。環境温度の変化量とゲインを対応づけ、環境温度が下がるにつれ徐々にゲインが変化するような線形な関係性を持たせても良い。
【００９６】
以上のようにして、夜間の場合は環境温度の変化量とゲインの関係性に基づいて、環境温度の変化量に対応する音声マイクのゲインを算出する。ステップＳ９４０以降の処理は、図８のステップＳ８２０以降と同様であるため、詳細は省略する。
【００９７】
本実施例では、環境温度の変化量に基づいて、ゲインを調整する構成としたが、画像から天候情報を予測したり、ネットワークを介して天候情報を取得することで、放射冷却の度合いを推測することでゲインを調整可能な構成としてもよい。
【００９８】
以上説明したように、本実施形態によれば、夜間の場合には、さらに環境温度の変化から地上と上空の温度関係を推定し、気温の違いにより放射冷却の度合いが異なる場合にも、所定の音声レベルで所定の範囲内の音声データを取得することが可能である。
【００９９】
音の屈折は、近距離（２，３ｍ程度）では音の伝わり方にあまり影響がない。そのため、本発明の制御は、被写体までの距離を距離センサを用いて測定し、中距離以上の場合に実行するようにする。あるいはユーザ操作により有効／無効を選択できる構成としてもよい。特に音声処理装置１００が屋外に設置されている場合や屋内から屋外の方向に向けて音声入力手段が設置されている場合には、本発明の制御が実行されるのが好ましい。そのため、設置状況が屋内に向いているか屋外に向いているかを判断して、屋外に向いている場合に本発明が有効となる構成としてもよい。屋内に向いているか屋外に向いているかの判断は、公知の技術（例えば色温度が高ければ屋外とする等）を用いるが、例えば、ユーザが設定した装置の設置情報と連動して、本制御の有効／無効を切り替える構成とすることも可能である。
【０１００】
撮像部１１２は、音声処理装置１００とは別体の装置であっても良い。その場合は、通信部を介して、画像情報や制御コマンドなどの情報のやりとりを行う構成とする。同様にマイク部１０３も、音声処理装置１００とは別体の装置であっても良い。
【０１０１】
音声認識／悲鳴検知部１０８は、外部装置にあってもよく、その場合は、音声信号を通信部を介してネットワークに配信し、ネットワーク側で受け取った情報をもとに音声情報の解析を行う。
【０１０２】
以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。
【０１０３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０４】
１００  音声処理装置
１０１  温度センサ部
１０３  マイク部（音声入力手段）
１０４  ゲイン算出部
１０５  ゲイン制御部（ゲイン制御手段）
１０６  フィルタ制御部
１０７  ＮＲ制御部
１１１  システム制御部
１１２  撮像部
１１４  明るさ検知部
１１６  Ｄ／Ｎ判定部（推定手段）
【図１】
2018023061.tif 000003
【図２】
2018023061.tif 000004
【図３】
2018023061.tif 000005
【図４】
2018023061.tif 000006
【図５】
2018023061.tif 000007
【図６】
2018023061.tif 000008
【図７】
2018023061.tif 000009
【図８】
2018023061.tif 000010
【図９】
2018023061.tif 000011
【図１０】
2018023061.tif 000012
【図１１】
2018023061.tif 000013
【図１２】
2018023061.tif 000014