(57)【要約】【課題】監視対象エリアにおいて集音された音源からの音の種類を判別し、監視精度の劣化ならびに監視員の利便性の低下を抑制する。【解決手段】音源可視化システムでは、処理閲覧装置は、外部インターフェース回路を介して、監視対象エリアに配置されたマイクアレイおよびカメラとの間でそれぞれ通信する。音源位置推定部は、マイクアレイにより集音された音の音データに基づいて、監視対象エリア内に存在する音源位置を推定する。音分析部は、マイクアレイにより集音された音の音データに基づいて、推定された音源の位置から生じた音の種類を分析する。プロセッサは、推定された音源位置から生じた音の種類の分析結果を、カメラにより撮像された画像に重畳してモニタに表示する。【選択図】図２
2020012704.tif 000002
【特許請求の範囲】
【請求項１】
監視対象エリアに配置されたマイクアレイおよびカメラとの間でそれぞれ通信する通信部と、
前記マイクアレイにより集音された音データに基づいて、前記監視対象エリア内に存在する音源の位置を推定する推定部と、
前記マイクアレイにより集音された音データに基づいて、前記推定された音源の位置から生じた音の種類を分析する分析部と、
前記推定された音源の位置から生じた音の種類の分析結果を、前記カメラにより撮像された画像に重畳してモニタに表示する制御部と、を備える、
音処理装置。
【請求項２】
前記カメラにより撮像された画像を構成する画素または所定数の画素からなるブロックごとに、前記監視対象エリアの音の大きさを示す音パラメータを導出し、その導出された音パラメータを対応する画素またはブロックに割り当てたヒートマップを生成するヒートマップ処理部、をさらに備え、
前記制御部は、前記ヒートマップ上の前記推定された音源の位置に対応する音パラメータを、前記分析結果の内容に応じた色を付与した視覚画像に変換して前記画像に重畳する、
請求項１に記載の音処理装置。
【請求項３】
前記推定部は、前記生成されたヒートマップを構成する音パラメータを正規化し、前記正規化された画素またはブロックごとの音パラメータと既定の閾値との比較に基づいて、前記監視対象エリア内に存在する音源の位置を推定する、
請求項２に記載の音処理装置。
【請求項４】
前記分析部は、前記音の種類の分析結果として、人の声または物の音を特定する、
請求項１〜３のうちいずれか一項に記載の音処理装置。
【請求項５】
前記音源は、前記監視対象エリアにおいて複数存在する、
請求項１〜４のうちいずれか一項に記載の音処理装置。
【請求項６】
前記制御部は、前記音の種類の分析結果が予め指定された音の種類と一致した場合に、前記音の種類の分析結果を前記モニタに表示する、
請求項１〜５のうちいずれか一項に記載の音処理装置。
【請求項７】
前記マイクアレイにより集音された音データを用いて、前記マイクアレイから前記推定された音源の位置に向かう方向の音データを強調処理する強調音生成部、をさらに備える、
請求項１に記載の音処理装置。
【請求項８】
音処理装置における音処理方法であって、
監視対象エリアに配置されたマイクアレイおよびカメラとの間でそれぞれ通信するステップと、
前記マイクアレイにより集音された音データに基づいて、前記監視対象エリア内に存在する音源の位置を推定するステップと、
前記マイクアレイにより集音された音データに基づいて、前記推定された音源の位置から生じた音の種類を分析するステップと、
前記推定された音源の位置から生じた音の種類の分析結果を、前記カメラにより撮像された画像に重畳してモニタに表示するステップと、を有する、
音処理方法。
【請求項９】
コンピュータである音処理装置に、
監視対象エリアに配置されたマイクアレイおよびカメラとの間でそれぞれ通信するステップと、
前記マイクアレイにより集音された音データに基づいて、前記監視対象エリア内に存在する音源の位置を推定するステップと、
前記マイクアレイにより集音された音データに基づいて、前記推定された音源の位置から生じた音の種類を分析するステップと、
前記推定された音源の位置から生じた音の種類の分析結果を、前記カメラにより撮像された画像に重畳してモニタに表示するステップと、を実行させるための、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、集音された音を処理する音処理装置、音処理方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、集音情報（音信号）を得るためのマイクロホンを透過型ヘッドマウントディスプレイの前面に配設し、マイクロホンの集音情報に基づき、位置情報に対応した視覚映像内の位置に、音源から出る音のレベル情報を円の大きさで表示する音情報表示装置が開示されている。この音情報表示装置は、音源位置が視覚映像内にある場合にはその位置あるいは近傍に音情報を表示し、一方、音源位置が表示面内から外れる場合にはその音源位置に近い視覚映像の端部に音情報を表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１３３２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１によれば、音源の位置が透過型ヘッドマウントディスプレイに表示される視覚映像内のどの位置であるかが概略的に判別可能である。しかし、特許文献１では、音源の種類が具体的にどのようなものであるかを判別することは想定されていない。このため、例えば監視目的で集音された音源がどのような種類の音であるかを判別できなければ、監視員等がその音源位置まで出向いて音源を逐一確認する必要があり、監視精度が劣化するだけでなく監視員の利便性が低下するという課題があった。
【０００５】
本開示は、上述した従来の状況に鑑みて案出され、監視対象エリアにおいて集音された音源からの音の種類を判別し、監視精度の劣化ならびに監視員の利便性の低下を抑制する音処理装置、音処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示は、監視対象エリアに配置されたマイクアレイおよびカメラとの間でそれぞれ通信する通信部と、前記マイクアレイにより集音された音データに基づいて、前記監視対象エリア内に存在する音源の位置を推定する推定部と、前記マイクアレイにより集音された音データに基づいて、前記推定された音源の位置から生じた音の種類を分析する分析部と、前記推定された音源の位置から生じた音の種類の分析結果を、前記カメラにより撮像された画像に重畳してモニタに表示する制御部と、を備える、音処理装置を提供する。
【０００７】
また、本開示は、音処理装置における音処理方法であって、監視対象エリアに配置されたマイクアレイおよびカメラとの間でそれぞれ通信するステップと、前記マイクアレイにより集音された音データに基づいて、前記監視対象エリア内に存在する音源の位置を推定するステップと、前記マイクアレイにより集音された音データに基づいて、前記推定された音源の位置から生じた音の種類を分析するステップと、前記推定された音源の位置から生じた音の種類の分析結果を、前記カメラにより撮像された画像に重畳してモニタに表示するステップと、を有する、音処理方法を提供する。
【０００８】
また、本開示は、コンピュータである音処理装置に、監視対象エリアに配置されたマイクアレイおよびカメラとの間でそれぞれ通信するステップと、前記マイクアレイにより集音された音データに基づいて、前記監視対象エリア内に存在する音源の位置を推定するステップと、前記マイクアレイにより集音された音データに基づいて、前記推定された音源の位置から生じた音の種類を分析するステップと、前記推定された音源の位置から生じた音の種類の分析結果を、前記カメラにより撮像された画像に重畳してモニタに表示するステップと、を実行させるための、プログラムを提供する。
【発明の効果】
【０００９】
本開示によれば、監視対象エリアにおいて集音された音源からの音の種類を判別し、監視精度の劣化ならびに監視員の利便性の低下を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る音源可視化システムの概要例を示す図
【図２】音源可視化システムのシステム構成ならびに処理閲覧装置のハードウェア構成の一例を示すブロック図
【図３】処理閲覧装置における音源可視化処理の動作手順例を示すフローチャート
【図４】ステップＳ２の音源位置推定処理の動作手順例を示すフローチャート
【図５】撮像画像上の推定された音源位置および音を強調するための指向方向を示す図
【図６】音圧を正規化しないで音源位置を推定するための音圧分布例を示す図
【図７】音圧を正規化して音源位置を推定するための音圧分布例を示す図
【図８】発話および物音の音圧ヒートマップが撮像画像に重畳して表示されたモニタの表示画面例を示す図
【図９】発話の音圧ヒートマップが撮像画像に重畳して表示されたモニタの表示画面例を示す図
【図１０】物音の音圧ヒートマップが撮像画像に重畳して表示されたモニタの表示画面例を示す図
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、本開示に係る音処理装置、音処理方法およびプログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
図１は、実施の形態１に係る音源可視化システム５の概要例を示す図である。音源可視化システム５は、監視カメラシステムの一例として、監視対象エリアＳＡを撮像するとともに、監視対象エリアＳＡ内で生じる音あるいは音声を集音する。図１では、監視対象エリアＳＡとして、オフィス１００の室内が図示されている。オフィス１００の室内では、デスク１０１を前に座っている２人の人物ｈｍ１，ｈｍ２が会話し、さらに、コピー機１２０が作動している。また、オフィス１００の監視室（図示略）に控える監視員（音源可視化システム５のユーザの一例）は、音源可視化システム５を用いて、オフィス１００の室内の状況を、撮像される画像と集音される音とによって監視している。
【００１３】
なお、以下の実施の形態１では、監視対象エリアＳＡとして、オフィス１００の室内を例示しているが、オフィス１００の室内に限定されず、人の発する音声と物の発する音とが混在して生じる施設（例えば、工場、店舗、公共施設等）でよい。
【００１４】
図１に示されるように、音源可視化システム５は、カメラ付マイクアレイ１０と、処理閲覧装置５０と、レコーダ７０とを含む構成である。カメラ付マイクアレイ１０と、処理閲覧装置５０と、レコーダ７０とは、ネットワークＮＷを介して互いにデータあるいは情報の送受信が可能に接続される。
【００１５】
カメラ付マイクアレイ１０は、オフィス１００の天井に固定して設置され、監視対象エリアＳＡを上方から監視する。カメラ付マイクアレイ１０は、例えば所定の厚みを有する円柱状の筐体を有し、この筐体内に、鉛直方向の同軸上に配置されたマイクアレイ２０とカメラ３０とを有する。つまり、カメラ３０のレンズ（図示略）の光軸とマイクアレイ２０の筐体の軸線とは共通する。
【００１６】
マイクアレイ２０は、例えば複数の無指向性のマイクロホンを含む。マイクロホンは、筐体の前面（つまり、カメラ付マイクアレイ１０の天井との設置面から鉛直下方を向く方向の面）において同心円状に等間隔で配置される。マイクロホンの数は、例えば１６個、３２個、６４個、１２８個でよい。マイクロホンには、例えばエレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられる。マイクアレイ２０は、複数のマイクロホンと、複数のマイクロホンのそれぞれからの出力信号をそれぞれ増幅するための複数の増幅器と、複数のＡ／Ｄ変換器とを有する。マイクロホンと増幅器とＡ／Ｄ変換器とはそれぞれ同数設けられる。各増幅器から出力されるアナログ信号は、Ａ／Ｄ変換器でそれぞれデジタル信号に変換される。
【００１７】
マイクアレイ２０により集音される音は、例えば、人物ｈｍ１，ｈｍ２のように人間が発する音声に限らず、コピー機１２０、掃除機（図示略）、冷蔵庫（図示略）、空調機（図示略）等の機械的な動作音、その他の音が含まれる。つまり、マイクアレイ２０により集音される音は、可聴周波数（つまり、２０Ｈｚ〜２０ｋＨｚ）域の音に限らず、可聴周波数より低い低周波音、可聴周波数を超える超音波音を含んでもよい。
【００１８】
カメラ３０は、監視対象エリアＳＡを画角内に収めるように設置されており、監視対象エリアＳＡを撮像する。カメラ３０は、画角が固定された固定カメラでよいし、監視対象エリアＳＡを含む全域を撮像可能な魚眼レンズを搭載したカメラ（つまり、全方位カメラ）でもよい。
【００１９】
処理閲覧装置５０は、マイクアレイ２０により集音された音の音データを基に、監視対象エリアＳＡにおいて生じた音声あるいは音の音源位置を推定するとともに、その推定された音源から生じた音声あるいは音の種類を判別（特定）する。処理閲覧装置５０は、音源から生じた音声あるいは音の大きさを示す音パラメータ（後述参照）を、カメラ３０で撮像された監視対象エリアＳＡの撮像画像に重畳して表示する。
【００２０】
レコーダ７０は、記録データｍｄ（図２参照）を蓄積する。記録データｍｄは、マイクアレイ２０により集音された音の音データｓｄと、カメラ３０により撮像された画像の画像データｇｄとを対応付けた構成である。なお、レコーダ７０は、ネットワークＮＷに接続されることなく、ＵＳＢ（Universal Serial Bus）等のインターフェースを介して、処理閲覧装置５０に直接接続されてもよい。
【００２１】
図２は、音源可視化システム５のシステム構成ならびに処理閲覧装置５０のハードウェア構成の一例を示すブロック図である。処理閲覧装置５０は、例えばＰＣ（Personal Computer）５５と、モニタ６１と、操作デバイス６２と、スピーカ６３とを有する。ＰＣ５５は、プロセッサ５６と、メモリ５７と、外部インターフェース６０とを有する。
【００２２】
メモリ５７は、ＲＯＭ（Read Only Memory）５８およびＲＡＭ（Random Access Memory）５９を含む。ＲＡＭ５９は、プロセッサ５６のワーキングメモリとして使用され、プロセッサ５６がＲＯＭ５８から読み出した各種の実行ファイルを処理中に生成したデータ等を一時的に保持する。ＲＯＭ５８は、プロセッサ５６により読み出されて実行される各種の実行ファイル（例えば、後述する音圧ヒートマップ処理部５６１、音源位置推定部５６２、強調音生成部５６３、音分析部５６４、ヒートマップ色付け部５６５のそれぞれを機能的に構成するためのプログラムおよびデータ）を格納する。
【００２３】
プロセッサ５６は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）を用いて構成される。プロセッサ５６は、ＲＯＭ５８に格納された各種の実行ファイル（上述参照）を読み込んで協働することにより、各種の実行ファイルに対応した構成を機能的に実行する。プロセッサ５６は、各種の実行ファイルに対応した構成として、音圧ヒートマップ処理部５６１、音源位置推定部５６２、強調音生成部５６３、音分析部５６４、およびヒートマップ色付け部５６５のそれぞれの機能を実行可能である。
【００２４】
音圧ヒートマップ処理部５６１（ヒートマップ処理部の一例）は、マイクアレイ２０を構成するそれぞれのマイクロホンから出力される監視対象エリアＳＡにおける音データを基に、監視対象エリアＳＡが撮像された画像に対応して、音の大きさを示す音パラメータ（例えば音圧）を割り当てた音圧ヒートマップを生成する。具体的に、音圧ヒートマップ処理部５６１は、監視対象エリアＳＡで生じている音の大きさを示す音パラメータ（例えば音圧）を、監視対象エリアＳＡの撮像画像を構成する画素あるいは複数の画素からなるブロックごとに算出する。ブロックは、例えば２＊２個もしくは４＊４個の画素により構成される。＊（アスタリスク）は、乗算の演算子である。音圧ヒートマップ処理部５６１は、画素あるいはブロックごとに算出された音パラメータの値を、視覚的な画像に変換して撮像画像に重畳することで、音圧ヒートマップを生成する。
【００２５】
音源位置推定部５６２は、音圧ヒートマップ処理部５６１により生成された音圧ヒートマップを構成する音パラメータ（例えば音圧）のデータを正規化処理し、正規化処理された音パラメータ（例えば音圧）のデータを基にして、監視対象エリアＳＡにおける音源位置を推定する。音源位置推定部５６２は、例えば公知の白色化相互相関法（ＣＳＰ（Cross-power Spectrum Phase analysis）法）に従って、マイクアレイ２０により集音された音データを用いて、監視対象エリアＳＡでの音源位置を推定する。ＣＳＰ法では、音源位置推定部５６２は、監視対象エリアＳＡを複数のブロック（例えば、２＊２個もしくは４＊４個の画素により構成）に分割する。そして、音源位置推定部５６２は、マイクアレイ２０で音が集音されると、それぞれのブロックごとに音の大きさを示す音パラメータ（例えば、マイクアレイ２０を構成する複数のマイクロホンのうち、複数組からなる２つのマイクロホンによりそれぞれ集音された音データ間の相互相関値の正規化出力値）が閾値（既定値）を超えるか否かを判定することで、監視対象エリアＳＡ内での音源位置を概略的に推定できる。これにより、音源位置推定部５６２は、音源位置を推定する際、音圧データの生データ（Raw Data）を使用できる。従って、音源位置推定部５６２は、例えば従来技術のようにフィルタ等を使用して集音された生データ（つまり、音圧データ）を歪ませることなく、音源位置が音圧データに埋もれてしまうことを抑制できて的確に音源位置を推定できる。
【００２６】
強調音生成部５６３は、マイクアレイ２０（具体的には、マイクアレイ２０の各マイクロホンの位置）から、音源位置推定部５６２により推定された音源位置に向かう指向方向に音データの指向性を形成することで、その指向方向における音データの強調処理を行う。また、強調音生成部５６３は、マイクアレイ２０により集音された全方位の音データに、例えばユーザの操作に基づいて指定された任意の方向を主ビーム方向とする指向性をビームフォーミング（つまり、信号処理）によって形成でき、その指向方向の音データを強調できる。なお、マイクアレイ２０によって集音された音をビームフォーミングして音データに指向性を形成する処理は、公知技術である。
【００２７】
音データの強調処理として、既知の遅延和方式を用いる場合、例えば、音源から発した音波は、各マイクロホンにそれぞれ到達して集音されるまでに到達時間差がある。強調音生成部５６３は、マイクアレイ２０を構成する各マイクロホンが集音した音データに対し、各マイクロホンにおける音の到達時間差に対応する遅延時間を各遅延器で与えて全ての音波の位相を揃えた後、遅延処理後の音データを加算器で加算する。これにより、強調音生成部５６３は、所望の指向方向に音データの指向性を形成できる。
【００２８】
音分析部５６４は、強調音生成部５６３により指向方向に強調処理された音データを分析する。音データの分析では、ここでは、人の発話と物音とが判別される。発話の場合、人の声は、倍音を含む調波構造を有し、また、時間によって音圧が変化する特性を有する。一方、物音は、例えばホワイトノイズのように、時間的にあまり変化しない特性（白色性）を有する。音分析部５６４は、強調処理された音データを基に、上記特性の有無を判定することによって、発話か物音かを判別する。なお、音データの分析では、人の声と物音以外、例えば犬等の動物が吠える声を判別できるようにしてもよい。犬が吠える声は、人の声に含まれない、可聴音域を超えるような音成分を含む。音分析部は、強調処理した音が可聴音域を超えるような音成分を含む場合、犬の声と判断してもよい。
【００２９】
また、音分析部５６４は、人工知能（ＡＩ：Artificial Intelligent）を用いた機械学習によって音分析を行ってよい。例えば、プロセッサは、各種の音源から発せられる発話や物音等の音テータを教師データとして、処理閲覧装置５０に保持されるストレージ（図示略）に蓄積しておく。プロセッサ５６は、上記教師データを用いてディープラーニング等の機械学習を行い、学習モデルを形成するニューラルネットワークの中間層のニューロンの数や重み付け係数を更新し、学習済みモデルを生成あるいは更新する。プロセッサ５６は、この学習済みモデルに対し、音テータを入力し、音源の種類を出力する。なお、上述した機械学習は、１つ以上の統計的分類技術を用いて行っても良い。統計的分類技術としては、例えば、線形分類器（linear classifiers）、サポートベクターマシン（support vector machines）、二次分類器（quadratic classifiers）、カーネル密度推定（kernel estimation）、決定木（decision trees）、人工ニューラルネットワーク（artificial neural networks）、ベイジアン技術及び／又はネットワーク（Bayesian techniques and/or networks）、隠れマルコフモデル（hidden Markov models）、バイナリ分類子（binary classifiers）、マルチクラス分類器（multi-class classifiers）クラスタリング（a clustering technique）、ランダムフォレスト（a random forest technique）、ロジスティック回帰（a logistic regression technique）、線形回帰（a linear regression technique）、勾配ブースティング（a gradient boosting technique）などが挙げられる。ただし、使用される統計的分類技術はこれらに限定されない。
【００３０】
ヒートマップ色付け部５６５は、音分析部５６４による音データの分析結果を基に、音圧ヒートマップ処理部５６１により生成された音圧ヒートマップの視覚的な画像に色付け処理を施す。ヒートマップ色付け部５６５は、音源の種類（ここでは、人の発話と物音）に応じて、画素あるいは複数の画素からなるブロックごとに、音圧ヒートマップの視覚的な画像に対し、赤色系の色（赤色、オレンジ色、黄色）、青色系の色（紺色、青色、緑色）で色付ける。また、ヒートマップ色付け部５６５は、音圧の大きさに応じて、色付けを変化させる。例えば、ヒートマップ色付け部５６５は、発話を赤色系の色で着色する場合、音圧が閾値ＴＨ１以上である場合、赤色に着色し、閾値ＴＨ１未満で閾値ＴＨ２以上である場合、オレンジ色で着色し、閾値ＴＨ２未満で閾値ＴＨ３以上である場合、黄色で着色する。同様に、ヒートマップ色付け部５６５は、物音を青色系の色で着色する場合、音圧が閾値ＴＨ１以上である場合、紺色に着色し、閾値ＴＨ１未満で閾値ＴＨ２以上である場合、青色で着色し、閾値ＴＨ２未満で閾値ＴＨ３以上である場合、緑色で着色する。
【００３１】
なお、ヒートマップ色付け部５６５は、音圧の大きさによることなく、音源の種類ごとに単色で表示してもよい。例えば、発話である場合、閾値ＴＨ２以上である音に対し、赤色のみで着色し、物音である場合、閾値ＴＨ２以上である音に対し、青色のみで着色してもよい。また、ヒートマップ色付け部５６５は、音源の種類を区別することなく、音圧が閾値ＴＨ１以上である場合、赤色に着色し、閾値ＴＨ１未満で閾値ＴＨ２以上である場合、ピンク色で着色し、閾値ＴＨ２未満で閾値ＴＨ３以上である場合、青色で着色してもよい。
【００３２】
外部インターフェース６０は、処理閲覧装置５０の通信部の一例としての役割を有し、ネットワークＮＷを介して、マイクアレイ２０、カメラ３０またはレコーダ７０との間でデータあるいは情報の送受信（通信）を行う、通信回路により構成される。また、外部インターフェース６０は、処理閲覧装置５０を構成するモニタ６１、操作デバイス６２およびスピーカ６３との間のデータあるいは情報の入出力を行う。
【００３３】
モニタ６１は、カメラ３０により撮像された画像、この画像に対してＰＣ５０において色付けされて生成された音圧ヒートマップが重畳された画像を表示する。モニタ６１は、例えば液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）ディスプレイ、プラズマディプレイ等を用いて構成される。なお、モニタ６１は、ＰＣ５５に外付けされる構成に限らず、ＰＣ５５に内蔵されて構成されてもよい。
【００３４】
操作デバイス６２は、監視員（音源可視化システム５のユーザの一例）により使用され、ＰＣ５５に対し、監視対象エリアＳＡにおける音源を可視化するための各種の入力操作を受け付けてＰＣ５５に出力する。操作デバイス６２は、例えばマウス、キーボード、タッチパッド、トラックボール等の入力機器を用いて構成される。
【００３５】
スピーカ６３は、音声を出力する。なお、スピーカ６３は、ＰＣ５５に外付けされる構成に限らず、ＰＣ５５に内蔵されて構成されてもよい。
【００３６】
次に、実施の形態１に係る音源可視化システム５の動作を示す。
【００３７】
先ず、監視対象エリアＳＡで発せられる音を可視化する動作を示す。図１では、音源として、会話する２人の発話と、コピー機１２０の作動音とが例示されている。
【００３８】
図３は、処理閲覧装置５０における音源可視化処理の動作手順例を示すフローチャートである。図３において、音圧ヒートマップ処理部５６１は、マイクアレイ２０を構成するそれぞれのマイクロホンから出力される監視対象エリアＳＡにおける音データを基に、監視対象エリアＳＡが撮像された画像に対応して、音の大きさを示す音パラメータ（例えば音圧）を割り当てた音圧ヒートマップを生成する（Ｓ１）。
【００３９】
音源位置推定部５６２は、ステップＳ１において生成された音圧ヒートマップを基に、監視対象エリアＳＡにおける音源位置を推定する（Ｓ２）。ステップＳ２における音源位置の推定処理の詳細については、後述する。なお、音源位置推定部５６２は、音圧ヒートマップを構成する画素あるいはブロック（上述参照）ごとの音パラメータ（例えば音圧）のピーク位置から音源位置を推定してもよいし、ユーザがモニタ６１に表示される撮像画像を見ながら任意に指定した位置を音源位置として推定してもよい。
【００４０】
強調音生成部５６３は、マイクアレイ２０（具体的には、マイクアレイ２０の各マイクロホンの位置）から、ステップＳ２において推定された音源位置に向かう指向方向に音データの指向性を形成することで、その指向方向における音データの強調処理を行う（Ｓ３）。音分析部５６４は、ステップＳ３において指向方向の音データが強調処理された後、その音データを分析する（Ｓ４）。図１では、会話する２人の人物ｈｍ１，ｈｍ２の声（発話）と、コピー機１２０の作動音（物音）とが判別される。
【００４１】
ヒートマップ色付け部５６５は、ステップＳ４における音データの分析結果を基に、ステップＳ１において生成された音圧ヒートマップの視覚的な画像に色付け処理を施す（Ｓ５）。ヒートマップ色付け部５６５は、音源の種類と音圧の大きさに応じて、画素単位あるいは所定の画素ブロック単位に、音圧ヒートマップの視覚的な画像に色付けする（図８〜図１０参照）。
【００４２】
具体的に、ヒートマップ色付け部５６５は、音パラメータ（例えば音圧）が閾値ＴＨ３以上である発話の領域Ｖ１，Ｖ２に対し、音パラメータ（例えば音圧）が閾値ＴＨ１以上である範囲を、赤色（図中右上がりの密なハッチ）で着色する。ヒートマップ色付け部５６５は、音パラメータ（例えば音圧）が閾値ＴＨ１未満で閾値ＴＨ２以上である範囲を、オレンジ色（図中右上がりの中間ハッチ）で着色する。ヒートマップ色付け部５６５は、音パラメータ（例えば音圧）が閾値ＴＨ２未満で閾値ＴＨ３以上である場合、黄色（図中右上がりの粗いハッチ）で着色する。
【００４３】
同様に、ヒートマップ色付け部５６５は、音パラメータ（例えば音圧）が閾値ＴＨ３以上である物音の領域Ｍ１に対し、音パラメータ（例えば音圧）が閾値ＴＨ１以上である範囲を、紺色（図中右下がりの密なハッチ）に着色する。ヒートマップ色付け部５６５は、音パラメータ（例えば音圧）が閾値ＴＨ１未満で閾値ＴＨ２以上である範囲を、青色（図中右下がりの中間ハッチ）で着色する。ヒートマップ色付け部５６５は、音パラメータ（例えば音圧）が閾値ＴＨ２未満で閾値ＴＨ３以上である範囲を、緑色（図中右下がりの粗いハッチ）で着色する。なお、実施の形態１では、発話と物音とで閾値ＴＨ１，ＴＨ２，ＴＨ３の値は同じであったが、異なる値であってもよい。また、発話と物音とで音圧と比較される閾値ＴＨ１，ＴＨ２，ＴＨ３の数は、同じであったが、異なる数であってもよい。これにより、音圧ヒートマップの色付けを任意に設定できる。
【００４４】
ヒートマップ色付け部５６５は、色付けされた音圧ヒートマップを撮像画像の画素あるいは画素ブロック単位に展開してＲＡＭ５９に記憶する。プロセッサ５６は、全ての音源位置に対し、Ｓ３〜Ｓ５の処理を行ったか否かを判別する（Ｓ６）。全ての音源位置に対して上記処理を行っていない場合、プロセッサ５６の処理はステップＳ３に戻り、プロセッサ５６は、同様の処理を繰り返す。一方、ステップＳ６で全ての音源位置に対して上記処理を行った場合、プロセッサ５６は、ＲＡＭ５９に展開された音圧ヒートマップが重畳された撮像画像を、ユーザの設定に従ってモニタ６１に表示する（Ｓ７、図８〜図１０参照）。この後、プロセッサ５６は、図３に示す処理を終了する。
【００４５】
図４は、ステップＳ２の音源位置推定処理の動作手順例を示すフローチャートである。音源位置推定部５６２は、音圧ヒートマップ処理部５６１により生成された音圧ヒートマップを構成する音パラメータ（例えば音圧）のデータを正規化する（Ｓ１１）。この正規化方法として、例えば、一般によく知られているＺ−ｓｃｏｒｅ（Ｚ値）が用いられる。音圧データのＺ値は、音圧データ群の数値から平均値を引いて、標準偏差で割ることで求められる。音圧データのＺ値群では、平均値が値０、標準偏差が値１になる。従って、音圧が大きく異なる音圧データ群において、数値の比較が可能となり、閾値ＴＨを共通に設定できる。
【００４６】
音源位置推定部５６２は、音パラメータ（例えば音圧）が閾値ＴＨｍ以上の範囲の音データを抽出する（Ｓ１２）。閾値ＴＨｍは、音データを抽出するために、予め設定された固定値である。閾値ＴＨｍは、音圧ヒートマップを生成するために設定される、最小の閾値ＴＨ３と同じ値であってもよいし、異なる値であってもよい。
【００４７】
音源位置推定部５６２は、抽出された音データの範囲ごとにピーク位置を抽出する（Ｓ１３）。ピーク位置の抽出は、公知の技術を用いて行われる。例えば、抽出した範囲の音データに含まれるノイズの影響を除去した後、ノイズ除去後の音データを微分し、値０を横切る位置をピーク位置として抽出する方法が挙げられる。
【００４８】
音源位置推定部５６２は、抽出した音データの範囲を全て抽出したか否かを判別する（Ｓ１４）。全て抽出していない場合、音源位置推定部５６２は、ステップＳ１３の処理に戻る。一方、全て抽出した場合、音源位置推定部５６２は、図４に示す処理を終了する。
【００４９】
図５は、撮像画像ＧＺ１上の推定された音源位置および音を強調するための指向方向を示す図である。なお、図５では、撮像画像ＧＺ１には、音ヒートマップを色付けする単位として、複数の画素あるいは画素ブロックが格子状に便宜的に描画されているが、モニタ６１に表示される画像には含まれない。
【００５０】
撮像画像ＧＺ１上には、２人の人物ｈｍ１，ｈｍ２が会話することで抽出される発話の領域Ｖ１，Ｖ２と、コピー機１２０が作動することで抽出される物音の領域Ｍ１とが設定される。この場合、人物ｈｍ１，ｈｍ２の口元付近が音源位置ｓｐ１，ｓｐ２となる。また、コピー機１２０の作動音を発する駆動機構が音源位置ｓｐ３となる。
【００５１】
マイクアレイ２０は、撮像画像ＧＺ１の中心ｏに位置する。プロセッサ５６は、中心位置ｏから方向ｄ１に音データの指向性を形成すると、音源位置ｓｐ１である人物ｈｍ１が発話する音声を強調処理できる。同様に、プロセッサ５６は、中心位置ｏから方向ｄ２に指向性を形成すると、音源位置ｓｐ２である人物ｈｍ２が発話する音声を強調処理できる。プロセッサ５６は、中心位置ｏから方向ｄ３に指向性を形成すると、コピー機１２０の作動音（物音）を強調処理できる。
【００５２】
図６は、音圧を正規化しないで音源位置を推定するための音圧分布例を示す図である。図６（Ａ）〜図６（Ｄ）の各グラフにおいて、縦軸は音圧を示し、横軸は中心位置ｏの鉛直方向から方位ｄａに沿った音源方向（角度）を示す。
【００５３】
図６（Ａ）の音圧分布では、マイクアレイ２０で集音された音の音データ（生データ）の音圧が閾値ＴＨａ以上である音のピーク波形ｐ１，ｐ２が２つ現れる。小さな音のピーク波形ｐ１は、コピー機１２０の作動音による。大きな音のピーク波形ｐ２は、人物ｈｍ１による発話による。閾値ＴＨａは、２つのピーク波形ｐ１，ｐ２のレベルより小さい。従って、図６（Ｂ）の音圧分布では、閾値ＴＨａ以上の２つのピーク波形ｐ１，ｐ２の部分が、音源のある範囲ｒａ１，ｒａ２として、音源位置推定部５６２によって抽出される。
【００５４】
一方、図６（Ｃ）の音圧分布では、図６（Ａ）の場合と比べて、全体の音圧レベルが下がっている。この場合、音圧が閾値ＴＨａ以上である音のピーク波形ｐ４が１つ現れる。小さな音のピーク波形ｐ３は、コピー機１２０の作動音による。コピー機１２０が待機状態にあり、ピーク波形ｐ３の音圧は小さい。ピーク波形ｐ３と比べて大きな音のピーク波形ｐ４は、人物ｈｍ１による発話による。閾値ＴＨａは、図６（Ａ）の場合と同じ値である。従って、図６（Ｄ）の音圧分布では、閾値ＴＨａ以上の１つのピーク波形ｐ４の部分が、音源のある範囲ｒａ４として、音源位置推定部５６２によって抽出される。
【００５５】
図７は、音圧を正規化して音源位置を推定するための音圧分布例を示す図である。図７（Ａ）〜図７（Ｄ）の各グラフにおいて、縦軸は音圧を示し、横軸は中心位置ｏの鉛直方向から方位ｄａに沿った音源方向（角度）を示す。マイクアレイ２０で集音された音の音データ（生データ）は、音源位置推定部５６２によって正規化される。
【００５６】
図７（Ａ）の音圧分布では、正規化された音データの音圧が閾値ＴＨｂ以上である音のピーク波形ｐ５，ｐ６が２つ現れる。小さな音のピーク波形ｐ５は、コピー機１２０の作動音による。大きな音のピーク波形ｐ６は、人物ｈｍ１による発話による。閾値ＴＨｂは、２つのピーク波形ｐ５，ｐ６のレベルより小さい。従って、図７（Ｂ）の音圧分布では、閾値ＴＨｂ以上の２つのピーク波形ｐ５，ｐ６の部分が、音源のある範囲ｒａ５，ｒａ６として、音源位置推定部５６２によって抽出される。
【００５７】
一方、図７（Ｃ）の音圧分布では、図６（Ｄ）と同様、全体の音圧レベルが下がっている。しかし、正規化された音データは、図７（Ａ）と同様の大きさを有する。従って、この場合も、音圧が閾値ＴＨｂ以上である音のピーク波形ｐ７，ｐ８が２つ現れる。小さな音のピーク波形ｐ７は、コピー機１２０の作動音による。コピー機１２０が待機状態にあり、音データの音圧は小さいが、正規化された音圧の値は変わらない。大きな音のピーク波形ｐ８は、人物ｈｍ１による発話による。閾値ＴＨｂは、図７（Ａ）の場合と同じ値である。従って、図７（Ｄ）の音圧分布では、閾値ＴＨｂ以上の２つのピーク波形ｐ７，ｐ８の部分が、音源のある範囲ｒａ７，ｒａ８として、音源位置推定部５６２によって抽出される。
【００５８】
このように、正規化された音データ場合、音圧が相対値で表されるので、音圧が小さいピーク波形であっても、閾値を可変させることなく、音源位置が音圧データに埋もれることなく推定できる。
【００５９】
なお、図６、図７では、マイクアレイ２０の中心位置ｏの鉛直方向から方位ｄａに沿った音源方向の音圧を２次元分布で示したが、中心位置ｏの鉛直方向から周囲の音源方向の音圧を３次元分布で表してもよい。
【００６０】
図８は、発話および物音の音圧ヒートマップｓｈが撮像画像ＧＺ１に重畳して表示されたモニタ６１の表示画面例を示す図である。モニタ６１の画面には、音圧ヒートマップｓｈが重畳された撮像画像ＧＺ１の他、ヒートマップ設定画面ｗ１が表示される。
【００６１】
ヒートマップ設定画面ｗ１には、発話のチェックボックスｃｂ１および物音のチェックボックスｃｂ２が表示される。ユーザは、発話のチェックボックスｃｂ１および物音のチェックボックスｃｂ２に対し、チェックマークを挿入可能である。発話のチェックボックスｃｂ１および物音のチェックボックスｃｂ２の少なくとも一方にチェックマークが入っている場合、チェックマークが入っている音源に対応する音圧ヒートマップｓｈが撮像画像ＧＺ１に重畳して表示される。
【００６２】
図８では、発話のチェックボックスｃｂ１および物音のチェックボックスｃｂ２の双方に、チェックマークが入っている。従って、図８では、人物ｈｍ１の発話による音圧ヒートマップｓｈの着色画像ｓｈ１、人物ｈｍ２の発話による音圧ヒートマップｓｈの着色画像ｓｈ２、およびコピー機１２０の作動音による音圧ヒートマップｓｈの着色画像ｓｈ３が撮像画像ＧＺ１に重畳される。
【００６３】
図９は、発話の音圧ヒートマップｓｈが撮像画像ＧＺ１に重畳して表示されたモニタ６１の表示画面例を示す図である。図９では、発話のチェックボックスｃｂ１にチェックマークが入っているが、物音のチェックボックスｃｂ２には、チェックマークが入っていない。従って、図９では、人物ｈｍ１の発話による音圧ヒートマップｓｈの着色画像ｓｈ１、および人物ｈｍ２の発話による音圧ヒートマップｓｈの着色画像ｓｈ２が撮像画像ＧＺ１に重畳される。
【００６４】
図１０は、物音の音圧ヒートマップｓｈが撮像画像ＧＺ１に重畳して表示されたモニタ６１の表示画面例を示す図である。図１０では、物音のチェックボックスｃｂ２には、チェックマークが入っているが、発話のチェックボックスｃｂ１にチェックマークが入っていない。従って、図１０では、コピー機１２０の作動音による音圧ヒートマップｓｈの着色画像ｓｈ３が撮像画像ＧＺ１に重畳される。
【００６５】
このように、実施の形態１に係る音源可視化システム５によれば、音源位置を推定する場合、フィルタ処理されていないローデータ（生データ）を使用することで、音データが例えばフィルタ処理で歪んでしまうことにより音源が的確に推定できなくなることを防止できる。また、音源可視化システム５によれば、処理閲覧装置５０は、音圧が閾値を超えることで音源を推定する場合、音圧の小さな音源の音であっても、音圧を正規化することで、正規化された音圧が閾値を超えるようになり、音圧の小さな音を発する音源でも、音源位置を推定可能である。一方、処理閲覧装置５０は、推定された音源の種類を判別する場合、音源の方向に指向性を形成して音源が発する音を強調することで、音を精度良く分析できる。従って、音源の種類を正確に判別できるようになる。
【００６６】
以上により、実施の形態１に係る音源可視化システム５では、処理閲覧装置５０は、外部インターフェース６０（通信部の一例）を介して、監視対象エリアＳＡに配置されたマイクアレイ２０およびカメラ３０との間でそれぞれ通信する。音源位置推定部５６２（推定部の一例）は、マイクアレイ２０により集音された音の音データに基づいて、監視対象エリアＳＡ内に存在する音源位置を推定する。音分析部５６４（分析部の一例）は、マイクアレイ２０により集音された音の音データに基づいて、推定された音源位置から生じた音の種類を分析する。プロセッサ５６（制御部の一例）は、推定された音源位置から生じた音の種類の分析結果を、カメラ３０により撮像された画像に重畳してモニタ６１に表示する。
【００６７】
これにより、音源可視化システム５によれば、処理閲覧装置５０は、監視対象エリアＳＡにおいて集音された音源からの音の種類を具体的に判別できるので、監視精度の劣化ならびに監視員の利便性の低下を抑制できる。
【００６８】
また、処理閲覧装置５０は、カメラ３０により撮像された画像を構成する画素または所定数の画素からなる画素ブロックごとに、監視対象エリアＳＡの音圧（音の大きさを示す音パラメータの一例）を導出し、その導出された音パラメータを対応する画素または画素ブロックに割り当てた音圧ヒートマップｈｐを生成する音圧ヒートマップ処理部５６１、をさらに備える。プロセッサ５６は、音圧ヒートマップｈｐ上の推定された音源の位置に対応する音圧レベル（音パラメータの一例）を、着色画像ｓｈ１，ｓｈ２，ｓｈ３（分析結果の内容に応じた色を付与した視覚画像の一例）に変換して撮像画像ＧＺ１に重畳する。これにより、音源可視化システム５によれば、監視員は、監視対象エリアＳＡにおいて音源から発せられる音の大きさを視覚的に把握でき、監視員による音の監視精度（つまり、監視品質）を的確に向上できる。
【００６９】
また、音源位置推定部５６２は、生成された音圧ヒートマップｈｐを構成する音パラメータ（例えば音圧）のデータを正規化し、正規化された音圧ヒートマップｈｐを構成する画素または画素ブロックごとの音圧レベルと既定の閾値ＴＨｍとの比較に基づいて、監視対象エリアＳＡ内に存在する音源の位置を推定する。これにより、音源可視化システム５によれば、処理閲覧装置５０は、正規化された音データ（例えば音圧）が相対値で表されるので、音圧が小さいピーク波形であっても、閾値を変化することなく、音圧データに埋もれることなく音源位置を適正に推定できる。
【００７０】
また、音分析部５６４は、音の種類の分析結果として、発話（人の声）または物音（物の音）を特定する。これにより、音源可視化システム５によれば、処理閲覧装置５０は、監視すべき音の対象を特定でき、監視員に対して効率良く音の監視を行わせることができる。
【００７１】
また、音源は、監視対象エリアＳＡにおいて複数存在する。これにより、音源可視化システム５によれば、処理閲覧装置５０は、複数の音を同時に監視でき、監視員による監視効率を高めることができる。
【００７２】
また、プロセッサ５６は、音の種類の分析結果が予め指定された音の種類と一致した場合に、音の種類の分析結果をモニタ６１に表示する。これにより、監視員は、所望の音を選択して監視でき、音源が多く存在する場合に効果的にそれぞれの音源から生じた音の内容や特徴を監視できる。
【００７３】
また、処理閲覧装置５０は、マイクアレイ２０により集音された音データを用いて、マイクアレイ２０から推定された音源の位置に向かう方向の音データを強調処理する強調音生成部５６３、をさらに備える。これにより、音源可視化システム５によれば、処理閲覧装置５０は、音源から発生した音の種類の分析精度を向上できる。
【００７４】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【００７５】
例えば、上述した実施の形態１では、音圧ヒートマップを撮像画像に重畳して表示する際、音源の種類を判別可能に表示する他、音パラメータ（例えば音圧）を段階的に判別可能に表示したが、音パラメータ（例えば音圧）を段階的に表示することなく、音源の種類だけを判別可能に表示してもよい。具体的に、発話の音領域は、赤色（単色）で表示し、物音の音領域は青色（単色）で表示してもよい。
【００７６】
また、本開示は、上述した実施の形態１に係る処理閲覧装置５０の機能を実現するプログラムを、ネットワークあるいは各種記憶媒体を介して処理閲覧装置５０に供給し、コンピュータである処理閲覧装置５０に内蔵されるプロセッサ５６が読み出して実行するプログラム、及びこのプログラムが記憶された記録媒体も適用範囲である。
【産業上の利用可能性】
【００７７】
本開示は、監視対象エリアにおいて集音された音源からの音の種類を判別し、監視精度の劣化ならびに監視員の利便性の低下を抑制する音処理装置、音処理方法およびプログラムとして有用である。
【符号の説明】
【００７８】
５  音源可視化システム
１０  カメラ付マイクアレイ
２０  マイクアレイ
３０  カメラ
５０  処理閲覧装置
５６  プロセッサ
５７  メモリ
５８  ＲＯＭ
５９  ＲＡＭ
６０  外部インターフェース
６１  モニタ
６２  操作デバイス
６３  スピーカ
７０  レコーダ
５６１  音圧ヒートマップ処理部
５６２  音源位置推定部
５６３  強調音生成部
５６４  音分析部
５６５  ヒートマップ色付け部
【図１】
2020012704.tif 000003
【図２】
2020012704.tif 000004
【図３】
2020012704.tif 000005
【図４】
2020012704.tif 000006
【図５】
2020012704.tif 000007
【図６】
2020012704.tif 000008
【図７】
2020012704.tif 000009
【図８】
2020012704.tif 000010
【図９】
2020012704.tif 000011
【図１０】
2020012704.tif 000012