【手続補正書】
【提出日】令和1年7月29日(2019.7.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
モニタリング対象のエリアを撮像するカメラと、
前記エリアの音を収音するマイクアレイと、
前記カメラにより撮像された撮像画像及び撮像時刻と前記マイクアレイにより収音された音とを対応付けて記録するレコーダと、
前記カメラの撮像中に前記マイクアレイにより収音された音を基に、撮像時刻における前記エリアの音の大きさを示す音パラメータを、前記撮像画像を構成する画素の所定単位毎に、第１間隔毎に繰り返し算出するとともに、前記第１間隔のＮ（Ｎは２以上の整数）倍以上となる第２間隔毎に、前記音パラメータを繰り返して算出する音パラメータ算出部と、
前記音パラメータ算出部により算出された前記第１間隔毎の前記音パラメータの算出結果と前記第２間隔毎の前記音パラメータの算出結果とを、前記撮像時刻における撮像画像上の位置情報と対応付けて保存する音パラメータ保存部と、
前記音パラメータに基づく音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳してモニタに表示する音パラメータ表示制御部と、を備え、
前記音パラメータ表示制御部は、時間範囲の指定に応じて、前記音パラメータ保存部に保存された前記音パラメータの前記時間範囲における累計値に基づく前記音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳して前記モニタに表示する、
音声モニタリングシステム。
【請求項２】
請求項１に記載の音声モニタリングシステムであって、
前記音パラメータ算出部は、前記マイクアレイにより収音された音に含まれる音声区間の有無を示す情報を用いて、前記音パラメータを算出する、
音声モニタリングシステム。
【請求項３】
請求項１に記載の音声モニタリングシステムであって、
前記音パラメータ表示制御部は、前記時間範囲と前記時間範囲における前記累計値との相対値に基づいて、前記音源視覚画像に色を付与して表示する、
音声モニタリングシステム。
【請求項４】
請求項１に記載の音声モニタリングシステムであって、
前記音パラメータ表示制御部は、前記累計値の絶対値に基づいて、前記音源視覚画像に色を付与して表示する、
音声モニタリングシステム。
【請求項５】
請求項３又は４に記載の音声モニタリングシステムであって、
前記音パラメータ表示制御部は、前記音源視覚画像を色表示するための条件設定画面を前記モニタに表示する、
音声モニタリングシステム。
【請求項６】
請求項１に記載の音声モニタリングシステムであって、
前記音パラメータ算出部は、前記第１間隔のＰ（Ｐ＞Ｎの整数）倍以上となる第３間隔毎に、前記音パラメータを繰り返し算出し、前記第１間隔、前記第２間隔、前記第３間隔の少なくとも３個の間隔毎に算出した音パラメータの算出結果を前記音パラメータ保存部に保存する、
音声モニタリングシステム。
【請求項７】
請求項１に記載の音声モニタリングシステムであって、
前記音パラメータ表示制御部は、指定された前記時間範囲に応じて、第１間隔毎に前記音パラメータ算出部により算出されて前記音パラメータ保存部に保存された前記音パラメータを用いるか、又は前記レコーダに記録された前記音を基に前記第１間隔より短い間隔毎で前記音パラメータ算出部により音パラメータを算出させて用いるかを選択する、
音声モニタリングシステム。
【請求項８】
請求項１に記載の音声モニタリングシステムであって、
前記マイクアレイにより収音された音を無効化するための収音除外エリアを設定する除外エリア設定部、を更に備え、
前記音パラメータ算出部は、前記収音除外エリアを音源とする音の音パラメータをゼロとして算出する、
音声モニタリングシステム。
【請求項９】
請求項１に記載の音声モニタリングシステムであって、
前記モニタに表示された前記音源視覚画像の指定操作に応じて、前記マイクアレイにより収音された音を用いて、前記マイクアレイから、指定された前記音源視覚画像に対応する音源に向かう指向方向の音を強調処理する指向音強調部と、
強調処理された前記指向方向の音を再生してスピーカに出力させる再生制御部と、を更に備える、
音声モニタリングシステム。
【請求項１０】
請求項９に記載の音声モニタリングシステムであって、
前記音パラメータ算出部は、指定された前記時間範囲において、指定された前記音源視覚画像を含む周囲で最も前記音パラメータの累計値が大きい位置を算出し、
前記指向音強調部は、前記マイクアレイから、算出された前記累計値が大きい位置に向かう方向を前記指向方向として、前記マイクアレイにより収音された音を強調処理する、
音声モニタリングシステム。
【請求項１１】
請求項９に記載の音声モニタリングシステムであって、
前記再生制御部は、指定された前記時間範囲の中で、前記マイクアレイにより収音された音から音声が検知された音声検知期間における、前記指向音強調部による強調処理済みの音声を再生する、
音声モニタリングシステム。
【請求項１２】
請求項１１に記載の音声モニタリングシステムであって、
前記再生制御部は、指定された前記時間範囲の中で前記音声検知期間が複数検知された場合に、前記音声検知期間の一覧リストを前記モニタに表示し、前記一覧リストから選択された音声検知期間における、前記指向音強調部による強調処理済みの音声を再生する、
音声モニタリングシステム。
【請求項１３】
請求項９に記載の音声モニタリングシステムであって、
前記音パラメータ算出部は、指定された前記時間範囲において、前記マイクアレイにより収音された音から音声が検知された音声検知期間が最も長い時間帯を求め、
前記再生制御部は、前記音声検知期間が最も長い時間帯に前記カメラにより撮像された撮像映像に、前記音源視覚画像を重畳して前記モニタに表示する、
音声モニタリングシステム。
【請求項１４】
請求項１に記載の音声モニタリングシステムであって、
前記時間範囲の指定に応じて、前記音パラメータ保存部に保存された前記音パラメータを基に、前記時間範囲の前記エリアにおける人物の発話傾向を分析する発話分析部、を更に備え、
前記音パラメータ表示制御部は、前記人物の発話傾向の分析結果を前記人物の発話期間と対応付けて前記モニタに表示する、
音声モニタリングシステム。
【請求項１５】
請求項１４に記載の音声モニタリングシステムであって、
前記発話分析部は、前記人物の発話傾向として、前記エリアにおいて１人が所定時間以上に発話しているか、又は複数人が前記所定時間未満に発話しているかを分析する、
音声モニタリングシステム。
【請求項１６】
請求項１４に記載の音声モニタリングシステムであって、
音パラメータ表示制御部は、前記発話分析部により分析された前記人物の発話内容を吹き出しとして、前記撮像画像中の前記人物に対応付けて前記モニタに表示する、
音声モニタリングシステム。
【請求項１７】
請求項１６に記載の音声モニタリングシステムであって、
前記人物の発話内容に対応する音パラメータに基づく前記音源視覚画像が無色である前記撮像画像中の位置を、前記吹き出しの表示位置として決定する吹き出し制御部、を更に備える、
音声モニタリングシステム。
【請求項１８】
カメラと、マイクアレイと、レコーダと、再生制御装置とを含む音声モニタリングシステムにおける音声モニタリング方法であって、
前記カメラは、モニタリング対象のエリアを撮像し、
前記マイクアレイは、前記エリアの音を収音し、
前記レコーダは、前記カメラにより撮像された撮像画像及び撮像時刻と前記マイクアレイにより収音された音とを対応付けて記録し、
前記再生制御装置は、前記カメラの撮像中に前記マイクアレイにより収音された音を基に、撮像時刻における前記エリアの音の大きさを示す音パラメータを、前記撮像画像を構成する画素の所定単位毎に、第１間隔毎に繰り返し算出するとともに、前記第１間隔のＮ（Ｎは２以上の整数）倍以上となる第２間隔毎に、前記音パラメータを繰り返して算出し、
前記再生制御装置は、算出された前記第１間隔毎の前記音パラメータの算出結果と前記第２間隔毎の前記音パラメータの算出結果とを、前記撮像時刻における撮像画像上の位置情報を対応付けて前記レコーダに保存し、
前記再生制御装置は、前記音パラメータに基づく音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳してモニタすることを特徴とし、
前記再生制御装置は、時間範囲の指定に応じて、前記レコーダに保存された前記音パラメータの前記時間範囲における累計値に基づく前記音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳して前記モニタに表示する、
音声モニタリング方法。 
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明は、モニタリング対象のエリアを撮像するカメラと、前記エリアの音を収音するマイクアレイと、前記カメラにより撮像された撮像画像及び撮像時刻と前記マイクアレイにより収音された音とを対応付けて記録するレコーダと、前記カメラの撮像中に前記マイクアレイにより収音された音を基に、撮像時刻における前記エリアの音の大きさを示す音パラメータを、前記撮像画像を構成する画素の所定単位毎に、第１間隔毎に繰り返し算出するとともに、前記第１間隔のＮ（Ｎは２以上の整数）倍以上となる第２間隔毎に、前記音パラメータを繰り返して算出する音パラメータ算出部と、前記音パラメータ算出部により算出された前記第１間隔毎の前記音パラメータの算出結果と前記第２間隔毎の前記音パラメータの算出結果とを、前記撮像時刻における撮像画像上の位置情報と対応付けて保存する音パラメータ保存部と、前記音パラメータに基づく音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳してモニタに表示する音パラメータ表示制御部と、を備え、前記音パラメータ表示制御部は、時間範囲の指定に応じて、前記音パラメータ保存部に保存された前記音パラメータの前記時間範囲における累計値に基づく前記音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳して前記モニタに表示する、音声モニタリングシステムを提供する。 
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、本発明は、カメラと、マイクアレイと、レコーダと、再生制御装置とを含む音声モニタリングシステムにおける音声モニタリング方法であって、前記カメラは、モニタリング対象のエリアを撮像し、前記マイクアレイは、前記エリアの音を収音し、前記レコーダは、前記カメラにより撮像された撮像画像及び撮像時刻と前記マイクアレイにより収音された音とを対応付けて記録し、前記再生制御装置は、前記カメラの撮像中に前記マイクアレイにより収音された音を基に、撮像時刻における前記エリアの音の大きさを示す音パラメータを、前記撮像画像を構成する画素の所定単位毎に、第１間隔毎に繰り返し算出するとともに、前記第１間隔のＮ（Ｎは２以上の整数）倍以上となる第２間隔毎に、前記音パラメータを繰り返して算出し、前記再生制御装置は、算出された前記第１間隔毎の前記音パラメータの算出結果と前記第２間隔毎の前記音パラメータの算出結果とを、前記撮像時刻における撮像画像上の位置情報を対応付けて前記レコーダに保存し、前記再生制御装置は、前記音パラメータに基づく音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳してモニタすることを特徴とし、前記再生制御装置は、時間範囲の指定に応じて、前記レコーダに保存された前記音パラメータの前記時間範囲における累計値に基づく前記音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳して前記モニタに表示する、音声モニタリング方法を提供する。