【事件の表示】
　特許第５９３９３４１号発明「モニタリングシステム及びモニタリング方法」の特許異議申立事件について、次のとおり決定する。
【結　論】
　特許第５９３９３４１号の明細書、特許請求の範囲を、訂正請求書に添付された訂正明細書、訂正特許請求の範囲のとおり、訂正後の請求項〔１−５〕，６について訂正することを認める。
　特許第５９３９３４１号の請求項１、２、４−６に係る特許を維持する。
　特許第５９３９３４１号の請求項３に係る特許についての特許異議の申立てを却下する。
【理　由】
１．手続の経緯
　特許第５９３９３４１号の請求項１−６に係る特許についての出願は、平成２７年７月１４日に出願されたものであって、平成２８年５月２７日にその特許権の設定登録がされ、その後、その特許について、平成２８年１２月２１日に特許異議申立人辰巳功により請求項１−６に対して特許異議の申立てがされ、平成２９年３月１５日付けで取消理由通知がされ、平成２９年５月１９日に意見書の提出及び訂正請求がされ、平成２９年７月１２日付けで特許異議申立人辰巳功から意見書が提出され、平成２９年８月２３日付けで訂正拒絶理由が通知され、平成２９年１１月２８日付けで取消理由通知（決定の予告）がされ、平成３０年１月３０日に意見書の提出及び訂正請求がされたものである。
２．訂正の適否
（１）訂正の内容
　平成３０年１月３０日付け訂正請求（以下、「本件訂正請求」という。）による訂正の内容は以下のとおりである（下線は特許権者による。）。
　ア　訂正事項１
　特許請求の範囲の請求項１を以下の事項により特定されるとおりの請求項１として訂正する。
　　【請求項１】
　撮像エリアを撮像するカメラと、
　前記撮像エリアの音声を収音するマイクアレイと、
　
前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサと、
　前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、
　
前記センサにより前記イベントが検出されると、
　前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる、
　モニタリングシステム。
　イ　訂正事項２
　特許請求の範囲の請求項３を削除する。
　ウ　訂正事項３
　特許請求の範囲の請求項４の「請求項１〜３のうちいずれか一項に記載のモニタリングシステム」と記載されているのを「請求項
１に
　エ　訂正事項４
　特許請求の範囲の請求項５の「請求項１〜４のうちいずれか一項に記載のモニタリングシステム」と記載されているのを「請求項
１に
　オ　訂正事項５
　明細書の段落【０００７】の「前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する信号処理部と、を備え、」を「
前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサと、
前記センサにより前記イベントが検出されると、
　カ　訂正事項６
　特許請求の範囲の請求項６を以下の事項により特定されるとおりの請求項６として訂正する。
　　【請求項６】
　カメラとマイクアレイと
センサとを
　前記カメラにおいて撮像エリアを撮像し、
　前記マイクアレイにおいて前記撮像エリアの音声を収音し、
　
前記センサにより前記撮像エリアにおける音源の表示を指示するイベントが検出されると、
　導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示させる、
　モニタリング方法。
　キ　訂正事項７
　明細書の段落【０００８】の「また、本発明は、カメラとマイクアレイと含むモニタリングシステムにおけるモニタリング方法であって、前記カメラにおいて撮像エリアを撮像し、前記マイクアレイにおいて前記撮像エリアの音声を収音し、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出し、」を「また、本発明は、カメラとマイクアレイと
センサとを
前記センサにより前記撮像エリアにおける音源の表示を指示するイベントが検出されると、
（２）訂正の目的の適否、新規事項の有無、一群の請求項及び特許請求の範囲の拡張・変更の存否
　上記ア、イ及びオの訂正は、実質的に、訂正前の請求項３を訂正後の請求項１とするとともに、訂正前の請求項２を引用する請求項３を訂正後の請求項２とするものであるから、これらの訂正は、特許請求の範囲の減縮を目的とするものであって、新規事項の追加に該当せず、また、実質上特許請求の範囲を拡張し、又は変更するものではない。
　また、上記ウの訂正は、訂正前の請求項４が、訂正前の請求項１〜３のうちいずれか一項を引用するものであったのを、実質的に、訂正前の請求項３のみを引用するものとする訂正であり、上記エの訂正は、訂正前の請求項５が、訂正前の請求項１〜４のうちいずれか一項を引用するものであったのを、実質的に、訂正前の請求項３のみを引用するものとする訂正であるから、これらの訂正は、特許請求の範囲の減縮を目的とするものであって、新規事項の追加に該当せず、また、実質上特許請求の範囲を拡張し、又は変更するものではない。
　そして、上記ア〜オの訂正は、一群の請求項に対して請求されたものである。
　上記カ、キの訂正は、明細書の発明の詳細な説明の段落【００１８】、【００４６】の記載に基づいて、訂正前の請求項６に対して、「センサ」に係る構成を付加したものであるから、特許請求の範囲の減縮を目的とするものであって、新規事項の追加に該当せず、また、実質上特許請求の範囲を拡張し、又は変更するものではない。
（３）小括
　したがって、本件訂正請求による訂正は、特許法第１２０条の５第２項ただし書第１号に掲げる事項を目的とするものであり、かつ、同条第４項、及び、同条第９項で準用する同法第１２６条第４項から第６項までの規定に適合するので、訂正後の請求項〔１−５〕，６について訂正を認める。
３．特許異議の申立てについて
（１）本件発明
　本件訂正請求により訂正された訂正請求項１−６に係る発明（以下、それぞれ「本件発明１」〜「本件発明６」という。）は、その特許請求の範囲の請求項１−６に記載された次の事項により特定されるとおりのものである（符号Ａ〜Ｈは当審において付与した。以下、それぞれ「構成要件Ａ」〜「構成要件Ｈ」という。）
〔本件発明１〕
【請求項１】
（Ａ）撮像エリアを撮像するカメラと、
（Ｂ）前記撮像エリアの音声を収音するマイクアレイと、
（Ｇ）前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサと、
（Ｃ）前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、
（Ｈ）前記センサにより前記イベントが検出されると、
（Ｄ）前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する信号処理部と、を備え、
（Ｅ）前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる、
（Ｆ）モニタリングシステム。
〔本件発明２〕
【請求項２】
  請求項１に記載のモニタリングシステムであって、
  前記音パラメータは、音圧である、
  モニタリングシステム。
〔本件発明３〕
【請求項３】
（削除）
〔本件発明４〕
【請求項４】
  請求項１に記載のモニタリングシステムであって、
  前記マイクアレイにより収音された音声データを出力する音声出力部、を更に備え、
  前記表示部に表示された前記音源画像情報が指定された場合、前記信号処理部は、前記マイクアレイから、指定された前記音源画像情報に対応する前記撮像エリアの画像データの位置に向かう方向に指向性を形成して前記音声出力部に出力させる、
  モニタリングシステム。
〔本件発明５〕
【請求項５】
  請求項１に記載のモニタリングシステムであって、
  前記カメラと前記マイクアレイとが同軸に配置された、
  モニタリングシステム。
〔本件発明６〕
【請求項６】
　カメラとマイクアレイとセンサとを含むモニタリングシステムにおけるモニタリング方法であって、
　前記カメラにおいて撮像エリアを撮像し、
　前記マイクアレイにおいて前記撮像エリアの音声を収音し、
　前記センサにより前記撮像エリアにおける音源の表示を指示するイベントが検出されると、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出し、
　導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示させる、
　モニタリング方法。
（２）取消理由（決定の予告）の概要
　訂正前の請求項１、２、５、６に係る特許に対して平成２９年１１月２８日付けで特許権者に通知した取消理由の要旨は、次のとおりである。
　本件特許の請求項１、２、５、６に係る発明は、その出願前に日本国内又は外国において頒布された下記の刊行物に記載された発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。
　　　　　　　　　　　　　　　　記
甲２号証：特開２０１３−１５４６８号公報
（３）甲号証の記載
（３−１）甲２号証の記載事項
　取消理由（決定の予告）で引用した甲２号証（特開２０１３−１５４６８号公報）には、「異音診断装置および異音診断方法」（発明の名称）として、図面とともに以下の記載がなされている（下線は強調のため当審で付与した。）。
【０００１】
　本発明は、診断対象物から発生する異音の発生箇所を診断する異音診断装置および異音診断方法に関する。
【００１０】
　図１は、本発明の実施形態に係る異音診断装置の全体構成の例、および、その異音診断装置を診断対象物の異音診断に適用する場合に設定される仮想スクリーンの例を示した図である。図１では、紙面の左の奥側に、異音診断装置１００が描かれ、また、紙面の右の前側に、異音診断の対象となる診断対象物７０が描かれ、さらに、診断対象物７０の位置には、診断対象物７０を上下方向に切断し、区分するような仮想スクリーン８０が４つ描かれている。
【００１１】
　
異音診断装置１００は、診断対象物７０およびその周囲から発せられる音響信号を集音する集音装置１０、診断対象物７０の外観画像を撮像する撮像装置２０、
異音診断処理を実行する情報処理装置５０、などを含んで構成される。
【００１２】
　
集音装置１０は、三脚１３の上部に円環状のフレーム１２が設けられ、さらに、音響センサとして複数のマイクロホン１１が、その円環状のフレーム１２上の互いに等間隔となる位置に取り付けられて構成される。
複数ないし多数のマイクロホン１１が配列された構成は、マイクロホンアレイと呼ばれている。
【００１３】
　
撮像装置２０は、診断対象物７０の外観を撮像するカメラであり、
複数のマイクロホン１１が取り付けられたフレーム１２の中心の位置、すなわち、複数のマイクロホン１１が取り付けられた円環を含む平面（以下、マイクロホンアレイ面という）上で、その円環の中心の位置に設けられる。このとき、撮像装置２０の視線の中心軸（以下、光軸という）は、当該マイクロホンアレイ面に略垂直であるとし、その光軸は、診断対象物７０の中心部を向いているものとする。
【００１７】図２に示すように、
情報処理装置５０は、音圧信号取得部５１、仮想スクリーン設定部５２、音圧レベル計算部５３、音圧マップ生成部５４、
音圧マップ表示部５６、
などの処理機能ブロックを備える。
【００１８】
　
音圧信号取得部５１は、集音装置１０に設けられた各マイクロホン１１で集音され、
ディジタル信号化された音響信号（以下、音圧信号という）を取得
撮像画像取得部５７は、撮像装置２０によって撮像された診断対象物７０の外観画像を、撮像装置２０から取得
【００１９】
　
仮想スクリーン設定部５２は、図１を用いて説明したように、
撮像装置２０の光軸に略垂直な仮想スクリーン８０を仮想的に
設定する。
【００２０】
　
音圧レベル計算部５３は、仮想スクリーン設定部５２によって設定されたそれぞれの仮想スクリーン８０について、そのスクリーン面を格子状に分割し、各格子点の座標を計算する。さらに、音圧レベル計算部５３は、それぞれの仮想スクリーン８０面上の各格子点について、その格子点における音圧レベルを計算し、得られた音圧レベルを各仮想スクリーン８０上の各格子点に対応付けて音圧レベル記憶部６４に格納する。
【００２１】
　ここで、各仮想スクリーン８０上の各格子点の座標は、例えば、撮像装置２０の位置を原点とし、撮像装置２０の光軸をｚ軸とし、前記原点を通り、マイクロホンアレイ面に含まれる水平方向の直線をｘ軸とし、前記原点を通り、ｘ軸およびｚ軸に垂直な直線をｙ軸とする座標系に基づき計算される。
【００２４】
　
音圧マップ生成部５４は、音圧レベル記憶部６４から各仮想スクリーン８０上の各格子点の音圧レベルを読み出し、各仮想スクリーン８０上に、例えば、５デシベルごとの等音圧レベル線を生成し、等音圧レベル線による音圧マップを生成する。
【００２９】
　
音圧マップ表示部５６は、情報処理装置５０に付属する液晶ディスプレイなどの表示装置５９に、撮像装置２０によって撮像され、撮像画像記憶部６７に格納されている診断対象物７０の外観画像を表示する
その診断対象物７０の外観画像の上に重ね合わせて、音圧マップ記憶部６６に格納されている音圧マップを表示する。
【００３２】
　
音圧マップは、図３（ａ）〜（ｄ）に示すように、診断対象物７０の外観画像の上に、例えば、１０デシベルごとの等音圧レベル線で描かれる。このとき、等音圧レベル線で囲まれた領域は、適宜、網掛け表示または着色表示される。
（３−２）甲２号証に記載された発明
（３−２−１）【０００１】には、診断対象物から発生する異音の発生箇所を診断する「異音診断装置」が記載され、【００１１】には、異音診断装置が、診断対象物およびその周囲から発せられる音響信号を集音する「集音装置」、診断対象物の外観画像を撮像する「撮像装置」、異音診断処理を実行する「情報処理装置」などからなることが記載されている。
（３−２−２）【００１２】には、「集音装置」が、複数のマイクロホンからなる「マイクロホンアレイ」により構成されることが記載され、【００１３】には、「撮像装置」が「カメラ」であり、マイクロホンアレイの中心位置に設けられることが記載されている。
（３−２−３）【００１７】〜【００２０】には、「情報処理装置」の音圧レベル計算部が、各マイクロホンで集音した音響信号から、仮想スクリーン面を格子状に分割した各格子点毎の音圧レベルを計算することが記載され、【００２４】には、音圧マップ生成部が、音圧レベルに基づいて、仮想スクリーン上に、所定デシベルごとの等音圧レベル線を生成し、等音圧レベル線による音圧マップを生成することが記載されている。
　ここで、音圧マップは、【００３２】及び図３に記載のように、等音圧レベル線で描かれ、等音圧レベル線で囲まれた領域は、適宜、網掛け表示または着色表示されるものである。
（３−２−４）【００２９】には、「情報処理装置」に「表示装置」が付属すること、また、「情報処理装置」の音圧マップ表示部が、「表示装置」に、撮像された診断対象物の外観を表示するとともに、音圧マップを重ね合わせて表示することが記載されている。
　してみれば、甲２号証には、次の発明（以下、「甲２発明」という。）が記載されていると認められる（符号２ａ〜２ｅは、当審において付与した。以下、それぞれ「構成２ａ」〜「構成２ｅ」という。）。
（甲２発明）
（２ａ）診断対象物の外観画像を撮像するカメラと、
（２ｂ）診断対象物およびその周囲から発せられる音響信号を集音するマイクロホンアレイと、
（２ｃ）撮像された診断対象物の外観画像を表示する表示装置と、
（２ｄ）仮想スクリーン面を格子状に分割した各格子点について計算した音圧レベルに基づいて、所定のデシベルごとの等音圧レベル線に囲まれた領域が着色された音圧マップを生成し、撮像装置によって撮像された外観画像の上に、音圧マップを重ね合わせて表示装置に表示させる情報処理装置と、を備えた、
（２ｅ）異音診断装置。
（４）判断
　ア　取消理由通知に記載した取消理由について
（ア）特許法２９条２項について
（ア−１）本件発明１について
　本件発明１と甲２発明とを対比する。
（ア−１−１）本件発明１の構成要件Ａ〜Ｃと、甲２発明の構成２ａ〜２ｃとの対比
　甲２発明の構成２ａの「カメラ」は、診断対象物を含む、一定の撮像範囲を撮像することは明らかであるから、本件発明１の構成要件Ａの「カメラ」に相当する。
　また、甲２発明の構成２ｂの「マイクロホンアレイ」が収音する、診断対象物及びその周囲から発せられる音響信号は、カメラの撮像範囲の音声であるといえるから、甲２発明の構成２ｂの「マイクロホンアレイ」は、本件発明１の構成要件Ｂの「マイクアレイ」に相当する。
　そして、甲２発明の構成２ｃの「表示装置」は、カメラによって撮像された画像を表示するから、本件発明１の構成要件Ｃの「表示部」に相当する。
　よって、甲２発明の構成２ａ〜２ｃと本件発明１の構成要件Ａ〜Ｃは一致する。
（ア−１−２）本件発明１の構成要件Ｄ、Ｅと、甲２発明の構成２ｄとの対比
　甲２発明の「音圧レベル」は、本件発明１の「音の大きさを特定する音パラメータ」に相当するから、甲２発明における「所定のデシベルごとの等音圧レベル線に囲まれた領域が着色された音圧マップ」は、図３の記載からも明らかなように、音の大きさに関する複数の閾値との比較に応じて、音圧を異なる視覚情報に段階的に変換した音源画像情報であるといえる。
　そうすると、甲２発明の構成２ｄの「情報処理装置」と本件発明１の構成要件Ｄ、Ｅの「信号処理部」とは、「前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを導出」し、「導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データに重畳して前記表示部に表示させる」点で共通し、本件発明１が、「音パラメータ」を「画像データを構成する画素の所定単位毎」に導出し、「音源画像情報」を「画像データを構成する画素の所定単位毎」に重畳して表示するのに対し、甲２発明は、音圧レベルを、仮想スクリーン面を格子状に分割した各格子点について計算し、等音圧線を示す音圧マップを重畳表示するものであり、音圧レベルを「画像データを構成する画素の所定単位毎に」導出し、音圧マップを「画像データを構成する画素の所定単位毎に」重畳して表示すると特定されていない点で相違する。
（ア−１−３）本件発明１の構成要件Ｇ、Ｈについて
　甲２発明は、本件発明１の構成要件Ｇ、Ｈに相当する構成を具備していない。
（ア−１−４）本件発明１の構成要件Ｆと、甲２発明の構成２ｅとの対比
　甲２発明の「異音診断装置」は、カメラとマイクロホンアレイと表示装置と情報処理装置とからなる「システム」を構成しているといえ、その表示装置には、診断対象物の外観と、診断対象物が発する音とを表示するものであるから、診断対象物の状況をモニタリングする機能を備えているといえる。
　よって、甲２発明の構成２ｅは、本件発明１の構成要件Ｆと相違しない。
（ア−１−５）一致点、相違点
　したがって、本件発明１と甲２発明とは、以下の点で一致ないし相違している。
（一致点）
　撮像エリアを撮像するカメラと、
　前記撮像エリアの音声を収音するマイクアレイと、
　前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、
　前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを導出する信号処理部と、を備え、
　前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データに重畳して前記表示部に表示させる、
　モニタリングシステム。
（相違点２−１）
　本件発明１は、「音パラメータ」を、「画像データを構成する画素の所定単位毎」に導出し、「音源画像情報」を「画像データを構成する画素の所定単位毎に重畳」して表示するのに対し、甲２発明は、音圧レベルを、仮想スクリーン面を格子状に分割した各格子点について計算し、等音圧線を示す音圧マップを重畳表示するものであり、音圧レベルを「画像データを構成する画素の所定単位毎に」導出し、音圧マップを「画像データを構成する画素の所定単位毎に」重畳して表示すると特定されていない点。
（相違点２−２）
　本件発明１は、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」を備え、「信号処理部」が、「前記センサにより前記イベントが検出されると、前記音パラメータを導出する」のに対し、甲２発明は、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」を具備しておらず、情報処理装置が「前記センサにより前記イベントが検出される」ことに応じて処理を行うと特定されていない点。
（ア−１−５）判断
　事案に鑑み、相違点２−２について検討する。
　上記相違点２−２に係る、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」によりイベントを検出し、処理を開始させる構成は、当業者にとって周知技術であるとはいえず、また、自明のものであるともいえない。
　したがって、甲２発明において、上記した相違点２−２に係る構成を得ることは、当業者であっても、容易に想到し得ることとはいえない。
　なお、異議申立人が提示する甲１号証（特開２０１４−１３７３２３号公報）には、段落【００２１】及び【００２７】において、異常診断装置が起動され、指示が入力されたら処理を開始することは記載されているものの、上記相違点２−２に対応する構成は開示されておらず、また、平成２９年５月１９日付け意見書に添付した甲３号証（特開２００９−１１８３１８号公報）にも、上記相違点２−２に対応する構成は記載されていないから、これらの記載を考慮しても、当審の上記判断は変わらない。
　したがって、本件発明１は、甲２発明及び周知技術に基づいて、当業者が容易に発明をすることができたものとはいえない。
（ア−２）本件発明２、４、５及び６について
　本件特許の請求項２、４、５は、請求項１を引用しており、上記した相違点２−２に係る構成を備えている。また、請求項１とは発明のカテゴリーが異なる請求項６も、上記相違点２−２に対応する構成を備えている。
　ここで、相違点２−２についての判断は、上記のとおりであるから、本件発明２、４、５及び６も、甲２発明及び周知技術に基づいて、当業者が容易に発明することができたとすることはできない。
　イ　取消理由通知において採用しなかった特許異議理由について
（ア）理由１（特許法３６条６項２号）
　異議申立人辰巳功は、請求項１、６における「画素の所定単位毎」との記載が不明確であり、請求項１−６に係る特許は、発明が明確でないとして、特許法３６条６項２号の規定に違反してされたものであるから特許を取り消すべきものである旨主張しているので、以下、検討する。
（ア−１）判断
　異議申立人の指摘に係る「画素の所定単位毎」との記載は、請求項１において、「撮像エリアの画像データを構成する画素」と、信号処理部が導出する「音パラメータ」との対応関係（以下、前者という。）を特定するとともに、「撮像エリアの画像データを構成する画素」と、画像データに重畳して表示する「音源画像情報」との対応関係（以下、後者という。）を特定する記載である。
　そして、「画素の所定単位毎」との記載は、前者については、信号処理部が、画像データにおける所定数の画素、例えば、一つ一つの画素、あるいは、４個の画素単位に対応して、音パラメータを導出することを明確に特定し、後者については、画像データにおける所定数の画素に対応して、音源画像情報が重畳表示されることを明確に特定しているものであり、何ら不明確なものではない。
　また、請求項６においても同様である。
　よって、「画素の所定単位毎」との記載により、請求項１−６に係る発明が不明確であるとはいえない。
（イ）理由２（特許法２９条１項３号または２項）
　異議申立人辰巳功は、甲１号証及び甲２号証を提出して、請求項１−６に係る特許は、甲１号証に記載された発明と同一である、または、甲１号証に記載された発明及び甲２号証の記載事項ならびに技術常識に基づいて当業者が容易に発明することができたものであるとして、特許法２９条１項３号または同条２項の規定に違反してされたものであるから特許を取り消すべきものである旨主張しているので、以下、検討する。
（イ−１）甲１号証の記載事項
　異議申立人辰巳功が提出した甲１号証（特開２０１４−１３７３２３号公報）には、「異常診断装置およびこれを用いた異常診断方法」（発明の名称）として、図面とともに以下の記載がなされている（下線は強調のため当審で付与した。）。
【０００１】
　本発明は、音によって異常を診断する異常診断装置およびこれを用いた異常診断方法に関する。
【００１５】
　図１は、第１の実施形態に於ける異常診断装置１の構成を示す図である。
　診断対象物７は、動作時に所定量の音を発生する機器であり、例えば、モータ、コンプレッサ、発電機などである。
　
カメラ２は、診断対象物７を撮像して、カメラ画像を動画として出力するものである。カメラ２は、異常診断装置１に接続されている。
　
マイクロホンアレイ３は、複数のマイクで構成され、診断対象物７の音圧信号を測定するものである。
【００１６】
　異常診断装置１は、Ａ／Ｄ変換器１１と、音響信号処理部１２と、記憶部１３と、モニタ１４と、ネットワーク処理部１５と、ネットワークインタフェース１６と、アラーム処理部１７と、スピーカ１８と、を備える。異常診断装置１には、カメラ２とマイクロホンアレイ３とが接続され、必要に応じて診断対象物７が接続されている。
　
異常診断装置１は、マイクロホンアレイ３が集音した音圧信号に基づいて、診断対象物７の異常性を診断し、カメラ２が撮像したカメラ画像と重畳してモニタ１４に表示するものである。
【００１７】
　Ａ／Ｄ変換器１１は、アナログ信号をデジタル信号に変換するものである。Ａ／Ｄ変換器１１は、マイクロホンアレイ３の複数のマイクに接続されていると共に、音響信号処理部１２に接続されている。Ａ／Ｄ変換器１１は、マイクロホンアレイ３の各マイクが集音したアナログの音圧信号を、デジタルの音圧信号に変換して出力する。
　
音響信号処理部１２は、音圧マップ作成部１２１（音圧マップ作成手段）と、異常領域判定部１２２（異常領域判定手段）と、異常項目診断部１２３（異常項目診断手段）と、音圧マップ表示部１２４（音圧マップ表示手段）と、を有する。
【００１８】
　
音圧マップ作成部１２１は、音圧信号を信号処理して、カメラ画像に対応する音圧マップを計算するものである。音圧マップは、カメラ画像に対応する２次元の各計算点に於ける音圧レベルの情報、または、パワースペクトルの情報を含み、これらの情報をカメラ画像内の位置情報と対応させたものである。
　
異常領域判定部１２２は、音圧マップに基づいて、各計算点に於ける異常の有無を判定するものである。
【００１９】
　異常項目診断部１２３は、音圧マップに基づいて、各計算点に於ける異常項目（異常原因項目）を診断するものである。異常項目（異常原因項目）とは、異常性を有する評価項目であり、例えば、カメラ画像内の所定の位置情報と対応する音圧レベルの情報、所定周波数に於ける音圧信号のレベルの情報（パワースペクトル）、または、カメラ画像内の所定の位置情報と対応する音圧信号の所定周波数に於ける音圧レベルの情報（パワースペクトル）などである。なお、所定の位置情報または所定の周波数は、それぞれ単数であっても複数であってもよい。
　
音圧マップ表示部１２４は、音圧マップなどをカメラ画像に重ねた診断結果の画面を、モニタ１４に表示すると共に、ネットワーク処理部１５などにより、端末８に送信するものである。
【００２１】
　図２は、第１の実施形態に於ける正常データ学習処理のフローチャートである。
　
異常診断装置１が起動され、正常データ学習指示が入力されたならば、音響信号処理部１２は、正常データ学習処理を開始する。
　ステップＳ１０〜Ｓ１６に於いて、音圧マップ作成部１２１は、既定数の音圧マップを記録する処理を繰り返す。ここで既定数は、この正常データ学習処理を行う上で予め定められた回数である。しかし、これに限られずに、既定の時間だけ正常データ学習処理を繰り返してもよい。
【００２７】
　図４は、第１の実施形態に於ける異常診断処理のフローチャートである。
　
異常診断装置１が起動されて異常診断の指示が入力されたならば、異常診断装置１は、異常診断処理を開始する。
　ステップＳ３０〜Ｓ３２の処理は、音圧マップ作成部１２１によって行われる。
　ステップＳ３０に於いて、音圧マップ作成部１２１は、マイクロホンアレイ３によって、診断対象物７の音を測定し、測定したアナログの音圧信号をＡ／Ｄ変換器１１によりデジタルの音圧信号に変換する。
（イ−２）甲１号証に記載された発明
（イ−２−１）【００１５】、【００１６】には、「異常診断装置」に関し、診断対象物を撮像する「カメラ」と診断対象物の音圧信号を測定する「マイクロホンアレイ」とが接続されること、及び、診断対象物の異常性を診断し、カメラが撮像した画像と重畳して表示する「モニタ」を備えることが記載されている。
（イ−２−２）【００１７】には、「異常診断装置」が、音圧マップ作成部、異常領域判定部、音圧マップ表示部等を有する「音響信号処理部」を備えることが記載され、【００１８】には、音圧マップ作成部がカメラ画像に対応する音圧マップを計算すること、及び、異常領域判定部が音圧マップに基づいて、異常の有無を判定することが記載されている。また、【００１９】には、音圧マップ表示部が、音圧マップなどをカメラ画像に重ねた診断結果の画面をモニタに表示することが記載されている。
（イ−２−３）【００２１】、【００２７】には、異常診断装置が起動され、指示が入力されたら処理を開始することが記載されている。
　してみれば、甲１号証には、次の発明（以下、「甲１発明」という。）が記載されていると認められる（符号１ａ〜１ｆは、当審において付与した。以下、それぞれ「構成１ａ」〜「構成１ｆ」という。）。
（甲１発明）
（１ａ）診断対象物を撮像するカメラと、
（１ｂ）診断対象物の音圧信号を測定するマイクロホンアレイと、
（１ｃ）撮像された診断対象物の画像を表示するモニタと、
（１ｄ）カメラ画像に対応する音圧マップを計算し、音圧マップに基づいて、異常の有無を判定し、音圧マップなどをカメラ画像に重ねた診断結果の画面をモニタに表示させる音響信号処理部と、を備え、
（１ｅ）指示が入力されたら処理を開始する、
（１ｆ）異常診断装置
（イ−３）対比
　本件発明１と甲１発明とを対比すると、以下の２点で相違する。
（相違点１−１）
　本件発明１の「信号処理部」は、「前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する」とともに、「導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる」のに対し、甲１発明の「音響信号処理部」は、カメラ画像に対応する音圧マップを計算し、音圧マップに基づいて、異常の有無を判定し、音圧マップなどをカメラ画像に重ねた診断結果の画面をモニタに表示させるものである点。
（相違点１−２）
　本件発明１は、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」を備え、「信号処理部」が、「前記センサにより前記イベントが検出されると、前記音パラメータを導出する」のに対し、甲１発明における音響信号処理部は、指示入力により処理を開始するものの、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」を具備しておらず、「前記センサにより前記イベントが検出される」と、音響信号処理部が処理を行うと特定されていない点。
（イ−４）判断
　本件発明１と甲１発明とは、上記のとおりの相違点を有するから、両者は同一であるとはいえない。
　また、事案に鑑み、上記相違点１−２について検討すると、当該相違点に係る、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」によりイベントを検出し、処理を開始させる構成は、甲２号証には記載されておらず、また、当業者の技術常識を考慮しても、自明のものとはいえない。
　なお、当該構成は、甲３号証にも記載されていない。
　したがって、本件発明１は、甲１発明及び甲２号証の記載事項ならびに技術常識に基づいて、当業者が容易に発明をすることができたものとはいえない。
（イ−５）本件発明２、４、５及び６について
　本件特許の請求項２、４、５は、請求項１を引用しており、上記した相違点１−２に係る構成を備えている。また、請求項１とは発明のカテゴリーが異なる請求項６も、上記相違点１−２に対応する構成を備えている。
　ここで、相違点１−２についての判断は、上記のとおりであるから、本件発明２、４、５及び６も、甲１発明及び甲２号証の記載事項ならびに技術常識に基づいて、当業者が容易に発明をすることができたものとはいえない。
（ウ）まとめ
　以上のとおりであるから、異議申立人の主張はいずれも理由がない。
４．むすび
　以上のとおりであるから、取消理由通知に記載した取消理由及び特許異議申立書に記載した特許異議申立理由によっては、請求項１、２及び４−６に係る特許を取り消すことはできない。
　また、他に請求項１、２及び４−６に係る特許を取り消すべき理由を発見しない。
　さらに、請求項３に係る特許は、訂正により、削除されたため、請求項３に係る特許に対して、特許異議申立人辰巳功がした特許異議の申立てについては、対象となる請求項が存在しない。
　よって、結論のとおり決定する。
【異議決定日】
平成３０年３月２６日（２０１８．３．２６）
【訂正の要旨】
審決（決定）の【理由】欄参照。
（５４）【発明の名称】
モニタリングシステム及びモニタリング方法
　【技術分野】
　【０００１】
　本発明は、音源を示す画像を表示するモニタリングシステム及びモニタリング方法に関する。
　【背景技術】
　【０００２】
　近年、モニタリングシステムの一例としての監視システムでは、監視カメラで撮像された映像データの他に、マイクで収音された音声データを用いて、既定の監視対象のエリアの状況を監視することが行われている。この監視システムでは、監視カメラで撮像された映像データが表示されるモニタ装置とは別の場所に、監視用のマイク及び監視カメラが設置されている。映像データ以外に音声データを用いて監視することで、何かしらの事件やトラブルがあった場合に、映像データに現れる音源（つまり、事件やトラブルの発生元）付近の音声データにより、事件やトラブルに関してどのような経緯があったかが判明する。
　【０００３】
　また、マイクを搭載し、かつ頭部に装着されるヘッドマウントディスプレイとして、視覚的な映像データにマイクで収音された音情報を重ねて表示するヘッドマウントディスプレイが知られている（例えば特許文献１参照）。このヘッドマウントディスプレイは、視覚的な映像データに音源位置を表示するとともに、音源から出る音のレベルを円の大きさで示し、また音源から出る音の周波数を円の色で示す。
　【先行技術文献】
　【特許文献】
　【０００４】
　【特許文献１】特開２０１２−１３３２５０号公報
　【発明の概要】
　【発明が解決しようとする課題】
　【０００５】
　しかしながら、特許文献１では、特許文献１の構成を上記した監視システムに適用することは想定されていなかった。言い換えると、監視システムにおいて、監視カメラで撮像された映像データが表示されたモニタ装置に、監視用のマイクで収音された音声データの音情報を表示することはなかった。このため、従来の監視システムでは、ユーザがモニタ装置に表示された映像を見ても、例えば異常音を発している音源を容易に視認することはできなかった。
　【０００６】
　本発明は、上述した従来の状況に鑑みてなされたものであり、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示し、モニタリング業務効率を向上するモニタリングシステム及びモニタリング方法を提供することを目的とする。
　【課題を解決するための手段】
　【０００７】
　本発明は、撮像エリアを撮像するカメラと、前記撮像エリアの音声を収音するマイクアレイと、
前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサと、
前記センサにより前記イベントが検出されると、
　【０００８】
　また、本発明は、カメラとマイクアレイと
センサとを
前記センサにより前記撮像エリアにおける音源の表示を指示するイベントが検出されると、
　【発明の効果】
　【０００９】
　本発明によれば、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示することができ、ユーザのモニタリング業務効率を向上することができる。従って、ユーザは、表示されたエリアの映像に現れる音源を視覚的に認識することができる。
　【図面の簡単な説明】
　【００１０】
　【図１】本実施形態の音源表示システムのシステム構成の一例を示すブロック図
　【図２】マイクアレイの内部構成の一例を詳細に示すブロック図
　【図３】全方位カメラの内部構成の一例を詳細に示すブロック図
　【図４】指向性制御装置の内部構成の一例を詳細に示すブロック図
　【図５】本実施形態の音源表示システムにおける音源の表示動作手順の一例を詳細に説明するシーケンス図
　【図６】本実施形態の指向性制御装置における音圧マップの生成手順の一例を詳細に説明するフローチャート
　【図７】それぞれの画素の音圧を視覚情報に変換された音画像情報が色分けされた状態を示す状態遷移図
　【図８】全方位画像データに音声ヒートマップのデータが重畳された合成画像のデータの第１例を示す図
　【図９】全方位画像データに音声ヒートマップのデータが重畳された合成画像のデータの第２例を示す図
　【発明を実施するための形態】
　【００１１】
　以下、適宜図面を参照しながら、本発明に係るモニタリングシステム及びモニタリング方法を具体的に開示した実施形態（以下、本実施形態という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。以下、モニタリングシステムの一例として、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示する音源表示システムを説明するが、本発明に係るモニタリングシステム及びモニタリング方法は、人物等の対象物の状態を監視するための用途に限定されず、所定のエリアにおける状態を把握するために観測や測定を行うことや、製品又はサービスについての感想や評価を調べることの各用途に適用されてもよい。
　【００１２】
　図１は、本実施形態の音源表示システム１０のシステム構成の一例を示すブロック図である。図１に示す音源表示システム１０は、全方位カメラＣＡと、マイクアレイＭＡと、指向性制御装置３０と、監視モニタ３６と、センサ６０とを含む構成である。全方位カメラＣＡ、マイクアレイＭＡ、指向性制御装置３０及びセンサ６０は、ネットワークＮＷを介してデータ通信可能に相互接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でもよいし、無線ネットワーク（例えば無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ））でもよい。
　【００１３】
　全方位カメラＣＡは、モニタリング対象のエリアの状況を全方位画像（つまり、３６０度の方位を有する画像）として撮像可能な魚眼レンズを搭載したカメラである。言い換えると、全方位カメラＣＡは、自装置が設置されたモニタリング対象のエリア（つまり、撮像エリア）の状況を撮像可能な監視カメラとして機能する。全方位カメラＣＡは、撮像により得られた全方位画像のデータ（以下、単に全方位画像データという）を、ネットワークＮＷを介して指向性制御装置３０に送信する。
　【００１４】
　マイクアレイＭＡは、自装置が設置されたモニタリング対象のエリア（つまり、収音エリア）の音声を無指向状態で収音する。本実施形態では、撮像エリアと収音エリアとは同一として説明する。マイクアレイＭＡは、例えば中央に開口部が形成されたドーナツ状の筐体（筐体は不図示）１５を有する。この開口部の周囲には、円周方向に沿って、複数のマイクロホンユニットが同心円状に配置されている。マイクロホンユニット（以下、単にマイクロホンという）には、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Ｅｌｅｃｔｒｅｔ　Ｃｏｎｄｅｎｓｅｒ　Ｍｉｃｒｏｐｈｏｎｅ）が用いられる。マイクアレイＭＡは、収音により得られた音声データを、ネットワークＮＷを介して指向性制御装置３０に送信する。
　【００１５】
　また、マイクアレイＭＡの筐体１５の中央に形成された開口部の内側に全方位カメラＣＡが組み込まれることにより、全方位カメラＣＡとマイクアレイＭＡとは同軸上に配置されて筐体１５に収容される。このように、全方位カメラＣＡの光軸とマイクアレイＭＡの筐体１５の中心軸とが一致することで、軸周方向における撮像エリアと収音エリアとが略同一となり、画像位置（つまり、全方位カメラＣＡから見た被写体の位置）と収音位置（つまり、マイクアレイＭＡから見た音源の位置）とが同じ座標系で表現可能となる。従って、画像位置と収音位置との対応関係が明確となり、指向性制御装置３は、後述するようにマイクアレイＭＡにより収音された音声に対し、ユーザの指定に基づく指向方向に指向性を形成する際に、ユーザの指定に基づいて全方位カメラＣＡにより得られた方向を示す座標を、マイクアレイＭＡから見た指向方向として用いることができ、指向方向の算出を容易に行うことができる。
　【００１６】
　指向性制御装置３０は、マイクアレイＭＡで収音された音声データに対し指向性を形成し、その指向方向の音声を強調することができる。指向性制御装置３０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）を用いて構成される。また、指向性制御装置３０は、全方位カメラＣＡで撮像された撮像エリアの画像データとマイクアレイＭＡで収音された音声データとを基に、画像データを構成する画素に対応する位置における音圧を画素単位で算出し、後述する音声ヒートマップを生成する。また、指向性制御装置３０は、監視モニタ３６に接続され、音声ヒートマップを監視モニタ３６に表示する。なお、指向性制御装置３０は、ＰＣで構成される代わりに、携帯電話機、タブレット端末、スマートフォン等の通信端末で構成されてもよい。
　【００１７】
　表示部の一例としての監視モニタ３６は、全方位カメラＣＡで撮像された全方位画像データを表示する。また監視モニタ３６は、全方位画像のデータに対して指向性制御装置３０が生成した音声ヒートマップを重畳した合成画像データを表示する。なお、監視モニタ３６は、指向性制御装置３０と一体の装置として構成されてもよい。
　【００１８】
　センサ６０は、後述する音源表示動作を起動させるイベントを検出する。センサ６０として、例えばセンサ６０の設置場所の周囲の明るさを検出する照度センサ、センサ６０の設置場所の周囲の温度を検出する温度センサ、センサ６０の設置場所付近の人により反射された赤外線を感知する人感センサ等が挙げられる。
　【００１９】
　図２は、マイクアレイＭＡの内部構成の一例を詳細に示すブロック図である。図２に示すマイクアレイＭＡは、複数のマイクロホンＭ１〜Ｍｎ（例えばｎ＝８）、複数のマイクロホンＭ１〜Ｍｎの出力信号をそれぞれ増幅する複数の増幅器（アンプ）ＰＡ１〜ＰＡｎ、各増幅器ＰＡ１〜ＰＡｎから出力されるアナログ信号をそれぞれデジタル信号に変換する複数のＡ／Ｄ変換器Ａ１〜Ａｎ、圧縮処理部２５及び送信部２６を含む構成である。
　【００２０】
　圧縮処理部２５は、Ａ／Ｄ変換器Ａ１〜Ａｎから出力されるデジタル音声信号を基に、音声データのパケットを生成する。送信部２６は、圧縮処理部２５で生成された音声データのパケットをネットワークＮＷを介して指向性制御装置３０に送信する。
　【００２１】
　このように、マイクアレイＭＡは、マイクロホンＭ１〜Ｍｎの出力信号を増幅器ＰＡ１〜ＰＡｎで増幅し、Ａ／Ｄ変換器Ａ１〜Ａｎでデジタル音声信号に変換した後、圧縮処理部２５で音声データのパケットを生成し、この音声データのパケットをネットワークＮＷを介して指向性制御装置３０に送信する。
　【００２２】
　図３は、全方位カメラＣＡの内部構成の一例を詳細に示すブロック図である。図３に示す全方位カメラＣＡは、ＣＰＵ４１、通信部４２、電源管理部４４、イメージセンサ４５、メモリ４６及びネットワークコネクタ４７を含む構成である。なお、図３では、イメージセンサ４５の前段（つまり、図３の紙面右側）に魚眼レンズの図示が省略されている。
　【００２３】
　ＣＰＵ４１は、全方位カメラＣＡの各部の動作制御を全体的に統括するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。ＣＰＵ４１の代わりに、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等のプロセッサが設けられてもよい。
　【００２４】
　例えばＣＰＵ４１は、指向性制御装置３を操作するユーザの指定により、全方位画像データのうち特定の範囲（方向）の画像を切り出した切り出し画像データを生成してメモリ４６に保存する。
　【００２５】
　イメージセンサ４５は、例えばＣＭＯＳ（相補性金属酸化膜半導体）センサ、又はＣＣＤ（電荷結合素子）センサを用いて構成され、不図示の魚眼レンズにより集光された撮像エリアからの反射光の光学像を受光面において撮像処理することで全方位画像データを取得する。
　【００２６】
　メモリ４６は、全方位カメラＣＡの動作を規定するプログラムや設定値のデータが格納されたＲＯＭ４６ｚ、全方位画像データ又はその一部の範囲が切り出された切り出し画像データやワークデータを記憶するＲＡＭ４６ｙ、及び全方位カメラＣＡに挿抜自在に接続され、各種データが記憶されるメモリカード４６ｘを有する。
　【００２７】
　通信部４２は、ネットワークコネクタ４７を介して接続されるネットワークＮＷとの間のデータ通信を制御するネットワークインタフェース（Ｉ／Ｆ）である。
　【００２８】
　電源管理部４４は、全方位カメラＣＡの各部に直流電源を供給する。また、電源管理部４４は、ネットワークコネクタ４７を介してネットワークＮＷに接続される機器に直流電源を供給してもよい。
　【００２９】
　ネットワークコネクタ４７は、全方位画像データ又は２次元パノラマ画像データを、ネットワークＮＷを介して指向性制御装置３０に伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。
　【００３０】
　図４は、指向性制御装置３０の内部構成の一例を詳細に示すブロック図である。図４に示す指向性制御装置３０は、通信部３１と、操作部３２と、信号処理部３３と、スピーカ装置３７と、メモリ３８と、設定管理部３９とを少なくとも含む構成である。信号処理部３３は、指向方向算出部２９、音圧算出部３４及び出力制御部３５を含む。また、指向性制御装置３０は監視モニタ３６に接続される。
　【００３１】
　設定管理部３９は、全方位カメラＣＡで撮像された全方位画像データが表示された監視モニタ３６に対し、ユーザによって指定された全方位画像データ上の位置を示す座標を、マイクアレイＭＡから、ユーザによって指定された全方位画像データ上の位置に対応する実際の音源位置に向かう指向方向を示す座標に変換する座標変換式を有する。後述する指向方向算出部２９は、設定管理部３９が保持する座標変換式を用いて、マイクアレイＭＡから、ユーザによって指定された位置に対応する音源位置に向かう指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。この座標算出処理の詳細については、例えば特開２０１５−０２９２４１号公報に記載されている。ここで、θＭＡｈはマイクアレイＭＡから音声位置に向かう指向方向の水平角を表し、θＭＡｖはマイクアレイＭＡから音声位置に向かう指向方向の垂直角を表す。音源位置は、監視モニタ３６に表示された映像データに対し、ユーザの指又はスタイラスペンの操作によって操作部３２から指定された位置に対応する実際の音源の位置である。
　【００３２】
　また、設定管理部３９は、音圧算出部３４により算出された画素ごとの音圧ｐと比較される第１閾値及び第２閾値を保持する。ここで、音圧ｐは、音源に関する音パラメータの一例として使用されており、マイクアレイＭＡで収音される音の大きさを表しており、スピーカ装置３７から出力される音の大きさを表す音量とは区別している。第１閾値及び第２閾値は、撮像エリア内で発生した音声の音圧と比較される値であり、例えばユーザが音源として騒がしいと判断する任意の値に設定される。ここで、音源は、音を実際に発している音源だけでなく、この音源から伝播された結果として音が聞こえる箇所を含む広義の音源である。また、閾値は複数設定可能であり、本実施形態では、第１閾値と、これより大きな値である第２閾値との２つが設定される（第１閾値＜第２閾値）。また、後述するように、第２閾値より大きな画素の音圧の部分は、全方位画像データが表示された監視モニタ３６上で、例えば赤色で描画される。また、第１閾値より大きく第２閾値以下の画素の音圧の部分は、全方位画像データが表示された監視モニタ３６上で、例えば青色で描画される。また、第１閾値以下の画素の音圧の部分は、全方位画像データが表示された監視モニタ３６上で、例えば無色で描画され、つまり、全方位画像データの表示色と何ら変わらない。
　【００３３】
　通信部３１は、全方位カメラＣＡが送信した全方位画像データ又は切り出し映像データと、マイクアレイＭＡが送信した音声データとを受信して信号処理部３３に出力する。
　【００３４】
　操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部３２は、例えば監視モニタ３６の画面に対応して配置され、ユーザの指やスタイラスペンによって直接入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。
　【００３５】
　操作部３２は、監視モニタ３６に表示された音声ヒートマップＭＰ（図８、図９参照）の赤領域Ｒ１がユーザにより指定されると、指定された位置を示す座標データを取得して信号処理部３３に出力する。
　【００３６】
　メモリ３８は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を用いて構成され、指向性制御装置３０が動作する際、プログラムメモリ、データメモリ、ワークメモリとして機能する。また、メモリ３８は、後述する音声ヒートマップＭＰ（図８、図９参照）を記憶する。
　【００３７】
　信号処理部３３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を用いて構成され、指向性制御装置３０の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。信号処理部３３は、指向方向算出部２９、音圧算出部３４、出力制御部３５を少なくとも含む。
　【００３８】
　指向方向算出部２９は、全方位カメラＣＡで撮像された全方位画像データが表示された監視モニタ３６上でユーザにより任意の位置が指定されると、設定管理部３９に保持される座標変換式を用いて、マイクアレイＭＡから、その指定位置に対応する音源位置に向かう指向方向を算出する。つまり、指向方向算出部２９は、マイクアレイＭＡから、全方位画像データ上の指定位置の座標（Ｘ，Ｙ）に対応する音源位置に向かう指向方向の座標（θＭＡｈ，θＭＡｖ）を算出する。
　【００３９】
　音圧算出部３４は、全方位カメラＣＡで撮像された全方位画像データとマイクアレイＭＡで収音された音声データとを基に、全方位画像データを構成する一つ一つの画素ごとに音圧を算出する。この音圧の算出処理は公知技術であり、詳細な処理の説明は割愛する。これにより、音圧算出部３４は、全方位画像データを構成する一つ一つの画素ごとに、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する。なお、音圧算出部３４は、画素単位で算出した音圧値を該当する画素の位置に割り当てた音圧マップを生成すると説明したが、一つ一つの画素ごとに音圧を算出せず、所定数（例えば４個）の画素からなる画素ブロック単位で音圧値の平均値を算出し、該当する所定数の画素に対応する音圧値の平均値を割り当てることで、音圧マップを生成してもよい。
　【００４０】
　出力制御部３５は、監視モニタ３６及びスピーカ装置３７の各動作を制御するとともに、全方位カメラＣＡから送信された全方位画像データ或いは切り出し映像データを監視モニタ３６に出力して表示させ、マイクアレイＭＡから送信された音声データをスピーカ装置３７に音声出力させる。
　【００４１】
　また、出力制御部３５は、マイクアレイＭＡにより収音された音声データと指向方向算出部２９により算出された指向方向の座標（θＭＡｈ，θＭＡｖ）とを用いて、マイクアレイＭＡにより収音された音声データの指向性の形成処理を行うことで、指向方向の音声データを強調処理する。音声データの指向性形成処理は、例えば特開２０１５−０２９２４１号公報に記載されている公知の技術である。
　【００４２】
　また、出力制御部３５は、音圧算出部３４により生成された音圧マップに対し、後述する色変換処理を行うことで、音声ヒートマップＭＰ（図８、図９参照）を生成する。
　【００４３】
　音声出力部の一例としてのスピーカ装置３７は、マイクアレイＭＡが収音した音声データ、又はマイクアレイＭＡが収音し信号処理部３３によって指向性が形成された音声データを音声出力する。なお、スピーカ装置３７は、指向性制御装置３０とは別体の装置として構成されてもよい。
　【００４４】
　上記構成を有する音源表示システム１０の動作を示す。
　【００４５】
　図５は、本実施形態の音源表示システム１０における音源の表示動作手順の一例を詳細説明するシーケンス図である。
　【００４６】
　図５において、指向性制御装置３０は、所定の開始イベントを検出すると、全方位カメラＣＡに対し、撮像エリアの全方位画像データの送信を要求するための画像送信要求を行う（Ｔ１）。開始イベントは、例えばユーザが指向性制御装置３０の操作部３２に配置されたマップ表示ボタン（不図示）を押下すること、ユーザが監視モニタ３６に表示された画像送信要求を示すアイコン（不図示）を押下すること、指向性制御装置３０に内蔵されたタイマが起動したこと、センサ６０がイベントを検出したこと等が挙げられる。タイマが起動する一例として、現在時刻が予め設定された時間帯（例えば朝８：００〜夕方１７：００）に入ったこと等が挙げられる。また、センサ６０がイベントを検出する例として、センサ６０の一例としての照度センサが所定値以上の明るさを検出すること、センサ６０の一例としての温度センサが所定温度以上の周囲温度を検出すること、センサ６０の一例としての人感センサが人により反射された赤外線を感知すること等が挙げられる。これにより、指向性制御装置３０は、ユーザが所望する条件に合致した場合、図５に示す音源の表示動作を開始させることができ、利便性を向上することができる。
　【００４７】
　全方位カメラＣＡは、指向性制御装置３０から画像送信要求を受信すると、撮像エリアの状況を撮像する動作（撮像動作）を開始する（Ｔ２）。指向性制御装置３０は、マイクアレイＭＡに対し、収音エリアの音声データの送信を要求するための音声送信要求を行う（Ｔ３）。マイクアレイＭＡは、指向性制御装置３０から音声送信要求を受信すると、収音エリアの音声を収音する動作（収音動作）を開始する（Ｔ４）。ここで、撮像エリア（収音エリア）として、オフィス、倉庫、館内等が挙げられる。
　【００４８】
　全方位カメラＣＡは、撮像により得られた撮像エリアの全方位画像データを指向性制御装置３０に送信する（Ｔ５）。指向性制御装置３０は、全方位カメラＣＡから送信された全方位画像データを受信すると、監視モニタ３６の表示に適した画像データに変換する処理を行い（Ｔ６）、変換した画像データを監視モニタ３６に出力する（Ｔ７）。なお、ステップＴ６の処理は省略されてもよい。監視モニタ３６は、指向性制御装置３０から出力された画像データを受信すると、全方位カメラＣＡで撮像された撮像エリアの画像データを表示する（Ｔ８）。
　【００４９】
　指向性制御装置３０は、マイクアレイＭＡから送信された音声データを受信すると（Ｔ９）、全方位画像データを構成する一つ一つの画素ごとに、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する（Ｔ１０）。音圧マップは、撮像エリアを撮像することにより得られる画像データにおいて、画像データを構成する一つ一つの画素ごとに、算出された音声の音圧値が割り当てられたデータである。
　【００５０】
　図６は、本実施形態の指向性制御装置３０における音圧マップの生成手順の一例を詳細に説明するフローチャートである。
　【００５１】
　図６において、指向性制御装置３０の通信部３１は、マイクアレイＭＡから送信された音声データを受信して信号処理部３３に出力する。信号処理部３３は、マイクアレイＭＡから送信された音声データを入力する（Ｓ１）。
　【００５２】
　設定管理部３９は、全方位カメラＣＡにより撮像された全方位画像データを構成するそれぞれの画素の位置を表す座標（Ｘ，Ｙ）の原点（０，０）を設定する（Ｓ２）。以下、説明を分かり易くするために、画素の位置を表す座標（Ｘ，Ｙ）は、例えば全方位画像データの左上隅を原点（０，０）とし、全方位画像データの右下隅を最終位置（ＭＡＸ，ＭＡＸ）とする矩形の範囲内で設定される。なお、ステップＳ２の処理は、指向方向算出部２９により行われてもよい。
　【００５３】
　指向方向算出部２９は、マイクアレイＭＡから、全方位画像データ上の座標（Ｘ，Ｙ）で表される位置に対応する実際の位置に向かう指向方向の座標（θＭＡｈ，θＭＡｖ）を算出する。音圧算出部３４は、全方位画像データ上の座標（Ｘ，Ｙ）に対応する指向方向の座標（θＭＡｈ，θＭＡｖ）の音圧Ｐを算出する（Ｓ３）。
　【００５４】
　この後、音圧算出部３４は、Ｘ座標がＭＡＸ値に達したか否かを判別する（Ｓ４）。ＭＡＸ値に達していない場合（Ｓ４、ＮＯ）、音圧算出部３４は、Ｘ座標の値をインクリメントする（Ｓ５）。その後、指向性制御装置３０の処理はステップＳ３に戻る。
　【００５５】
　一方、Ｘ座標がＭＡＸ値に達した場合（Ｓ４、ＹＥＳ）、音圧算出部３４は、Ｙ座標がＭＡＸ値に達したか否かを判別する（Ｓ６）。ＭＡＸ値に達していない場合（Ｓ６、ＮＯ）、音圧算出部３４は、Ｘ座標の値を０（ゼロ）に戻すとともに、Ｙ座標の値をインクリメントする（Ｓ７）。その後、指向性制御装置３０の処理はステップＳ３に戻る。
　【００５６】
　一方、ステップＳ６でＹ座標がＭＡＸ値に達した場合（Ｓ６、ＹＥＳ）、音圧算出部３４は、ステップＳ３における算出結果を用いて、全方位画像データのそれぞれの画素の位置に、それぞれの画素に対応する音圧Ｐ（Ｘ，Ｙ）を割り当てた音圧マップを生成する。音圧算出部３４は、生成した音圧マップのデータをメモリ３８に保存する（Ｓ８）。この後、指向性制御装置３０の処理はステップＳ１に戻る。
　【００５７】
　図５に戻り、ステップＴ１０により音圧マップが生成された後、出力制御部３５は、生成された音圧マップに対して色変換処理を行う（Ｔ１１）。出力制御部３５は、色変換処理として、音圧マップにおいて示されたそれぞれの画素に対応する音圧Ｐを閾値と比較し、閾値を超える音圧を色分けし、音声ヒートマップＭＰを生成する。例えば本実施形態では、閾値として、第１閾値と、第１閾値より大きな値である第２閾値とが用いられる（第１閾値＜第２閾値）。
　【００５８】
　図７は、それぞれの画素の音圧を視覚情報に変換された音画像情報が色分けされた状態を示す状態遷移図である。例えば音圧が第２閾値を超える場合、音圧の視覚情報に変換された音画像情報は、大きな音であるとして赤色で描画され、赤領域の音源画像情報として表示される。音圧が第２閾値以下でありかつ第１閾値を超える場合、音画像情報は、中位の音であるとして青色で描画され、青領域の音源画像情報として表示される。音圧が第１閾値以下である場合、音画像情報は、小さな音であるとして無色のまま無色領域の音源画像情報として表示される。
　【００５９】
　このように、出力制御部３５は、音圧の算出値を第１閾値及び第２閾値を含む複数の閾値と比較し、音圧の高低に応じて、全方位画像データにおける音画像情報が変化するように音画像情報を有する音声ヒートマップＭＰを生成する。これにより、ユーザは、音声ヒートマップＭＰにより、全方位カメラＣＡにより撮像された全方位画像データの中で、音の発生源の場所だけでなく、音圧の大きさも知ることができる。なお、ここでは、閾値として、第１閾値と第２閾値の２つが用いられたが、１つ又は３つ以上が用いられてもよい。また、閾値は、ユーザが監視したい音声の音圧に合わせて任意の値に設定可能である。
　【００６０】
　指向性制御装置３０は、色変換処理により生成された音声ヒートマップＭＰのデータを監視モニタ３６に送信する（Ｔ１２）。監視モニタ３６は、全方位カメラＣＡにより撮像された全方位画像データに、ステップＴ１２において送信された音声ヒートマップＭＰのデータを重畳した合成画像（図８、図９参照）を生成して表示する（Ｔ１３）。なお、合成画像の生成処理は、指向性制御装置３０の出力制御部３５により行われてもよい。この場合には、出力制御部３５は、全方位カメラＣＡにより撮像された全方位画像データに、ステップＴ１１において生成した音声ヒートマップＭＰのデータを重畳した合成画像を生成する。
　【００６１】
　但し、本実施形態では、合成画像の視認性を劣化させないために、音声ヒートマップＭＰのデータのうち、色変換処理により生成された音画像情報の部分が全方位画像データに重畳される。音圧マップの音圧値は、全方位画像データに重畳されなくてもよいし、重畳されてもよい。
　【００６２】
　上記したステップＴ５〜ステップＴ１３は、指向性制御装置３０が停止イベントを検出し、全方位カメラＣＡへの画像送信停止及びマイクアレイＭＡへの音声送信停止が行われるまで、繰り返される。停止イベントは、例えば指向性制御装置３０の電源がオフになること、指向性制御装置３０がシャットダウンしたこと、音声ヒートマップＭＰの生成処理の停止を指示するための処理が行われたこと等が該当する。
　【００６３】
　図８は、全方位画像データに音声ヒートマップＭＰ１のデータが重畳された合成画像ＧＺ１のデータを示す図である。監視モニタ３６に表示された合成画像ＧＺ１では、例えばオフィスに設置された全方位カメラＣＡにより撮像された全方位画像データに、出力制御部３５により生成された音声ヒートマップＭＰ１が重畳されている。全方位カメラＣＡとマイクアレイＭＡとが同軸に配置された筐体１５は、光軸が水平方向（例えば、図８に示す合成画像ＧＺ１の中央付近の廊下に沿った方向）になるように取り付けられている。図８及び図９において、全方位カメラＣＡにより撮像された全方位画像データは、魚眼レンズを通して撮像されている。
　【００６４】
　図８において、合成画像ＧＺ１の紙面中央には、例えば赤色で描画された赤領域Ｒ１及びその周りを囲む青色で描画された青領域Ｂ１が表示されている。赤領域Ｒ１及び青領域Ｂ１で囲まれる範囲には、清掃員が使用している掃除機のモータ音が音源として存在している。
　【００６５】
　また、合成画像ＧＺ１の紙面左側には、例えば赤色で描画された赤領域Ｒ２及びその周りを囲む青色で描画された青領域Ｂ２が表示されている。赤領域Ｒ２及び青領域Ｂ２で囲まれる範囲には、オフィスに設置された固定電話機の呼出音が音源として存在している。
　【００６６】
　また、合成画像ＧＺ１の紙面左側のやや下方には、例えば赤色で描画された赤領域Ｒ３及びその周りを囲む青色で描画された青領域Ｂ３が表示されている。赤領域Ｒ３及び青領域Ｂ３で囲まれる範囲には、オフィスに設置されたＰＣのファン音が音源として存在する。合成画像ＧＺ１における他の部分は、算出された音圧値が第１閾値以下であったために（図７参照）、無色のままの無領域ＮＣとして表示されている。なお、上記したように、図８に示す合成画像ＧＺ１の視認性を劣化させないために、音声ヒートマップＭＰ１のデータのうち、赤領域Ｒ１，Ｒ２，Ｒ３及び青領域Ｂ１，Ｂ２，Ｂ３のみ、全方位画像データに重畳されており、以下同様である。
　【００６７】
　図９は、全方位画像データに音声ヒートマップＭＰ２のデータが重畳された合成画像ＧＺ２のデータを示す図である。監視モニタ３６に表示された合成画像ＧＺ２では、例えばオフィスに設置された全方位カメラＣＡにより撮像された全方位画像データに、出力制御部３５により生成された音声ヒートマップＭＰ２が重畳されている。この場合も、全方位カメラＣＡとマイクアレイＭＡとが同軸に配置された筐体１５は、光軸が水平方向（例えば、図９に示す合成画像ＧＺ２の中央付近の廊下に沿った方向）になるように取り付けられている。なお、筐体１５は、例えば店舗やオフィス等の館内の天井に取り付けられ、その光軸が垂直方向になるように取り付けられてもよい。
　【００６８】
　図９において、合成画像ＧＺ２の紙面中央上部には、例えば赤色で描画された赤領域Ｒ４及びその周りを囲む青色で描画された青領域Ｂ４が表示されている。赤領域Ｒ４及び青領域Ｂ４で囲まれる範囲には、従業員である２人の話声が音源として存在している。
　【００６９】
　また、合成画像ＧＺ２の紙面のやや右側には、赤色で描画された赤領域Ｒ５、及び赤領域Ｒ５を囲みかつその右側に延びるように青色で描画された青領域Ｂ５が表示されている。赤領域Ｒ５及び青領域Ｂ５で囲まれる範囲には、オフィスに設置された機械の作動音が音源として存在している。合成画像ＧＺ２における他の部分は、算出された音圧値が第１閾値以下であったために（図７参照）、無色のままの無領域ＮＣとして表示されている。
　【００７０】
　なお、ここでは、監視モニタ３６は、全方位画像をそのまま円形画像として表示しているが、パノラマ変換を行い、２次元の矩形画像（パノラマ画像）として表示してもよい。この場合、ユーザの合成画像の視認性が一層向上することになる。
　【００７１】
　また、図５に戻り、合成画像のデータ（つまり、ステップＴ１１において生成された音声ヒートマップＭＰのデータが全方位画像データに重畳された画像）が監視モニタ３６に表示されている状態で、例えばユーザが操作部３２を介して合成画像のデータ上の音画像情報（例えば赤領域）の位置を指定したとする（Ｔ１４）。この場合、指向性制御装置３０は、指定された合成画像のデータ上の位置の座標を取得する（Ｔ１５）。なお、監視モニタ３６がタッチパネルで構成される場合、ユーザは監視モニタ３６の画面にタッチ入力することで、指向性制御装置３０は、音画像情報の位置の座標を簡単に取得可能である。
　【００７２】
　指向性制御装置３０は、マイクアレイＭＡから、ユーザにより指定された合成画像のデータ上の位置に対応する実際の音源位置に向かう指向方向に、マイクアレイＭＡで収音された音声の指向性を形成し、この指向方向の音声を強調する（Ｔ１６）。スピーカ装置３７は、指向方向に強調された音声を出力する（Ｔ１７）。これにより、ユーザは、音画像情報として表示される音源から発せられる音声を明瞭に聞くことができ、音の発生原因を把握、追求できる。
　【００７３】
　以上により、本実施形態の音源表示システム１０では、全方位カメラＣＡは、撮像エリアの画像を撮像する。マイクアレイＭＡは、撮像エリアの音声を収音する。監視モニタ３６は、全方位カメラＣＡにより撮像された撮像エリアの画像を表示する。信号処理部３３内の音圧算出部３４は、マイクアレイＭＡにより収音された音声データを用いて、撮像エリアの画像データに現れる音源に関する音パラメータ（例えば音圧Ｐ）を算出する。信号処理部３３内の出力制御部３５は、算出により得られた音圧Ｐと閾値（例えば第１閾値，第２閾値）とを比較し、この比較結果に応じて、音圧を視覚情報に変換した音源画像情報（例えば音画像情報）を、撮像エリアの画像データに重畳して監視モニタ３６に表示させる。
　【００７４】
　これにより、音源表示システム１０は、モニタリング対象のエリア（例えば撮像エリア）の撮像により得られた映像データに現れる音源（つまり、音の発生源）を視覚的な音画像情報として表示することができる。従って、ユーザは、表示された撮像エリアの映像に現れる音源を視覚的に認識することができる。
　【００７５】
　また、音源表示システム１０では、閾値は例えば複数設定され、信号処理部３３の音圧算出部３４は、音源の音圧Ｐとそれぞれの閾値（例えば第１閾値、第２閾値）との比較に応じて、複数の種類の音画像情報を生成する。これにより、指向性制御装置３０は、全方位カメラＣＡにより撮像された全方位画像データに現れる音源の場所（位置）だけでなく、音源における音圧の大きさもユーザに直感的に把握可能な音声ヒートマップＭＰを生成することができる。
　【００７６】
　また、音源表示システム１０では、監視モニタ３６に表示された合成画像のデータ（例えば図８、図９参照）の音画像情報（例えば赤領域Ｒ２）がユーザにより指定された場合には、信号処理部３３の出力制御部３５は、マイクアレイＭＡから、指定された音画像情報の位置の座標に対応する実際の音源位置に向かう方向（つまり、指向方向）に音声の指向性を形成してスピーカ装置３７から出力させる。これにより、ユーザは、監視モニタ３６上に音画像情報として表示される音源から発せられる音声を明瞭に聞くことができ、音の発生原因を効率的に把握、追求することができる。
　【００７７】
　また、音源表示システム１０では、所定の対象を検出するセンサ６０が設けられ、センサ６０が所定の対象を検出した場合に、全方位カメラＣＡは撮像により得られた全方位画像データを指向性制御装置３０に送信し、またマイクアレイＭＡは収音により得られた音声データを指向性制御装置３０に送信する。これにより、例えばユーザが所望する条件に合致した場合に、指向性制御装置３０は、全方位画像データに音源を表示するための動作を開始でき、ユーザの利便性を向上することができる。
　【００７８】
　また、音源表示システム１０では、全方位カメラＣＡとマイクアレイＭＡとは同軸上に配置される。これにより、全方位カメラＣＡの光軸とマイクアレイＭＡの筐体１５の中心軸とが一致することで、軸周方向における撮像エリアと収音エリアとが略同一となり、画像位置（つまり、全方位カメラＣＡから見た被写体の位置）と収音位置（つまり、マイクアレイＭＡから見た音源の位置）とが同じ座標系で表現可能となる。従って、画像位置と収音位置との対応関係が明確となり、指向性制御装置３は、マイクアレイＭＡにより収音された音声に対し、ユーザの指定に基づく指向方向に指向性を形成する際に、ユーザの指定に基づいて全方位カメラＣＡにより得られた方向を示す座標を、マイクアレイＭＡから見た指向方向として用いることができ、指向方向の算出を容易に行うことができる。
　【００７９】
　以上、図面を参照しながら実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
　【００８０】
　例えば、上記した本実施形態では、音パラメータとして、音の発生源（音源）が発する音の音圧を用いたが、音圧に限らず、音の周波数（音域）、音の種類（楽音と騒音）等を用いることも可能であり、さまざまな要望に適した音源表示が可能となる。
　【産業上の利用可能性】
　【００８１】
　本発明は、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示し、モニタリング業務効率を向上するモニタリングシステム及びモニタリング方法として有用である。
　【符号の説明】
　【００８２】
　１０　音源表示システム
　１５　筐体
　２５　圧縮処理部
　２６　送信部
　２９　指向方向算出部
　３０　指向性制御装置
　３１　通信部
　３２　操作部
　３３　信号処理部
　３４　音圧算出部
　３５　出力制御部
　３６　監視モニタ
　３７　スピーカ装置
　３８，４６　メモリ
　３９　設定管理部
　４１　ＣＰＵ
　４２　通信部
　４４　電源管理部
　４５　イメージセンサ
　４６ｘ　メモリカード
　４６ｙ　ＲＡＭ
　４６ｚ　ＲＯＭ
　４７　ネットワークコネクタ
　６０　センサ
　Ａ１，Ａ２，…，Ａｎ　Ａ／Ｄ変換器
　ＣＡ　全方位カメラ
　ＧＺ１，ＧＺ２　合成画像
　ＮＷ　ネットワーク
　ＭＡ　マイクアレイ
　Ｍ１，Ｍ２，…，Ｍｎ　マイクロホン
　ＰＡ１，ＰＡ２，…，ＰＡｎ　アンプ
　Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５　赤領域
　Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５　青領域
　ＮＣ　無領域
（５７）【特許請求の範囲】
　【請求項１】
　撮像エリアを撮像するカメラと、
　前記撮像エリアの音声を収音するマイクアレイと、
　
前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサと、
　前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、
　
前記センサにより前記イベントが検出されると、
　前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる、
　モニタリングシステム。
　【請求項２】
　請求項１に記載のモニタリングシステムであって、
　前記音パラメータは、音圧である、
　モニタリングシステム。
　【請求項３】
（削除）
　【請求項４】
　請求項
１に
　前記マイクアレイにより収音された音声データを出力する音声出力部、を更に備え、
　前記表示部に表示された前記音源画像情報が指定された場合、前記信号処理部は、前記マイクアレイから、指定された前記音源画像情報に対応する前記撮像エリアの画像データの位置に向かう方向に指向性を形成して前記音声出力部に出力させる、
　モニタリングシステム。
　【請求項５】
　請求項
１に
　前記カメラと前記マイクアレイとが同軸に配置された、
　モニタリングシステム。
　【請求項６】
　カメラとマイクアレイと
センサとを
　前記カメラにおいて撮像エリアを撮像し、
　前記マイクアレイにおいて前記撮像エリアの音声を収音し、
　
前記センサにより前記撮像エリアにおける音源の表示を指示するイベントが検出されると、
　導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示させる、
　モニタリング方法。