(57)【要約】  監視装置においては、正確な制御を行うために、カメラ及びマイクの設置時の位置及び方向について、極めて高い正確度が要求されるため、本発明の監視装置は、音響信号を取得する音響信号取得手段と、取得した音響信号から音響イベントの発生方向を算出する音響イベント検知手段と、画像信号を取得する画像信号取得手段と、取得した画像信号から画像イベントの発生方向を算出する画像イベント検知手段と、算出した音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する写像関係算出手段と、算出した写像関係と算出した音響イベントのうちの検知対象イベントの発生方向とを用いて画像イベントのうちの検知対象イベントの発生方向を推定する座標変換手段とを備える。
2017170007.tif 000002
【特許請求の範囲】
【請求項１】
音響信号を取得する音響信号取得手段と、
取得した前記音響信号から音響イベントの発生方向を算出する音響イベント検知手段と、
画像信号を取得する画像信号取得手段と、
取得した前記画像信号から画像イベントの発生方向を算出する画像イベント検知手段と、
算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する写像関係算出手段と、
算出した前記写像関係と算出した前記音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する座標変換手段と
を備える監視装置。
【請求項２】
前記写像関係算出手段は、
前記写像関係の変化が閾値以上の場合に前記画像信号取得手段と前記音響信号取得手段の方向関係が変化したと判断する
請求項１に記載した監視装置。
【請求項３】
前記写像関係算出手段は、
算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向との間の写像変換行列と、写像変換誤差の期待値と信頼度とを算出する、
請求項１又は２に記載した監視装置。
【請求項４】
前記画像信号を表示させる表示手段をさらに備え、
前記表示手段は、
前記画像イベント検知手段で算出した前記画像イベントのうちの検知対象イベントの位置と、前記座標変換手段で推定した前記画像イベントのうちの検知対象イベントの発生方向と、前記写像変換誤差の期待値と、前記信頼度とのいずれか又は全てを表示する、
請求項３に記載した監視装置。
【請求項５】
音響信号を取得し、
取得した前記音響信号から音響イベントの発生方向を算出し、
画像信号を取得し、
取得した前記画像信号から画像イベントの発生方向を算出し、
算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出し、
算出した前記写像関係と算出した前記音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する、
監視方法。
【請求項６】
音響信号を取得する処理と、
取得した前記音響信号から音響イベントの発生方向を算出する手段と、
画像信号を取得する処理と、
取得した前記画像信号から画像イベントの発生方向を算出する処理と、
算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する処理と、
算出した前記写像関係と算出した前記音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する処理と、
をコンピュータに実行させる監視プログラムをコンピュータ読み取り可能に記録する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数種類のセンサを用いてイベントを検知する技術に関し、特に、複数種類センサ間の方向関係のキャリブレーションを行う監視装置、監視方法、及び記録媒体に関する。
【背景技術】
【０００２】
複数種類のセンサを用いてイベントを検知する監視技術が広く知られており、実用化されている。このような監視技術の一例が、特許文献１に記載されている。特許文献１に記載された監視装置は、カメラ又はマイクのいずれか一方で不審な変化（異常イベント）を検知し、異常イベントの発生方向を推定する。さらに、特許文献１に記載された監視装置は、推定した発生方向とカメラとマイクの配置位置の差とに基づいて、もう一方から見たときの異常イベントの発生方向を推定する。そして、特許文献１に記載された監視装置は、推定したもう一方から見たときの異常イベントの発生方向へ、もう一方のカメラ又はマイクを向ける。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３９７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された監視装置は、カメラとマイクとの配置位置の差に基づいて、制御を行う。このため、特許文献１に記載された監視装置においては、カメラ及びマイクの設置時の位置及び方向について、極めて高い正確度が要求されていた。このため、特許文献１に記載された監視装置においては、カメラとマイクの設置時に行う方向の較正（キャリブレーション）が高コストとなっていた。【０００５】
つまり、上述した監視装置においては、センサの設置時の位置及び方向について、極めて高い正確度が要求されるという問題があった。【０００６】
本発明の目的は、上述した課題である、センサの設置時の位置及び方向について、極めて高い正確度が要求されることを解決する監視装置、監視方法及び記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一形態における監視装置は、音響信号を取得する音響信号取得手段と、取得した音響信号から音響イベントの発生方向を算出する音響イベント検知手段と、画像信号を取得する画像信号取得手段と、取得した画像信号から画像イベントの発生方向を算出する画像イベント検知手段と、算出した音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する写像関係算出手段と、算出した写像関係と算出した音響イベントのうちの検知対象イベントの発生方向とを用いて画像イベントのうちの検知対象イベントの発生方向を推定する座標変換手段とを備える。【０００８】
本発明の一形態における監視方法は、音響信号を取得し、取得した音響信号から音響イベントの発生方向を算出し、画像信号を取得し、取得した画像信号から画像イベントの発生方向を算出し、算出した音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出し、算出した写像関係と算出した音響イベントのうちの検知対象イベントの発生方向とを用いて画像イベントのうちの検知対象イベントの発生方向を推定する。【０００９】
本発明の一形態における記録媒体は、音響信号を取得する処理と、取得した音響信号から音響イベントの発生方向を算出する処理と、画像信号を取得する処理と、取得した画像信号から画像イベントの発生方向を算出する処理と、算出した音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する処理と、算出した写像関係と算出した音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する処理とをコンピュータの実行させる監視プログラムを記録する。
【発明の効果】
【００１０】
本発明によれば、センサの設置時の位置及び方向について、極めて高い正確度が要求されることを解決することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る監視装置の構成を表すブロック図である。
【図２】本発明の実施形態に係るＰｍとＰｃの関係を説明するための概念的なイメージ図である。
【図３】本発明の実施形態に係るＰｍ―Ｐｃ空間をＰｍの値で部分領域に分けたときの概念的なイメージ図である。
【図４】本発明の実施形態に係る音響イベント検知部で検知される方向の座標と、画像イベント検知部で検知される方向の座標とを表す概念的なイメージ図である。
【図５】実施形態の概要を示すブロック図である。
【図６】ハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、以下の説明では、同じ機能を有するものには同じ符号をつけ、その説明を省略する場合がある。また、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
【００１３】
（構成）
図１は、本発明の第一の実施形態に係る監視装置の構成を表すブロック図である。本発明の第一の実施形態における監視装置は、音響信号取得部１と、画像信号取得部２と、音響イベント検知部３と、画像イベント検知部４と、写像関係算出部５と、座標変換部６と、表示部７とを備える。
【００１４】
音響信号取得部１は、複数のマイクロフォン（マイク）を備えるマイクロフォンアレイを用いて音響信号を外部から取得し、音響イベント検知部３に出力する。あるいは、音響信号取得部１は、複数の方向に向けた複数の指向性マイクロフォンを用いて音響信号を取得し、取得した音響信号を音響イベント検知部３に出力する。音響信号は、音を表す時系列信号であり、複数の時間フレームと各時間フレームに対応する音圧の情報とを持つ。以降、音響信号を可聴域音響信号であるものとして説明する。音響信号取得部１は、他にも、超音波、超低周波、又は振動情報などの時系列信号を音響信号として扱うことができる。
【００１５】
音響イベント検知部３は、音響信号取得部１で取得された音響信号から音源の方向（音源方向）を算出（推定）する。音響信号取得部１が複数のマイクロフォンを備えるマイクロフォンアレイを用いる場合は、複数のマイクロフォンが測定した音響信号間の到達時間差が、音源方向の算出に利用できる。この場合、音響イベント検知部３は、例えば、相互相関法又はビームフォーミング法を用いて音源方向を算出（推定）する。あるいは、音響信号取得部１が複数の方向に向けた複数の指向性マイクロフォンを用いる場合は、音響イベント検知部３は、各指向性マイクロフォンに音響イベントの発生時刻を検知することで、音響イベントが検知された指向性マイクロフォンを特定できる。このため、音響イベント検知部３は、その特定した指向性マイクロフォンが向いている方向を、音源方向とする。若しくは、複数の指向性マイクロフォンで音響イベントが検知された場合には、音響イベント検知部３は、それら複数の指向性マイクロフォンが向いている方向の中間を音源方向と特定できる。この場合、音響イベント検知部３は、各指向性マイクロフォンが取得した音響信号の強度を用いて中間方向の強度を内挿する。
【００１６】
また、音響イベント検知部３は、音響信号取得部１から受信した音響信号から音響イベントを検知するとともに、検知した音響イベントをキャリブレーション対象イベントと検知対象イベントとに分類する。
【００１７】
音響イベントは、予め定義された音響上の特徴である。例えば、音響イベントは、受信した音響信号のある時間フレーム（現時間フレーム）の音圧とそれ以前の過去の時間フレームの音圧とを比較した時に、音圧の差が事前に設定した閾値を超えている状態のことである。音響イベントの発生時刻は、現時間フレームに対応する時刻である。あるいは、音響イベントは、受信した音響信号を周波数スペクトルに変換した時に、周波数の分布（スペクトルパタン）が事前に設定した形状のまま一定時間継続している状態のことである。
【００１８】
キャリブレーション対象イベントは、ユーザが予め定義する、音響信号と画像信号との両方から検出できる事象である。キャリブレーション対象イベントの例としては、歩く動作、話す動作、逃げる動作、暴れる動作、手をたたく動作、又は、外部の装置等に基づく音と光のパターン等がある。
【００１９】
検知対象イベントは、ユーザが予め定義する音響信号と画像信号とのどちらかから検出できる事象である。検知対象イベントの例としては、例えば、犯罪又は事故の発生時刻における暴れる動作又は逃げる動作がある。検知対象イベントのうち、音響信号で検知可能な例としては、多人数が集まった場所で暴れる人の罵声又は悲鳴がある。また、同様に、画像信号で検知可能な例としては、群衆が単一方向に逃げる動作、又は、人が道路中に寝そべる動作がある。
【００２０】
一つの音響イベントは、キャリブレーション対象イベントと検知対象イベントとのどちらか一方に分類される場合だけでなく、両方に分類される場合もある。
【００２１】
画像信号取得部２は、カメラを用いて画像信号を取得し、画像信号を画像イベント検知部４及び表示部７に出力する。ここで、画像信号は、画像を表す電気的な時系列信号であり、複数の時間フレームと各時間フレームに対応する輝度の情報とを持つ。以降、画像信号を可視光画像信号であるものとして説明する。カメラの数は、複数としてもよい。カメラの数を複数とした場合は、画像信号取得部２は、複数のカメラが取得した画像を１つの画像に合成する。画像信号取得部２は、他にも、赤外線画像、熱画像（サーモグラフィー）、又はレーダー画像などの時系列信号を画像信号として扱うことができる。また、画像信号は、２次元画像としてもよいし、立体画像（深度画像）としてもよい。
【００２２】
画像イベント検知部４は、画像信号取得部２で取得された画像信号から画像イベントが発生した方向（画像イベント発生方向）を算出（推定）する。
【００２３】
また画像イベント検知部４は、画像信号取得部２で取得された画像信号から画像イベントを検知するとともに、検知した画像イベントをキャリブレーション対象イベントと検知対象イベントとに分類する。画像イベントは、取得された画像信号のある時間フレーム（現時間フレーム）の輝度とそれ以前の過去の時間フレームの輝度とを比較した時に、輝度の差が事前に設定した閾値を超えている状態のことである。画像イベントの発生時刻は、現時間フレームに対応する時刻である。一つの画像イベントは、キャリブレーション対象イベントと検知対象イベントとのどちらか一方に分類される場合だけでなく、両方に分類される場合もある。
【００２４】
キャリブレーション対象イベントと検知対象イベントとの定義は、例えば、予め専用の装置に検知したい事象の音響信号又は画像信号を取得し、機械学習させてモデル化させたものを辞書的に用いる。この場合、音響イベント検知部３又は画像イベント検知部４は、モデルの尤度が閾値を超えた場合にそのモデルに対応するキャリブレーション対象イベント又は検知対象イベントが発生したと判断する。より具体的には、例えば、音響イベント検知部３又は画像イベント検知部４は、専用の装置に、検知したい事象の音響信号又は画像信号から特徴量を抽出させる。特徴量は、メル周波数ケプストラム係数（ＭＦＣＣ、Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）等である。さらに、音響イベント検知部３又は画像イベント検知部４は、抽出させた特徴量を、モデル化手法を用いて専用の装置にモデル化させる。モデル化手法は、ガウス混合モデル(ＧＭＭ、Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ)や隠れマルコフモデル（ＨＭＭ、Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）等である。
【００２５】
写像関係算出部５は、音響イベント検知部３と画像イベント検知部４とで同時に検知されたキャリブレーション対象イベントについて、音響イベント検知部３と画像イベント検知部４とのそれぞれが算出した発生方向から、写像関係を算出する。この発生方向とは、音源方向及び画像イベント発生方向のことである。さらに、写像関係算出部５は、算出した現時刻の写像関係と直前に算出した過去の時刻の写像関係とを比較し、その差が閾値以上である場合に、カメラ又はマイクの方向関係が変わったと判断する。同時に検知とは、必ずしも同時刻に検知されたことを意味するのではない。キャリブレーション対象イベントの種別ごとに設定した一定時間内の違いは、同時とみなす。
【００２６】
写像関係算出部５は、写像関係の算出方法として、例えば、写像関係として多項式を仮定し、最小二乗法等を用いて多項式のパラメータを推定する、多項式回帰と呼ばれる手法を利用する。あるいは、写像関係算出部５は、ノイズ対策として、サポートベクトル回帰と呼ばれる手法、又は、ＲＡＮＳＡＣ(ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ)と呼ばれる手法を利用してもよい。
【００２７】
ここでは、ＲＡＮＳＡＣを利用する写像関係の算出方法を説明する。音響イベント検知部３で検知されたキャリブレーション対象イベントの発生方向（第１の発生方向）をＰｍとする。音響イベント検知部３で検知されたのと同時に画像イベント検知部４で検知されたキャリブレーション対象イベントの発生方向（第２の発生方向）をＰｃとする。写像関係算出部５は、第１の発生方向Ｐｍから第２の発生方向Ｐｃへの写像変換行列Ｈを算出する。この写像変換行列Ｈの算出にあたって、写像関係算出部５は、数式１に示す変換誤差Ｅが予め設定した閾値以下（条件１）となるように算出する。ＰｍとＰｃの組が複数組存在する場合、写像関係算出部５は、条件１を満たす組（以降、Ｉｎｌｉｅｒと呼ぶ）の数が最大となるような写像変換行列Ｈを算出する。
【００２８】
【数１】
2017170007.tif 000003
【００２９】
図２は、ＰｍとＰｃとの関係を説明するための概念的なイメージ図である。横軸がＰｍ、縦軸がＰｃである。黒点は、音響イベント検知部３と画像イベント検知部４とで同時に検知されたキャリブレーション対象イベントの発生方向（ＰｍとＰｃの組）を示す。写像変換行列Ｈに基づく写像が点線（Ｐｃ＝ＨＰｍ）のように表されるとき、点線から縦軸方向に予め設定した閾値以内の範囲が（条件１）を満たす領域である。つまり、写像関係算出部５は、この領域に含まれる黒点（すなわちＩｎｌｉｅｒ）の数が最大となるように写像変換行列Ｈを算出する。さらに、写像関係算出部５は、Ｐｍ―Ｐｃ空間をＰｍの値で部分領域に分けたときの各部分領域ａｉｍ（ｉは１以上Ｎ以下の自然数）について、変換誤差の期待値σｉを算出する。Ｎは部分領域の総数である。また、写像関係算出部５は、各部分領域ａｉｍについて信頼度Ｒｉｍを算出する。
【００３０】
図３は、Ｐｍ―Ｐｃ空間をＰｍの値で部分領域に分けたときの概念的なイメージ図である。点線で囲った領域が、それぞれＰｍのｉ番目の部分領域ａｉｍを示す。
【００３１】
図４は、音響イベント検知部３で検知される方向の座標と、画像イベント検知部４で検知される方向の座標を表す概念的なイメージ図である。黒点は、部分領域ａｉｍ内の音響イベント検知部３と画像イベント検知部４で同時に検知されたキャリブレーション対象イベントの発生方向（ＰｍとＰｃの組）である。図４左におけるグレーの領域は、音響イベント検知部３で検知される部分領域ａｉｍを示している。図４右におけるグレーの領域は、音響イベント検知部３で検知される部分領域ａｉｍを画像イベント検知部４で検知される方向に置き換えた場合の部分領域（対応する部分領域）ａ＾ｉｍを示している。
【００３２】
なお、ハット記号「＾」は、各変数の上に記載される記号であるが、本明細書では変数の右側（例えば、「ａ＾」）に記載する。
【００３３】
対応する部分領域ａ＾ｉｍにおける変換誤差の期待値σｉは、例えば、数式２に示すように、対応する部分領域ａ＾ｉｍ内に存在するＩｎｌｉｅｒの、変換誤差Ｅの標準偏差の定数倍とする。
【００３４】
【数２】
2017170007.tif 000004
【００３５】
ｎｉｉｎは部分領域ａ＾ｉｍ内に存在するＩｎｌｉｅｒの数、Ｅｅはｅ番目のＩｎｌｉｅｒの変換誤差、ｃは定数である。また、部分領域ａ＾ｉｍにおける信頼度Ｒｉｍは、例えば、部分領域ａ＾ｉｍ内に存在するキャリブレーション対象イベントの数に対する、対応する部分領域ａ＾ｉｍ内に存在するＩｎｌｉｅｒの数の割合とする。あるいは、部分領域ａ＾ｉｍにおける信頼度Ｒｉｍは、対応する部分領域ａ＾ｉｍ内に存在するＩｎｌｉｅｒの変換誤差Ｅの総和の逆数としてもよい。
【００３６】
写像関係算出部５は、信頼度Ｒｉｍが閾値以下となる部分領域ａｉｍの数が部分領域の全数Ｎに対して一定割合（例えば８０％以上）を占める場合には、カメラとマイクの方向関係が適切でないと判断する。
【００３７】
座標変換部６は、音響イベント検知部３で検知された検知対象イベントの発生方向ＰｍＡ（第３の発生方向）から画像イベント検知部４で検知されるであろう検知対象イベントの発生方向Ｐ＾ｍＡを推定する。言い換えると、座標変換部６は、ＰｍＡに対応する画像イベント検知部４で検知される検知対象イベントの発生方向Ｐ＾ｍＡを算出する。第３の発生方向Ｐ＾ｍＡは、写像関係算出部５で算出された写像変換行列Ｈを用いて数式３から算出される。
【００３８】
【数３】
2017170007.tif 000005
【００３９】
また、座標変換部６は、ＰｍＡを含む部分領域ａｊｍを特定する。さらに、座標変換部６は、特定した部分領域ａｊｍにおける変換誤差の期待値σｊを算出する。
【００４０】
表示部７は、画像信号取得部２から出力された画像信号を画像としてディスプレイに表示させる。同時に、表示部７は、音響信号取得部１から出力された音響信号を音声として再生する。また、表示部７は、画像イベント検知部４で算出した検知対象イベントの発生方向ＰｍＡ又は座標変換部６で算出した検知対象イベントの発生方向（Ｐ＾ｍＡ）をそれぞれ、ディスプレイに逐次表示させる。座標変換部６で算出した検知対象イベントの発生方向Ｐ＾ｍＡを表示する際、表示部７は、座標変換部６で算出した変換誤差の期待値σｊを同時に表示させてもよい。変換誤差の期待値σｊの表示の仕方としては例えば、Ｐ＾ｍＡを中心とし、変換誤差の期待値σｊを半径とした円で表示する。さらに、表示部７は、円及びその周辺を拡大表示させてもよい。
【００４１】
また、写像関係算出部５がカメラ若しくはマイクの方向関係が変わったと判断した場合、又は、写像関係算出部５がカメラとマイクとの方向関係が適切でないと判断した場合には、表示部７は、次のような内容をディスプレイ等に表示させる。すなわち、表示部７は、カメラとマイクの方向関係が適切でないことを示す警告、又は、確認若しくは注意を促すメッセージをディスプレイ等に表示させる。さらに、表示部７は、写像関係算出部５で算出した信頼度Ｒｉｍを、部分領域ａｉｍごとにカラーマップ等でディスプレイ上に表示させる。
【００４２】
以上のように、本発明の実施形態に係る監視装置は、マイクが外部から取得した音響信号とカメラが外部から取得した画像信号との両方からそれぞれキャリブレーション対象イベントの発生方向の算出を行う。さらに、本発明の実施形態に係る監視装置は、算出したキャリブレーション対象イベントの発生方向に基づいて写像関係を算出し、算出した写像関係とマイクが外部から取得した音響信号とに基づいて算出した検知対象イベントの発生方向の座標変換を行う。
【００４３】
このため、本発明の実施形態に係る監視装置は、カメラとマイクの設置時の位置と方向について、高い正確度を要しない。このため、本発明の実施形態に係る監視装置においては、カメラとマイクの設置時に行う方向の較正（キャリブレーション）は、低コストである。
【００４４】
また、本発明の実施形態に係る監視装置は、キャリブレーション対象イベントが検知される毎に写像関係を逐次算出し、算出した現時刻の写像関係と直前に算出した過去の時刻の写像関係とを比較する。そして、マイクとカメラの方向関係が変わったと判断した場合に、本発明の実施形態に係る監視装置は、警告や確認、注意を促すメッセージをディスプレイ等に表示させる。このため、ユーザはカメラ又はマイクの方向関係が変わったことに気付くことができる。
【００４５】
また、本発明の実施形態に係る監視装置は、音響信号取得部１が実際に外部から取得した音響信号を用いている。これにより、本発明の実施形態に係る監視装置は、音響信号取得部１が外部から取得する音響信号にマイクの設置場所毎に異なる反射音が含まれることにより生じる音源方向の算出における誤差を低減することができる。さらに、本発明の実施形態に係る監視装置は、気温や気圧等の要因で音速が変化することによる音源方向の算出における誤差を低減することができる。
【００４６】
以上、音響イベント検知部３が検知するキャリブレーション対象イベント及び画像イベント検知部４が検知するキャリブレーション対象イベントが、位置的にも時間的にも断絶して発生する例について説明した。本実施形態は、このほかに、キャリブレーション対象イベントが、位置を変えながら一定時間継続する場合にも対応可能である。さらに、本実施形態は、キャリブレーション対象イベントだけでなく、検知対象イベントについても同様に対応可能である。このような場合としては例えば、自動車、飛行体、又は船舶の駆動音と移動する様子、自転車のブレーキ音と移動する様子、台車の振動と移動する様子、等がある。
【００４７】
キャリブレーション対象イベントの始端時刻をｔｓ、終端時刻をｔｅとする。さらに、時刻ｔの時に音響イベント検知部３が検知するキャリブレーション対象イベントの発生方向をＰｍ（ｔ）、時刻ｔの時に画像イベント検知部４が検知するキャリブレーション対象イベントの発生方向をＰｃ（ｔ）とする。
【００４８】
音響イベント検知部３又は画像イベント検知部４は、キャリブレーション対象イベントの始端時刻ｔｓ及び終端時刻ｔｅを求める。
【００４９】
始端時刻ｔｓは、音響イベント検知部３又は画像イベント検知部４が検知したキャリブレーション対象イベント（音響イベント又は画像イベント）の発生時刻と同様である。すなわち、始端時刻ｔｓは、次の場合の現時間フレームに対応する時刻である。この場合とは、音響イベント検知部３が、受信した音響信号のある時間フレーム（現時間フレーム）の音圧とそれ以前の過去の時間フレームの音圧とを比較した時に、音圧の差が事前に設定した閾値を超えて大きくなっている場合である。あるいは始端時刻ｔｓは、次の場合の現時間フレームに対応する時刻である。この場合とは、画像イベント検知部４が、受信した画像信号のある時間フレーム（現時間フレーム）の輝度とそれ以前の過去の時間フレームの輝度とを比較した時に、輝度の差が事前に設定した閾値を超えて大きくなっている場合である。
【００５０】
終端時刻ｔｅは、次の場合の現時間フレームに対応する時刻である。この場合とは、音響イベント検知部３が、受信した音響信号のある時間フレーム（現時間フレーム）の音圧とそれ以前の過去の時間フレームの音圧とを比較した時に、音圧の差が事前に設定した閾値より小さくなっている場合である。あるいは、終端時刻ｔｅは、次の場合の現時間フレームに対応する時刻である。この場合とは、画像イベント検知部４が、受信した画像信号のある時間フレーム（現時間フレーム）の輝度とそれ以前の過去の時間フレームの輝度とを比較した時に、輝度の差が事前に設定した閾値より小さくなっている場合である。
【００５１】
音響イベント検知部３又は画像イベント検知部４は、求めた始端時刻ｔｓ及び終端時刻ｔｅ間の時間を任意の数に分割する。この分割にあたって、音響イベント検知部３又は画像イベント検知部４は、例えば、１秒毎などのように等時間毎に分割を行ってもよいし、等時間でなくても分割を行ってよい。
【００５２】
音響イベント検知部３又は画像イベント検知部４は、分割した時間それぞれの開始時刻について、キャリブレーション対象イベントの発生方向を求める。
【００５３】
以上により、複数の時刻ｔ＝｛ｔｓ，ｔ１，ｔ２，・・・，ｔｅ｝についてＰｍとＰｃの組｛Ｐｍ（ｔｓ），Ｐｃ（ｔｓ）｝，｛Ｐｍ（ｔ１），Ｐｃ（ｔ１）｝，｛Ｐｍ（ｔ２），Ｐｃ（ｔ２）｝，・・・，｛Ｐｍ（ｔｅ），Ｐｃ（ｔｅ）｝が求まる。このＰｍ（ｔ）とＰｃ（ｔ）の組を用いて、写像関係算出部５は、写像関係を算出する。
【００５４】
また、写像関係算出部５は、時刻のずれをτとして、｛Ｐｍ（ｔ）,Ｐｃ（ｔ＋τ）}の相関が最大になるようなτの値を求め、Ｐｃ（ｔ）の代わりにＰｃ（ｔ＋τ）を用いて写像関係を算出することとしてもよい。
【００５５】
本実施形態によれば、センサの設置時の位置及び方向について、極めて高い正確度が要求される問題を解決することができる。
【００５６】
つまり、本実施形態に係る監視装置は、センサの設置時の位置及び方向について、極めて高い正確度を実現できるとの効果を奏する。
【００５７】
その理由は、次のとおりである。音響信号取得部１は、音響信号を取得する。音響イベント検知部３は、取得した音響信号から音響イベントの発生方向を算出する。画像信号取得部２は、画像信号を取得する。画像イベント検知部４は、取得した画像信号から画像イベントの発生方向を算出する。写像関係算出部５は、算出した音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する。座標変換部６は、算出した写像関係と算出した音響イベントのうちの検知対象イベントの発生方向とを用いて画像イベントのうちの検知対象イベントの発生方向を推定する。
【００５８】
このように、本実施形態の監視装置は、音響イベント及び画像イベントのうちのキャリブレーション対象イベントの発生方向を用いて写像関係を算出する。そして、監視装置は、音響イベント及び画像イベントの発生方向だけではなく、算出した写像関係と音響イベントの検知対象イベントの発生方向とを基に画像イベントのうちの検知対象イベントを推定する。そのため、監視装置は、センサの設置時の位置及び方向について、極めて高い正確度を実現できる。
【００５９】
図５は、上記の効果の説明に関連する構成を含む監視装置の概要の構成を示すブロック図である。すなわち、図５に示されている監視装置は、音響信号取得部１と、画像信号取得部２と、音響イベント検知部３と、画像イベント検知部４と、写像関係算出部５と、座標変換部６とを含む。そして、図５に示されている監視装置は、図１に示されている監視装置と同様の効果を実現できる。なお、図５に示されている監視装置は、本実施形態の最小構成である。ただし、各構成部は、適宜、表示部７に相当する構成に情報を送信する。
【００６０】
次に、ハードウェア構成について説明する。以上の説明した監視装置は、次のように構成される。例えば、監視装置の各構成部は、ハードウェア回路で構成されてもよい。また、監視装置において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。また、監視装置において、複数の構成部は、１つのハードウェアで構成されてもよい。また、監視装置は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現されてもよい。監視装置は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input / Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現されてもよい。
【００６１】
図６は、監視装置のハードウェア構成の一例を示すブロック図である。監視装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。
【００６２】
ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示す、音響信号取得部１と、画像信号取得部２と、音響イベント検知部３と、画像イベント検知部４と、写像関係算出部５と、座標変換部６としての各機能を実現する。ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶媒体として使用してもよい。また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記録媒体７００が含むプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作してもよい。
【００６３】
ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Programmable-ROM）又はフラッシュＲＯＭである。
【００６４】
ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Dynamic-RAM）である。
【００６５】
内部記憶装置６４０は、監視装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。
【００６６】
ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（non-transitory）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（transitory）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。
【００６７】
ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。さらに、ＩＯＣ６５０は、ＵＳＢのような有線に限らず、無線を用いてもよい。
【００６８】
入力機器６６０は、監視装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、音響信号取得部１及び／又は画像信号取得部２として動作してもよい。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。
【００６９】
表示機器６７０は、監視装置６００の操作者に情報を表示する機器である。表示機器６７０は、表示部７として動作してもよい。表示機器６７０は、例えば、液晶ディスプレイである。
【００７０】
ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、音響信号取得部１及び／又は画像信号取得部２として動作してもよい。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。さらに、ＮＩＣ６８０は、有線に限らず、無線を用いてもよい。
【００７１】
このように構成された監視装置６００は、図１に示されている監視装置と同様の効果を得ることができる。その理由は、監視装置６００のＣＰＵ６１０が、プログラムに基づいて図１に示されている監視装置と同様の機能を実現できるためである。
【００７２】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００７３】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００７４】
（付記１）カメラが取得した画像信号とマイクが取得した音響信号の両方で同時に検知されたイベントの発生位置に基づいて、前記発生位置間の写像関係を算出する写像関係算出部を備えたことを特徴とする監視装置。
【００７５】
（付記２）カメラが取得した前記画像信号からイベントの発生時刻と位置を検知する画像イベント検知部と、マイクが取得した前記音響信号からイベントの発生時刻と位置を検知する音響イベント検知部と、前記画像信号によるイベント発生時刻と前記音響信号によるイベント発生時刻の差が閾値以下の場合に同時とみなし、前記画像信号によるイベント発生位置と前記音響信号によるイベント発生位置の間の写像関係を算出する写像関係算出部を備える付記１に記載の監視装置。
【００７６】
（付記３）前記画像イベント検知部は、前記画像信号によるイベントを事前に定義したキャリブレーション対象イベントと検知対象イベントに分類し、前記音響イベント検知部は、前記音響信号によるイベントを事前に定義した前記キャリブレーション対象イベントと検知対象イベントに分類し、前記画像信号によるイベント発生時刻と前記音響信号によるイベント発生時刻が同時とみなされた前記キャリブレーション対象イベントの発生位置から、前記キャリブレーション対象イベントの発生位置間の写像関係を算出する写像関係算出部と、前記写像関係に基づいて前記音響イベント検知部で算出した検知対象イベントの位置を座標変換する座標変換部を備える付記２に記載の監視装置。
【００７７】
（付記４）前記写像関係算出部は、前記写像関係の変化が閾値以上の場合に前記カメラと前記マイクの方向関係が変化したと判断する付記３に記載の監視装置。
【００７８】
（付記５）前記写像関係算出部は、前記写像関係として、前記キャリブレーション対象イベントの発生位置間の写像変換行列を、前記写像変換行列の変換誤差が閾値以下のイベントであるＩｎｌｉｅｒの数が最大となるように算出する付記３に記載の監視装置。
【００７９】
（付記６）前記写像関係算出部は、前記写像関係として、前記キャリブレーション対象イベントの発生位置間の写像変換行列と、写像変換誤差の期待値と信頼度を算出する付記３に記載の監視装置。
【００８０】
（付記７）前記写像関係算出部は、前記写像変換誤差の期待値として、前記音響イベント検知部で算出した前記キャリブレーション対象イベントの位置が部分領域に含まれるイベントのうち、Ｉｎｌｉｅｒの前記写像変換誤差の標準偏差の定数倍を算出する付記６に記載の監視装置。
【００８１】
（付記８）前記写像関係算出部は、前記信頼度として、前記音響イベント検知部で算出した前記キャリブレーション対象イベントの位置が部分領域に含まれるイベントのうち、前記Ｉｎｌｉｅｒの変換誤差の総和の逆数又は、前記部分領域に含まれる前記キャリブレーション対象イベントに対する前記Ｉｎｌｉｅｒの割合に基づいて算出する付記６に記載の監視装置。
【００８２】
（付記９）前記座標変換部は、前記写像関係算出部で算出した前記写像変換誤差の期待値から、前記画像イベント検知部で算出した前記検知対象イベントの位置を含む部分領域における前記写像変換誤差の期待値を算出する付記５から７に記載の監視装置。
【００８３】
（付記１０）前記画像イベント検知部で算出した検知対象イベントの位置と、前記座標変換部で算出した座標変換された検知対象イベントの位置と、前記写像関係算出部で算出した前記信頼度と、前記座標変換部で算出した前記検知対象イベントの位置を含む部分領域における前記写像変換誤差の期待値と、前記写像関係算出部で前記カメラと前記マイクの方向関係が変化したと判断した場合にアラームの、いずれか又は全てを表示する表示部を備える付記３から９に記載の監視装置。
【００８４】
この出願は、２０１６年  ３月３０日に出願された日本出願特願２０１６−０６７０２１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８５】
１    音響信号取得部
２    画像信号取得部
３    音響イベント検知部
４    画像イベント検知部
５    写像関係算出部
６    座標変換部
７    表示部
６００    監視装置
６１０    ＣＰＵ
６２０    ＲＯＭ
６３０    ＲＡＭ
６４０    内部記憶装置
６５０    ＩＯＣ
６６０    入力機器
６７０    表示機器
６８０    ＮＩＣ
７００    記録媒体
【図１】
2017170007.tif 000006
【図２】
2017170007.tif 000007
【図３】
2017170007.tif 000008
【図４】
2017170007.tif 000009
【図５】
2017170007.tif 000010
【図６】
2017170007.tif 000011
【手続補正書】
【提出日】平成30年9月20日(2018.9.20)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音響信号を取得する音響信号取得手段と、
取得した前記音響信号から音響イベントの発生方向を算出する音響イベント検知手段と、
画像信号を取得する画像信号取得手段と、
取得した前記画像信号から画像イベントの発生方向を算出する画像イベント検知手段と、
算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する写像関係算出手段と、
算出した前記写像関係と算出した前記音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する座標変換手段と
を備える監視装置。
【請求項２】
前記写像関係算出手段は、
前記写像関係の変化が閾値以上の場合に前記画像信号取得手段と前記音響信号取得手段の方向関係が変化したと判断する
請求項１に記載した監視装置。
【請求項３】
前記写像関係算出手段は、
算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向との間の写像変換行列と、写像変換誤差の期待値と信頼度とを算出する、
請求項１又は２に記載した監視装置。
【請求項４】
前記画像信号を表示させる表示手段をさらに備え、
前記表示手段は、
前記画像イベント検知手段で算出した前記画像イベントのうちの検知対象イベントの位置と、前記座標変換手段で推定した前記画像イベントのうちの検知対象イベントの発生方向と、前記写像変換誤差の期待値と、前記信頼度とのいずれか又は全てを表示する、
請求項３に記載した監視装置。
【請求項５】
音響信号を取得し、
取得した前記音響信号から音響イベントの発生方向を算出し、
画像信号を取得し、
取得した前記画像信号から画像イベントの発生方向を算出し、
算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出し、
算出した前記写像関係と算出した前記音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する、
監視方法。
【請求項６】
音響信号を取得する処理と、
取得した前記音響信号から音響イベントの発生方向を算出する手段と、
画像信号を取得する処理と、
取得した前記画像信号から画像イベントの発生方向を算出する処理と、
算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する処理と、
算出した前記写像関係と算出した前記音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する処理と、
をコンピュータに実行させるプログラム。
【国際調査報告】
2017170007.tif 000012
2017170007.tif 000013
2017170007.tif 000014
2017170007.tif 000015