(57)【要約】【課題】マイクロフォンアレイが存在する空間中に、どのような種類の物体が、どのような形状・姿勢で、どこに存在しているのかを、図として描画した画像を生成することができる。【解決手段】画像取得部１０２が、信号の一部時間に相当する部分信号に対応する情景画像を取得し、ラベリング部１０３が、情景画像の全体又は一部の画素の各々に対し、当該画素に写る物体を表す物体ラベルを割り当てることにより、物体ラベル画像を生成し、学習データ生成部１０４が、部分信号又は当該部分信号に対応する特徴量と、部分信号に対応する物体ラベル画像との組を一組以上生成し、学習部１０５が、部分信号又は当該部分信号に対応する前記特徴量を入力として受け取る関数の出力が、入力された部分信号に対応する物体ラベル画像に近づくように、関数を学習する。【選択図】図１
2019029754.tif 000002
【特許請求の範囲】
【請求項１】
一つ以上のマイクロフォンにより収取された信号から、当該マイクロフォンの存在する実空間に存在する物体の種類、位置、又は形状を視覚的に描画した画像を生成するための情景認識装置であって、
前記信号の一部時間に相当する部分信号に対応する情景画像を取得する画像取得部と、
前記情景画像の全体又は一部の画素の各々に対し、当該画素に写る物体を表す物体ラベルを割り当てることにより、物体ラベル画像を生成するラベリング部と、
前記部分信号又は当該部分信号に対応する特徴量と、前記部分信号に対応する前記物体ラベル画像との組を一組以上生成する学習データ生成部と、
前記生成された一組以上の、前記部分信号又は当該部分信号に対応する特徴量と、前記部分信号に対応する前記物体ラベル画像との組に基づいて、前記部分信号又は当該部分信号に対応する前記特徴量を入力として受け取る関数の出力が、前記入力された部分信号に対応する前記物体ラベル画像に近づくように、前記関数を学習する学習部と、
を備えることを特徴とする情景認識装置。
【請求項２】
前記マイクロフォンにより収取された信号が入力された場合に、前記学習部によって学習された前記関数に、前記信号又は当該信号に対応する前記特徴量を入力して、当該信号に対応する画像を出力する画像出力部
を更に備えることを特徴とする請求項１記載の情景認識装置。
【請求項３】
前記関数がニューラルネットワークであり、
前記学習部は、前記部分信号又は当該部分信号に対応する前記特徴量を入力とし、前記部分信号に対応する前記物体ラベル画像を正解出力とした誤差逆伝搬法により、前記ニューラルネットワークを学習することを特徴とする請求項１又は２記載の情景認識装置。
【請求項４】
前記ラベリング部が、前記情景画像に対して、セマンティックセグメンテーション処理を施し、前記物体ラベル画像を生成することを特徴とする請求項１〜請求項３の何れか１項記載の情景認識装置。
【請求項５】
一つ以上のマイクロフォンにより収取された信号から、当該マイクロフォンの存在する実空間に存在する物体の種類、位置、又は形状を視覚的に描画した画像を生成するための情景認識装置であって、
前記マイクロフォンにより収取された信号が入力された場合に、前記信号の一部時間に相当する部分信号又は当該部分信号に対応する特徴量を入力として受け取る関数の出力が、前記入力された部分信号に対応する物体ラベル画像に近づくように予め学習された前記関数に、前記信号又は当該信号に対応する前記特徴量を入力して、当該信号に対応する画像を出力する画像出力部
を備えることを特徴とする情景認識装置。
【請求項６】
一つ以上のマイクロフォンにより収取された信号から、当該マイクロフォンの存在する実空間に存在する物体の種類、位置、又は形状を視覚的に描画した画像を生成するための情景認識装置における情景認識方法であって、
画像取得部が、前記信号の一部時間に相当する部分信号に対応する情景画像を取得し、
ラベリング部が、前記情景画像の全体又は一部の画素の各々に対し、当該画素に写る物体を表す物体ラベルを割り当てることにより、物体ラベル画像を生成し、
学習データ生成部が、前記部分信号又は当該部分信号に対応する特徴量と、前記部分信号に対応する前記物体ラベル画像との組を一組以上生成し、
学習部が、前記生成された一組以上の、前記部分信号又は当該部分信号に対応する特徴量と、前記部分信号に対応する前記物体ラベル画像との組に基づいて、前記部分信号又は当該部分信号に対応する前記特徴量を入力として受け取る関数の出力が、前記入力された部分信号に対応する前記物体ラベル画像に近づくように、前記関数を学習する
ことを特徴とする情景認識方法。
【請求項７】
一つ以上のマイクロフォンにより収取された信号から、当該マイクロフォンの存在する実空間に存在する物体の種類、位置、又は形状を視覚的に描画した画像を生成するための情景認識装置における情景認識方法であって、
画像出力部が、前記マイクロフォンにより収取された信号が入力された場合に、前記信号の一部時間に相当する部分信号又は当該部分信号に対応する特徴量を入力として受け取る関数の出力が、前記入力された部分信号に対応する物体ラベル画像に近づくように予め学習された前記関数に、前記信号又は当該信号に対応する前記特徴量を入力して、当該信号に対応する画像を出力する
ことを特徴とする情景認識方法。
【請求項８】
コンピュータを、請求項１〜請求項５のいずれか１項に記載の情景認識装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情景認識装置、方法、及びプログラムに係り、特に、実空間に存在するマイクロフォンにより取得された信号を解析することにより、当該実空間中に存在する物体を認識するための情景認識装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
通信環境や分散処理基盤技術、及び、センシング技術の高度化・高品質化により、マイクロフォンやカメラを始めとした、様々なセンサデバイスが実空間に配備されてきている。このようなセンサデバイスを通じて取得されるセンサ情報は、我々の生活空間における様々な事物のモニタリングに活用され、安心・安全・快適な生活を守るために活用されている。
【０００３】
従来、マイクロフォンにより取得される信号から、当該マイクロフォンが存在する空間中の物体を自動的に認識しようとする技術が多く発明されてきた。
【０００４】
例えば、特許文献１には、空間中に存在する音源の位置を推定する音源定位装置が開示されている。反射性のよい材質を用いた反射板を備えたマイクロフォンアレイを伴う集音装置を構成することにより、拡散センシングの原理に基づいて精度の高い音源定位を実現している。
【０００５】
非特許文献１には、マイクロフォンにより収取された音が何の音であるかを認識する方法が開示されている。入力音から短時間スペクトログラムを抽出し、これを学習済みのニューラルネットワークに入力することで、その音源の種類を認識することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−９１０５１号公報
【非特許文献】
【０００７】
【非特許文献１】Ian McLoughlin, Haomin Zhang, Zhipeng Xie, Yan Song, and Wei Xiao. Robust Sound Event Classification Using Deep Neural Networks, IEEE/ACM Trans. Audio, Speech, and Language Processing, Vol. 23, No. 3, pp.540-552, 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記示したような従来の技術は、それぞれ空間中に存在する音源位置（特許文献１）や、音源の種類（非特許文献１）を認識することができる。
【０００９】
一方で、モニタリングへの応用を考えた場合、認識結果を人間が参照するような用途も少なくない。このような用途においては、認識結果は人間にとって視覚的に分かりやすいもの、すなわち、空間の様子を一目で見て取れるようなものであることが好ましいであろう。つまり、従来技術によって実現できるような、単に音源の位置やその種類を認識するだけでは不十分であり、その空間の“情景”を描写したような結果を出力できることが求められる。ここでいう情景とは、実際に人間の目を通してみた場合に見える空間の様子のことを表しており、特に本発明においては、当該空間に存在する物体の種類と形状・姿勢、及びその位置を含めた描写を指す。すなわち、求められる認識結果は、実際に人間の目で見た場合のように、「どのような種類の物体が、どのような形状・姿勢で、どこに存在しているのかを、図として描画したようなもの」である。
【００１０】
しかしながら、上記概観したように、これまでのところ空間にあるマイクロフォンによって収録された信号から、どのような種類の物体が、どのような形状・姿勢で、どこに存在しているのかを、図として出力できるような技術は実現されていないのが実情である。
【００１１】
本発明は、上記問題点を解決するために成されたものであり、マイクロフォンアレイが存在する空間中に、どのような種類の物体が、どのような形状・姿勢で、どこに存在しているのかを、図として描画した画像を生成することができる情景認識装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、第１の発明に係る情景認識装置は、一つ以上のマイクロフォンにより収取された信号から、当該マイクロフォンの存在する実空間に存在する物体の種類、位置、又は形状を視覚的に描画した画像を生成するための情景認識装置であって、前記信号の一部時間に相当する部分信号に対応する情景画像を取得する画像取得部と、前記情景画像の全体又は一部の画素の各々に対し、当該画素に写る物体を表す物体ラベルを割り当てることにより、物体ラベル画像を生成するラベリング部と、前記部分信号又は当該部分信号に対応する特徴量と、前記部分信号に対応する前記物体ラベル画像との組を一組以上生成する学習データ生成部と、前記生成された一組以上の、前記部分信号又は当該部分信号に対応する特徴量と、前記部分信号に対応する前記物体ラベル画像との組に基づいて、前記部分信号又は当該部分信号に対応する前記特徴量を入力として受け取る関数の出力が、前記入力された部分信号に対応する前記物体ラベル画像に近づくように、前記関数を学習する学習部と、を含んで構成されている。
【００１３】
第２の発明に係る情景認識装置は、第１の発明に係る情景認識装置において、前記マイクロフォンにより収取された信号が入力された場合に、前記学習部によって学習された前記関数に、前記信号又は当該信号に対応する前記特徴量を入力して、当該信号に対応する画像を出力する画像出力部を更に備えることを特徴とする。
【００１４】
第３の発明に係る情景認識装置は、第１の発明、第２の発明に係る情景認識装置において、関数がニューラルネットワークであり、前記学習部は、前記部分信号又は当該部分信号に対応する前記特徴量を入力とし、前記部分信号に対応する前記物体ラベル画像を正解出力とした誤差逆伝搬法により、前記ニューラルネットワークを学習することを特徴とする。
【００１５】
第４の発明に係る情景認識装置は、第１の発明〜第３の発明に係る情景認識装置において、ラベリング部が、前記情景画像に対して、セマンティックセグメンテーション処理を施し、前記物体ラベル画像を生成することを特徴とする。
【００１６】
第５の発明に係る情景認識装置は、一つ以上のマイクロフォンにより収取された信号から、当該マイクロフォンの存在する実空間に存在する物体の種類、位置、又は形状を視覚的に描画した画像を生成するための情景認識装置であって、前記マイクロフォンにより収取された信号が入力された場合に、前記信号の一部時間に相当する部分信号又は当該部分信号に対応する前記特徴量を入力として受け取る関数の出力が、前記入力された部分信号に対応する物体ラベル画像に近づくように予め学習された前記関数に、前記信号又は当該信号に対応する前記特徴量を入力して、当該信号に対応する画像を出力する画像出力部を含んで構成されている。
【００１７】
第６の発明に係る情景認識方法は、一つ以上のマイクロフォンにより収取された信号から、当該マイクロフォンの存在する実空間に存在する物体の種類、位置、又は形状を視覚的に描画した画像を生成するための情景認識装置における情景認識方法であって、画像取得部が、前記信号の一部時間に相当する部分信号に対応する情景画像を取得し、ラベリング部が、前記情景画像の全体又は一部の画素の各々に対し、当該画素に写る物体を表す物体ラベルを割り当てることにより、物体ラベル画像を生成し、学習データ生成部が、前記部分信号又は当該部分信号に対応する特徴量と、前記部分信号に対応する前記物体ラベル画像との組を一組以上生成し、学習部が、前記生成された一組以上の、前記部分信号又は当該部分信号に対応する特徴量と、前記部分信号に対応する前記物体ラベル画像との組に基づいて、前記部分信号又は当該部分信号に対応する前記特徴量を入力として受け取る関数の出力が、前記入力された部分信号に対応する前記物体ラベル画像に近づくように、前記関数を学習することを特徴とする。
【００１８】
第７の発明に係る情景認識方法は、一つ以上のマイクロフォンにより収取された信号から、当該マイクロフォンの存在する実空間に存在する物体の種類、位置、又は形状を視覚的に描画した画像を生成するための情景認識装置における情景認識方法であって、画像出力部が、前記マイクロフォンにより収取された信号が入力された場合に、前記信号の一部時間に相当する部分信号又は当該部分信号に対応する前記特徴量を入力として受け取る関数の出力が、前記入力された部分信号に対応する物体ラベル画像に近づくように予め学習された前記関数に、前記信号又は当該信号に対応する前記特徴量を入力して、当該信号に対応する画像を出力することを特徴とする。
【００１９】
また、第８の発明に係るプログラムは、コンピュータを、上記の発明に係る情景認識装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２０】
本発明の情景認識装置、方法、及びプログラムによれば、マイクロフォンアレイが存在する空間中に、どのような種類の物体が、どのような形状・姿勢で、どこに存在しているのかを、図として描画した画像を生成することができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態に係る情景認識装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る情景認識装置が認識処理のみを実行する場合の構成を示すブロック図である。
【図３】本発明の実施の形態に係る情景認識装置が学習処理及び認識処理を実行する場合の構成を示すブロック図である。
【図４】本発明の実施の形態に係る情景認識装置における学習処理の流れを示すフローチャートである。
【図５】本発明の実施の形態に係る情景認識装置における認識処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２３】
＜＜装置構成＞＞
以下、図面を参照して、本発明の一実施形態による情景認識装置について説明する。
【００２４】
図１は同実施形態の構成を示すブロック図である。同図に示す情景認識装置１００は、入力部１０１、画像取得部１０２、ラベリング部１０３、学習データ生成部１０４、学習部１０５、画像出力部１０６、及び記憶装置１１０を備える。なお、記憶装置１１０は、情景認識装置１００の内部にあっても外部にあっても構わないが、本実施形態においては内部に配する構成を採る。
【００２５】
情景認識装置１００は、演算処理装置、記憶装置等を備えたコンピュータやサーバ等により構成して、各処理部の処理がプログラムによって実行されるものとしてもよい。このプログラムは、情景認識装置１００が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現してもよい。
【００２６】
さらに、情景認識装置１００は、マイクロフォンアレイ１２０、カメラ１３０と通信手段を介して接続され、マイクロフォンアレイ１２０は入力部１０１と、カメラ１３０は画像取得部１０２を介して相互に情報通信する。なお、出力画像の情景認識精度を高めるため、好ましくはマイクロフォンアレイ１２０とカメラ１３０は、各マイクとカメラの位置関係において固定しておく。また、好ましくは空間中の相対位置、例えば、床からの高さなども固定されているか、既知となるようにする。
【００２７】
なお、後述するように、情景認識装置１００は、大別して学習処理と認識処理の２種類の処理を実行する。情景認識装置１００を構成する処理部のうち、画像取得部１０２、ラベリング部１０３、学習データ生成部１０４、学習部１０５、さらに、カメラ１３０は、学習処理のためにのみ利用する。学習処理は、認識処理に用いる関数を作成するために実行する処理であり、認識処理を実行する前に少なくとも一度実施しておけばよい。したがって、もし学習処理が実行済みで、学習済みの関数もしくはそのパラメータを記憶装置１１０に記憶できている前提の下、認識処理のみを実行できればよい用途においては、これらの処理部を除いた、図２のような構成を採っても構わない。
【００２８】
さらに詳細には、画像取得部１０２、ラベリング部１０３、学習データ生成部１０４の３つの処理部及びカメラ１３０は、関数を学習するための学習データの生成の目的にのみ利用される（処理詳細は後述する）。仮に、学習データが別の手段で準備できており、これらが記憶装置１１０に格納されているような場合には、これらの処理部は不要であるため、これらを除いた図３のような装置構成を採っても構わない。以降、最大構成となる図１の場合を例に、情景認識装置１００の構成について説明する。
【００２９】
続いて、各処理部の処理動作について説明する。
【００３０】
入力部１０１は、マイクロフォンアレイ１２０から信号を受け取り、各処理部へと出力する。どの処理部へと出力するかは、情景認識装置１００が学習処理を行うか、認識処理を行うかによって異なる。学習処理を行う場合には、学習データ生成部１０４へと信号を伝達し、認識処理を行う場合には画像出力部１０６へと伝達する。必要に応じて、マイクロフォンアレイ１２０から得た信号に時間窓を掛けて部分信号を抽出し、これを伝達しても構わない。さらに、信号あるいは部分信号から規定の特徴量を抽出し、信号の代わりにこれを各処理部へと伝達してもよい。
【００３１】
また、学習処理時に限り、入力部１０１はさらに、画像取得部１０２へと制御信号を送信し、画像取得処理を実行させる。この際、制御信号は、信号が収取されたタイミングと、制御信号を受けた画像取得部１０２によって画像が取得されるタイミングとの時間的同期精度を高めるため、信号取得と同時に送信することが好ましい。または、後述するように、時刻同期に必要な情報を制御信号に含めて送信してもよい。ある信号を取得した際に送信された制御信号をトリガとして取得された画像を、当該信号に対応する画像であると定義する。
【００３２】
画像取得部１０２は、入力部１０１から制御信号を受け取り動作する処理部である。制御信号を受け取ると、カメラ１３０を駆動させ、空間を撮影した画像（情景画像）を取得してラベリング部１０３に出力する。
【００３３】
ラベリング部１０３は、画像取得部１０２により撮影された情景画像の全体又は一部の画素の各々に対し、当該画素に写る物体を表す物体ラベルを割り当てて物体ラベル画像を生成し、学習データ生成部１０４に出力する。
【００３４】
学習データ生成部１０４は、入力部から受け取った信号（又は部分信号、特徴量）と、対応する画像を基に、ラベリング部１０３にて作成された物体ラベル画像との組を、一組以上、学習データとして記憶装置１１０に記憶する。
【００３５】
学習部１０５は、記憶装置１１０に記憶された学習データを基に、認識処理に用いる関数を学習し、学習した関数（そのパラメータ）を記憶装置１１０に記憶する。学習処理は、信号を引数として関数に入力した際の出力が、対応する物体ラベル画像と近しくなるように行う（処理詳細は後述する）。
【００３６】
画像出力部１０６は、認識処理に用いる処理部である。入力部１０１が受け取った信号（あるいは部分信号又は特徴量）を受け取り、記憶装置１１０から読み出した関数を用いて、出力画像１４０を出力する。
【００３７】
＜＜処理詳細＞＞
続いて、本発明の一実施形態による情景認識装置１００が実施する処理の詳細を説明する。
【００３８】
先述の通り、本発明の一実施形態による情景認識装置１００は、学習処理と認識処理の2種類の処理を実行する。
【００３９】
最初に、図４を参照して、学習処理について説明する。図４は、学習処理の動作を示すフローチャートである。学習処理は、実際に認識処理を実行する前に、少なくとも１度実施しておく処理である。
【００４０】
学習処理は、大きく学習データの生成と学習の2段階からなり、ステップＳ４０１〜Ｓ４０４が学習データの生成、ステップＳ４０５が、学習に相当する。学習データの生成に当たるステップＳ４０１〜Ｓ４０４は、十分な数の学習データが集まるまで繰り返し実行される。
【００４１】
ステップＳ４０１：入力部１０１がマイクロフォンアレイ１２０から信号を受け取る。
【００４２】
ステップＳ４０２：画像取得部１０２がカメラ１３０を駆動させ、空間を撮影した画像（情景画像）を取得する。
【００４３】
ステップＳ４０３：ラベリング部１０３が画像取得部１０２により撮影された情景画像の全体又は一部の画素の各々に対して、当該画素に写る物体を表す物体ラベルを割り当てて物体ラベル画像を生成する。
【００４４】
ステップＳ４０４：学習データ生成部１０４が信号（又は部分信号、特徴量）と対応する物体ラベル画像の組を学習データとし、記憶装置１１０に記憶する。
【００４５】
ステップＳ４０５：学習部１０５が、記憶装置１１０に記憶された学習データを基に、認識処理に用いる関数を学習し、学習した関数（そのパラメータ）を記憶装置１１０に記憶する。
【００４６】
以上の処理により、認識処理に必要な関数を生成し、記憶することができる。
【００４７】
次に、図５を参照して、認識処理の動作を説明する。図５は、認識処理の動作を示すフローチャートである。認識処理は、記憶装置１１０に格納された学習済みの関数を用い、入力部１０１を介して受けつけた信号から、出力画像１４０を出力する処理である。
【００４８】
ステップＳ５０１：入力部１０１がマイクロフォンアレイ１２０から信号を受け取る。
【００４９】
ステップＳ５０２：画像出力部１０６が、信号（あるいは部分信号又は特徴量）を受け取り、記憶装置１１０から読み出した関数を用いて、出力画像１４０を出力する。
【００５０】
以上の処理により、マイクロフォンアレイ１２０から取得した信号から、所望の画像を出力することができる。
【００５１】
以降、学習処理、認識処理それぞれについて、各処理ステップの処理詳細を説明する。
【００５２】
＜＜＜学習処理＞＞＞
始めに、学習処理について説明する。
【００５３】
まず、ステップＳ４０１について説明する。ステップＳ４０１では、マイクロフォンアレイ１２０から信号を得る。単純に信号を得るだけであればこれだけで十分だが、この信号は、認識に用いる関数への入力、すなわち、情景認識の際の入力として使われるものであるため、好ましくはより情景認識に適した形に信号を加工する。
【００５４】
例えば、時間的に精緻な情景認識結果を得るためには、時間的に不均質な長さの信号を用いるよりも、ある特定の時間幅の信号に着目した方がよい。このような要望に対応するには、一部時間幅における部分信号を抽出した方が好ましい。これは、例えば、信号を規定の時間、例えば100ミリ秒単位に分割することで実現することができる。もちろん、二つ以上の部分信号を抽出する際には、それらが互いに重複していても構わない。
【００５５】
また、例えば、信号自体はしばしば冗長であるため、好ましくは情景認識に役に立つ情報のみを抽出できることが好ましい。この要望に対応するため、信号（又は部分信号）そのものを得るのではなく、信号からある特徴量を抽出しても構わない。特に、情景認識においては、対象とする物体（音源）が何であるか、そして、その音源がどこに存在するかを捉えることのできる特徴量であることが好ましい。
【００５６】
このような要請に合った特徴量としては様々なものが存在し、任意の公知のものを用いることができるが、音源の種類の特定に向く特徴量としては、例えばスペクトログラムやメル周波数ケプストラム係数など、周波数特性を表現する特徴量が好ましい。
【００５７】
また、音源の位置を捉える特徴量としては、例えば参考文献１に記載の角度スペクトルを用いることができる。
【００５８】
［参考文献１］Charles Blandin, AlexeyOzerov, and EmmanuelVincent. Multi-source TDOA estimation in reverberant audio using angular spectra and clustering, Signal Processing, Vol. 92, pp. 1950-1960, 2012.
【００５９】
その他の特徴量として、音高特徴、音圧特徴、リズム特徴、発話特徴、音楽特徴などを抽出しても構わない。音高特徴は、例えばピッチを取るものとすればよく、下記の参考文献７に記載される方法などを用いて抽出することができる。音圧特徴としては、信号の振幅値を用いるものとしてもよいし、短時間パワースペクトルを求め、任意の帯域の平均パワーを計算して用いるものとしてもよい。
【００６０】
リズム特徴としては、例えばテンポを抽出すればよい。テンポを抽出するには、例えば下記の参考文献２に記載される方法などを用いることができる。
【００６１】
［参考文献２］Eric D. Scheirer, Tempo and Beat Analysis of Acoustic Musical Signals, Journal of Acoustic Society America, Vol. 103, Issue 1, pp. 588-601, 1998.
【００６２】
発話特徴、音楽特徴は、それぞれ、発話の有無、音楽の有無を表す。発話・音楽の存在する区間を発見するには、例えば下記の参考文献３に記載される方法などを用いればよい。
【００６３】
［参考文献３］Kenichi Minami, Akihito Akutsu, Hiroshi Hamada, and Yoshinobu Tonomura, Video Handling with Music and Speech Detection, IEEE Multimedia, Vol. 5, no. 3, pp. 17-25, 1998.
【００６４】
以上のように抽出した特徴量は、一つあるいは複数を利用してもよいし、その他の公知の特徴量を用いるものとしてもよい。
【００６５】
以上の処理によって、信号あるいは部分信号、または、それらから抽出した特徴量を得ることができる。以上がステップＳ４０１の処理詳細である。
【００６６】
続いて、ステップＳ４０２において、入力部１０１からの制御信号に基づいて画像取得部１０２がカメラ１３０を駆動させ、空間を撮影した画像（情景画像）を取得する。この制御信号は単純にカメラ１３０を駆動させるための信号であっても構わない。
【００６７】
一方、好ましくはマイクロフォンアレイ１２０により取得された信号、あるいは、部分信号と、カメラ１３０により撮影される画像は時刻的に可能な限り同期していることが好ましい。このことを鑑み、次のような構成を採っても構わない。
【００６８】
（１）カメラ１３０は常に一定時間間隔のフレームを取得しつづけ、画像取得部１０２にバッファリングする。
【００６９】
（２）入力部１０１からの制御信号には、信号の取得タイミング、あるいは、切り出した部分信号の位置に応じて、タイミング（オフセット）情報が格納されており、画像取得部１０２は、当該タイミング情報を参照して、取得された信号又は部分信号に時刻的に最も近いフレームを、バッファリングしたフレームから選び出す。
【００７０】
このような構成を採ることで、より時刻同期精度の高い対応を担保することが可能になる。
【００７１】
続いて、ステップＳ４０３において、ラベリング部１０３が画像取得部１０２により撮影された情景画像の全体又は一部の画素の各々に対して当該画素に写る物体を表す物体ラベルを割り当てて物体ラベル画像を生成する。
【００７２】
物体ラベル画像を生成するには、当然のことながら、入力された画像の中の、どのピクセルにどの物体が撮影されているかを知る必要がある。この処理は当然人手によって実施することも可能ではあるが、自動で生成される方が好ましいであろう。
【００７３】
このような処理は公知の物体検出技術、又は、セマンティックセグメンテーション技術を用いて実現することができる。前者の例としては参考文献４、後者の例としては参考文献５に記載の技術などがある。
【００７４】
［参考文献４］Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, Advances in Neural Information Processing Systems, pp. 91-99, 2015.
【００７５】
[参考文献５] Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully Convolutional Networks for Semantic Segmentation, In Proc. Computer Vision and Pattern Recognition, pp. 3431-3440, 2015.
【００７６】
好ましくは、セマンティックセグメンテーション技術を用いる。物体検出技術に比べ、画素単位での精細なラベリング画像を得ることができるためである。
【００７７】
なお、いずれの種類の技術を用いた場合でも、各画像の部分領域、又は、画素にどのような物体が写っているかを認識するための、学習済みの画像認識モデルが必要である。このようなモデルは、例えば参考文献５に記載の、ＩｍａｇｅＮｅｔやＰａｓｃａｌＶＯＣと呼ばれる画像データを基に学習した畳み込みニューラルネットワークモデルを利用することができる。
【００７８】
続いて、ステップＳ４０４では、学習データ生成部１０４が信号（又は部分信号、特徴量）と対応する物体ラベル画像の組を、一組以上、学習データとし、記憶装置１１０に記憶する。
【００７９】
最後に、ステップＳ４０５では、学習部１０５が、記憶装置１１０に記憶された学習データを基に、認識処理に用いる関数を学習し、学習した関数（そのパラメータ）を記憶装置１１０に記憶する。
【００８０】
ここで、関数としては様々な公知のものを用いることができるが、好ましくはニューラルネットワークを用いる。ニューラルネットワークを用いる利点として下記のような点があり、本発明の要件において好適である。
【００８１】
（１）全結合層や畳み込み層を入力層に用いることで、ベクトルやテンソルなど、様々な形式の入力を扱うことができる。結果として、ベクトルと見做せるような信号（振幅系列）だけでなく、先に示したような特徴量も入力として得ることが可能である。
【００８２】
（２）出力として物体ラベル画像そのものを出力することが可能である。特に、参考文献５に記載の畳み込み層と逆畳み込み層（upconvolution layer / deconvolution layer）を用いることにより、容易に実現できる。
【００８３】
（３）参考文献４、参考文献５などに記載されているように、全結合層、畳み込み層、プーリング層など、微分可能の層の組み合わせによって構成されているニューラルネットワークであれば、入出力データの組が与えられていれば、誤差逆伝搬法によって最適なパラメータを学習可能である。特に物体ラベル画像を出力として得たい場合には、損失関数としてソフトマックスクロスエントロピーを用いる。
【００８４】
ニューラルネットワークの構成は、上記（１）〜（３）の条件を満たす限り任意のものを用いてよいが、好ましくは複数の畳み込み層と逆畳み込み層を用い、全結合層を少数に抑えて構成することにより、学習が必要なパラメータの数を減少させつつ、精度の高い画像を出力できる。
【００８５】
このように学習されたニューラルネットワークは、マイクロフォンアレイ１２０から入力された信号（又は部分信号、特徴量）を引数として受け取った時、当該信号と時刻同期してカメラ１３０から取得された画像に対応する物体ラベル画像を推定することができる関数となる。
【００８６】
すなわち、認識処理において、入力信号から、その時刻その空間において、カメラ１３０で見たときに視認可能な物体の位置、形状、又は種類を描画した画像を出力することができる。
【００８７】
以上の処理により、認識処理に必要な関数を学習し、これを記憶装置１１０に記憶することができる。
【００８８】
＜＜＜認識処理＞＞＞
続いて、認識処理について説明する。認識処理におけるステップＳ５０１の処理は、ステップＳ４０１の処理と同様であるためここでの説明は省略し、ステップＳ５０２の処理についてのみ説明する。
【００８９】
ステップＳ５０２では、画像出力部１０６が、信号（あるいは部分信号又は特徴量）を受け取り、記憶装置１１０から読み出した関数を用いて、出力画像１４０を出力する。
【００９０】
先述の学習処理によって、既に記憶装置１１０には学習済みの関数が格納されている。したがって、学習時に入力した形式と同様の入力信号（又は部分信号、特徴量）が入力されれば、出力として、当該入力信号が取得された時刻、その空間において、カメラ１３０で見たときに視認可能な物体の位置、形状、又は種類を描画した画像を出力することができる。
【００９１】
以上の処理により、入力信号から、その空間の情景を描写した出力画像１４０を得ることができるのである。
【００９２】
以上説明したように、本発明の実施の形態に係る情景認識装置によれば、マイクロフォンアレイにより収音された信号を解析することにより、当該空間中に、どのような種類の物体が、どのような形状・姿勢で、どこに存在しているのかを、描画した画像を生成し、出力することができる。
【００９３】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００９４】
先に説明した本発明の実施形態の一例を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【００９５】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００９６】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００９７】
マイクロフォンアレイによって周囲の状況をモニタリングする用途に適用できる。より具体的には、人物のカウント・監視、災害現場での要救助者発見、対話ロボットへの応用などが期待できる。空間の情景を認識するという目的においては、カメラで撮影した画像により、当該空間に存在する物体を認識する手段によっても実現できることが想定されるが、実空間、特に公共空間にカメラを設置する際には、カメラで撮影されることに対する被写体への心理的負荷などを考慮する必要がある場合もある。本技術によれば、マイクロフォンにより収取される信号のみから情景認識を実現できるため、少なくとも撮影されることに対する心理的負荷の影響を受けにくいという効果もある。
【符号の説明】
【００９８】
１００ 情景認識装置
１０１ 入力部
１０２ 画像取得部
１０３ ラベリング部
１０４ 学習データ生成部
１０５ 学習部
１０６ 画像出力部
１１０ 記憶装置
１２０ マイクロフォンアレイ
１３０ カメラ
１４０ 出力画像
【図１】
2019029754.tif 000003
【図２】
2019029754.tif 000004
【図３】
2019029754.tif 000005
【図４】
2019029754.tif 000006
【図５】
2019029754.tif 000007