(57)【要約】【課題】本発明は、音源をモニタリングする音源モニタリング装置に関し、音源を容易に特定する。【解決手段】人の目先に置かれ透視した視界に重なる画像を表示するグラスモニタと、  グラスモニタに対する固定位置に置かれグラスモニタを透視して得られる視界内から発せられた音を捉えて音信号を生成する音センサと、  上記の音信号に基づいて視界内の音源を同定する音源同定部と、  グラスモニタ上の、そのグラスモニタを透視して得られる視界上の音源に重なる位置に、音源を表わす画像を表示する音源表示部とを備えた。【選択図】        図２
2011163776.tif 000002
【特許請求の範囲】
【請求項１】
人の目先に置かれ透視した視界に重なる画像を表示するグラスモニタと、
前記グラスモニタに対する固定位置に置かれ前記グラスモニタを透視して得られる視界内から発せられた音を捉えて音信号を生成する音センサと、
前記音信号に基づいて前記視界内の音源を同定する音源同定部と、
前記グラスモニタ上の、該グラスモニタを透視して得られる視界上の音源に重なる位置に、音源を表わす画像を表示する音源表示部とを備えたことを特徴とする音源モニタリング装置。
【請求項２】
前記音源同定部が、複数の音源がある場合に、前記音信号に基づいて該複数の音源を同定するものであり、
前記音源表示部が、前記グラスモニタ上の、該グラスモニタを透視して得られる視界上の前記複数の音源それぞれに重なる各位置に該複数の音源それぞれを表わす各画像を表示するものであることを特徴とする請求項１記載の音源モニタリング装置。
【請求項３】
人の目先に置かれ画像を表示するグラスモニタと、
前記グラスモニタに対する固定位置に置かれ人が顔を向けた前方の視界を捉えて画像信号を生成するカメラと、
前記グラスモニタに対する固定位置に置かれ前記カメラで捉えた視界内から発せられた音を捉えて音信号を生成する音センサと、
前記音信号に基づいて前記視界内の音源を同定する音源同定部と、
前記グラスモニタ上に、前記画像信号に基づく画像に、該画像上の音源に重なる位置に音源を表わす画像を重畳した画像を表示する画像表示部とを備えたことを特徴とする音源モニタリング装置。
【請求項４】
前記音源同定部が、複数の音源がある場合に、前記音信号に基づいて該複数の音源を同定するものであり、
前記音源表示部が、前記グラスモニタ上に、前記画像信号に基づく画像に、該画像上の前記複数の音源それぞれに重なる各位置に該複数の音源それぞれを表わす各画像を重畳した画像を表示するものであることを特徴とする請求項３記載の音源モニタリング装置。
【請求項５】
前記音センサが、前記グラスモニタに対する各固定位置であって互いに離れた位置に置かれた複数の音センサからなり、
前記音源同定部が、前記複数の音センサで得られた複数の音信号に基づくビームフォーミング演算により音源を同定するものであることを特徴とする請求項１から４いずれか１項記載の音源モニタリング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源をモニタリングする音源モニタリング装置に関する。
【背景技術】
【０００２】
様々な分野で、どこで音が発生しているかなど、音源位置を正しく同定することが行なわれている。例えば様々な設備や装置で異常音が聞こえる場合に、その異常音の発生源を特定して故障を未然に防止することなどが求められている。ところが音は、人間の耳で聞いているだけでは音の発生源を特定するのはかなり困難である。音の周波数によっては、音は聞こえても音の発生源の方向すらよく分らないことも多い。また、超音波の場合は音そのものを聞くことができない。また、例えば、設備や装置によっては、稼動開始の初期段階だけ聞こえ、設備等が稼動により暖まってくると聞えなくなるといった場面も存在し、音はなかなか捉えにくい。
【０００３】
音源を特定するための大がかりな装置を構築して音源を正確に捉えることも考えられるが、簡易に携行して音源を容易に特定することが求められている。
【０００４】
ここで、特許文献１には、集音装置（マイク）で集音した音声データをテキストデータに変換し、文字として表示するヘッドアップディスプレイ装置が示されており、具体的には明らかでないが、音源の発生位置あるいは方向を表示すると記載されている。
【０００５】
また、特許文献２には、原子力プラントにおける漏洩を監視する漏洩監視装置において、複数の音センサの信号からビームフォーミング演算によって音源の場所を特定する技術が示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−１２３４５０号公報
【特許文献２】特開平０７−１１０３９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１のヘッドアップディスプレイ装置では、視界と、音源の位置・方向との関連がないため、例えば、装着者が話者（音源）の方向を向いたか否かを知る程度のことはできるとしても、音源を正確に捉えることは困難である。また、特許文献２には視界について示されておらず、音のみを頼りにする場所の特定は困難である。
【０００８】
本発明は、上記事情に鑑み、音源を容易に特定することのできる音源モニタリング装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成する本発明の音源モニタリング装置のうちの第１の音源モニタリング装置は、
人の目先に置かれ透視した視界に重なる画像を表示するグラスモニタと、
グラスモニタに対する固定位置に置かれグラスモニタを透視して得られる視界内から発せられた音を捉えて音信号を生成する音センサと、
上記の音信号に基づいて視界内の音源を同定する音源同定部と、
グラスモニタ上の、そのグラスモニタを透視して得られる視界上の音源に重なる位置に、音源を表わす画像を表示する音源表示部とを備えたことを特徴とする。
【００１０】
本発明の第１の音源モニタリング装置では、グラスモニタと音センサを備え、その音センサで得られた音信号に基づいて音源を同定し、その同定した音源を表わす画像を、グラスモニタ上の、そのグラスモニタを透視して得られる視界上の音源に重なる位置に表示するものであり、グラスモニタを透視して見えている視界に重なって音源を表わす画像が見え、音源を容易に知ることができる。
【００１１】
ここで、上記第１の音源モニタリング装置において、
上記音源同定部が、複数の音源がある場合に、上記音信号に基づいてこの複数の音源を同定するものであり、
上記音源表示部が、上記グラスモニタ上の、このグラスモニタを透視して得られる視界上の上記複数の音源それぞれに重なる各位置にこの複数の音源それぞれを表わす各画像を表示するものであることが好ましい。
【００１２】
複数の音源を同定して表示することによって、視界内に複数の音源がある場合にも、これら複数の音源を同時に知ることができる。
【００１３】
また、本発明の音源モニタリング装置のうちの第２の音源モニタリング装置は、
人の目先に置かれ画像を表示するグラスモニタと、
前記グラスモニタに対する固定位置に置かれ人が顔を向けた前方の視界を捉えて画像信号を生成するカメラと、
上記のグラスモニタに対する固定位置に置かれカメラで捉えた視界内から発せられた音を捉えて音信号を生成する音センサと、
上記の音信号に基づいて視界内の音源を同定する音源同定部と、
グラスモニタ上に、上記の画像信号に基づく画像に、その画像上の音源に重なる位置に音源を表わす画像を重畳した画像を表示する画像表示部とを備えたことを特徴とする。
【００１４】
本発明の第２の音源モニタリング装置のグラスモニタは、目で視界を直接視認することはできないが、上記のカメラを備えており、第１の音源モニタリング装置と同様、カメラで捉えた視界上に音源を表わす画像が見え、音源を容易に知ることができる。
【００１５】
ここで、上記第２の音源モニタリング装置において、
上記音源同定部が、複数の音源がある場合に、上記音信号に基づいてこの複数の音源を同定するものであり、
上記音源表示部が、上記グラスモニタ上に、上記画像信号に基づく画像に、この画像上の上記複数の音源それぞれに重なる各位置にこの複数の音源それぞれを表わす各画像を重畳した画像を表示するものであることが好ましい。
【００１６】
第２の音源モニタリング装置においても、複数の音源を同定し、画像信号に基づく画像に音源それぞれを表わす各画像を重畳した画像を表示することによって、これら複数の音源を同時に知ることができる。
【００１７】
また、上記第１の音源モニタリング装置および第２の音源モニタリング装置のいずれにおいても、
上記音センサが、グラスモニタに対する各固定位置であって互いに離れた位置に置かれた複数の音センサからなり、
上記音源同定部が、複数の音センサで得られた複数の音信号に基づくビームフォーミング演算により音源を同定するものであることが好ましい。
【００１８】
ビームフォーミング演算を採用すると複数の音センサが必要であるが、それらの音センサをグラスモニタに対し固定した状態で音源を計測することができる。また、音センサは極めて小型のものもあり、スペース上の制約も少ない。
【００１９】
ただし、ビームフォーミング演算を採用せずに、指向性の強い音センサを機械的にスキャニングさせて、あるいは、指向性の強い音センサを視界内の各方向に向けて配列して、音源を同定してもよい。
【発明の効果】
【００２０】
本発明の音源モニタリング装置によれば、グラスモニタを装着して人が向いた方向の音源を視認することができ、音源を容易に特定することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態としての音源モニタリング装置の外観斜視図である。
【図２】図１に示す音源モニタリング装置を装着した状態を示す図である。
【図３】図１，図２に示す音源モニタリング装置の信号処理部を示すブロック図である。
【図４】ビームフォーミングの原理説明図である。
【図５】ビームフォーミングの原理説明図である。
【図６】図１，図２に示すグラスモニタを透して見える視界とその視界上に重畳された音源位置を表わすマークの一例を示す図である。
【図７】本発明の第２実施形態の音源モニタリング装置の装着状態を示す図である。
【図８】図７に示す第２実施形態の音源モニタリング装置の全容を示した模式図である。
【発明を実施するための形態】
【００２２】
以下本発明の実施形態について説明する。
【００２３】
図１は、本発明の一実施形態としての音源モニタリング装置の外観斜視図、図２は、図１に示す音源モニタリング装置を装着した状態を示す図である。
【００２４】
図１に示す音源モニタリング装置１０は、図２に示すようにヘッドホンと同様にして装着部１１を頭部に装着し、さらにグラスモニタ１２を右目の目先に配置して使用される。グラスモニタ１２は、装着部１１に固定されている。ただし、装着部１１を頭部に装着した状態でグラスモニタ１２が右目の目先に正しく位置するように微調機構を設けておくことが望ましい。グラスモニタ１２は、画像を表示するとともに、そのグラスモニタを透かして視界を目で見ることができる構造のものである。そのグラスモニタ１２の４隅それぞれには小型の音センサ１３が備えられており、装着者が向いた方向、すなわち装着者の視界内から発せられた音がピックアップされる。
【００２５】
さらに、この音源モニタリング装置１０は、操作部１４を備えており、操作部１４には、音源同定のための音の周波数を選択する周波数選択ダイヤル１５と、グラスモニタ１２上に表示する音源を現す画像の濃淡を調整する濃淡調整ダイヤル１６が備えられている。
【００２６】
図３は、図１，図２に示す音源モニタリング装置の信号処理部を示すブロック図である。この信号処理部２０は、本発明にいう音源同定部および音源表示部の一例である。
【００２７】
４つの音センサ１３それぞれで得られた音信号は、Ａ／Ｄ変換器２１に入力されてそれぞれがデジタルの音信号に変換される。そのデジタルの音信号は、フィルタ２２に入力される。このフィルタ２２は、周波数選択ダイヤル１５で選択された周波数に応じた周波数を中心周波数とする、その中心周波数に適合した周波数帯域内の信号成分を抽出するバンドバスフィルタである。このフィルタ２２により装着者所望の周波数帯域の音を発している音源を探査することができる。
【００２８】
フィルタ２２で抽出された信号成分（ここでは、この抽出された信号成分も音信号と称する）はビームフォーミング部２３に入力される。このビームフォーミング部２３では、ビームフォーミング演算が行なわれ、音源位置が同定される。ビームフォーミング演算については後述する。
【００２９】
ビームフォーミング部２３で得られた音源位置情報は、画像生成部２４に入力される。この画像生成部２４では、グラスモニタ１２上に表示する音源を表わす画像を生成してその画像をグラスモニタ１２上に表示させる。この画像生成部２４では、音源の画像を生成するにあたり、濃淡調整ダイヤルからの情報に応じた濃度の画像を生成する。ここで、この画像生成部２４では、グラスモニタ１２の全面に亘る音圧分布を濃淡あるいは色で表わす画像を生成してもよく、あるいは、特異的に音が集中している点のみをスポット的に表示してもよい。また、スポット的に表示する場合、音が集中している点が複数のときには、これら複数の点のそれぞれをスポット的に表示してもよい。
【００３０】
図４，図５は、ビームフォーミングの原理説明図である。ここでは原理説明のために、５つの音センサ１３が一直線上に並んで１つのセンサアレイ２５を構成しているものとして説明する。ただし、２つ以上の音センサがあれば同じ原理が成り立つ。
【００３１】
図４に示すように、音源２６がこのセンサアレイ２５の正面に存在するときは、各音センサ１３で受音して得られる音信号をそのまま加算器２７で加算することにより、図４に示したように正面の音源２６について強く反応した音信号（Ａ）が得られる。
【００３２】
一方、図５に示すように音源２６が斜めの位置に存在するときは、各音センサ１３で得られた音信号を図４のようにそのまま加算すると、図５に示す音信号（Ｂ）のように減衰した信号となってしまう。この斜めの位置にある音源２６に強く反応した音信号を得るためには、各音センサ１３に音が届く遅延分を補償する遅延器２８を置き、各音センサ１３で受音して得られた音信号を各遅延器２８で遅延させてから互いに加算する。各遅延器２８における遅延時間は、例えば図５の一番上に示す遅延器２８Ａの場合、音が（ｄ１−ｄ２）の距離だけ進むのに要する時間と同じ時間である。他の遅延器２８についても同様である。このようにして各音センサ１３で得られた音信号をそれぞれ遅延させてから互いに加算すると、図５のように斜めの位置にある音源２６に強く反応した音信号（図４に示す音信号（Ａ）を参照）を得ることができる。この複数の遅延器２８による遅延パターンを様々に調整すると、様々な位置にある音源に強く反応した音信号を得ることができ、音源が存在する方向を知ることができる。また、そのときの音信号のレベルから音圧を求めることができる。また、遅延パターンを様々に調整していくことで、音源が複数存在する場合にも、これらの複数の音源のそれぞれが存在する方向を知ることができる。尚、ここでは複数の音センサ１３が一直線上に並ぶ例について説明したが、図１，図２に示すように音センサ１３が二次元的に広がる面上に配置されていれば、同様の演算により音源位置の二次元的な方向を知ることができる。
【００３３】
図６は、図１，図２に示すグラスモニタを透して見える視界とその視界上に重畳された音源位置を表わす画像（マーク）の一例を示す図である。
【００３４】
ここに示す例では、グラスモニタ１２を透して自動車が見えており、グラスモニタ１２上には、自動車の２つの音源部分に重なるように音源を表わす２つのマーク３２が表示されている。
【００３５】
上記の実施形態によれば、図６に示すようにグラスモニタ１２を透して観察している視界内の音源に重なる位置に音源を表わす画像が表示され、簡易に、かつ耳で聞くよりも高精度に音源位置を知ることができる。
【００３６】
図７は、本発明の第２実施形態の音源モニタリング装置の装着状態を示す図である。この図７は、前述した第１実施形態における図２に相当する図である。
【００３７】
図７に示す音源モニタリング装置５０は、装着部５１とグラスモニタ５２を備えている。このグラスモニタ５２は、右目の目先に置かれるが、グラスモニタ５２を透かして視界を視認することはできず、右目では、そのグラスモニタ５２上に表示された画像を見ることのみ可能である。
【００３８】
また、ここには、ビデオカメラ５７と、そのビデオカメラ５７の周囲に複数（ここに示す例では４つ）の音センサ５３が示されている。ビデオカメラ５７は、装着者が顔を向けた前方の視界を捉えて画像信号を生成するものである。また、複数の音センサ５３は、ビデオカメラ５７で捉えた視界内から発せられる音を捉えて音信号を生成するものである。尚、この図７に示す音源モニタリング装置５０には、図１，図２に示す音源モニタリング装置１０に備えられていたような操作部は設けられていない。
【００３９】
図８は、図７に示す第２実施形態の音源モニタリング装置５０の全容を示した模式図である。ここでは、グラスモニタと、ビデオカメラおよび音センサは別々に模式的に示されている。
【００４０】
ビデオカメラ５７で捉えた視界を表わす画像信号および各音センサ５３で得られた音信号は、入力装置５８に入力されデジタル信号に変換されてパーソナルコンピュータ(以下「ＰＣ」と略記する)５９に入力される。ＰＣ５９内では、図３に示すフィルタ２２、ビームフォーミング部２３、および画像生成部２４と同様の演算が行なわれる。ただし、ここでは、入力装置５８から入力されてきた音信号からＰＣ５９のキーボード操作等により設定された帯域の周波数成分が抽出され、また、画像生成にあたってはビームフォーミング演算により得られた音源位置を表わすマークをビデオカメラ５７で捉えた視界に重畳した画像信号が生成される。音源位置を表わすマークの濃淡はＰＣ５９のキーボード操作等により設定される。生成された画像信号は、グラスモニタ５２に送られて、グラスモニタ５２上には、その画像信号に基づく画像、すなわち、ビデオカメラ５７で捉えた視界に音源位置を表わすマークが重畳された画像が表示され、装着者の右目で視認される。視界内の音源が複数存在する場合には、画像信号に基づく画像に、複数のマークが重畳された画像が表示される。
【００４１】
また、この第２実施形態の音源モニタリング装置５０では、ビデオカメラ５７で捉えた画像や同定された音源位置を表わす情報はＰＣ５９内に記憶され、後の分析に用いられる。すなわち、この第２実施形態の音源モニタリング装置５０は、グラスモニタ５３を用いてその場で音源位置を認識することができ、モニタリングが終了した後においても、例えば音の発生と装置の動作タイミングとの一致／不一致や、その他様々な詳細な分析に用いることができる。
【００４２】
尚、ここでは複数の音センサを用いたビームフォーミング演算により音源の同定を行なっているが、本発明では必ずしもビームフォーミング演算を採用する必要はない。例えば指向性の強いマイクロホンとそのマイクロホンを順次視界内の各方向に向けるスキャニング機構を備え、マイクロホンが音を強く捉えた方向に音源があるものとしてもよく、あるいは各マイクロホンで視界内の各点から発した音を捉えるように向きを調整した指向性の強い複数のマイクロホンを並べて配置してもよい。
【００４３】
また、上記の各実施形態では音源を目で見ることについて説明したが、それに加え、音源モニタリング装置にヘッドホンの機能を付加し、音センサで捉えた音を耳で聞くことができるようにしてもよい。
【００４４】
また、上記の各実施形態では、自動車の２つの音源部分に重なるように音源を表わす２つのマークが表示されている場合について説明したが、このように音源を表わすマークが音源の数だけ表示されるだけでなく、例えば、複数の音源のうち、最大の音圧が検出された音源を表わすマークのみが表示されるようにしてもよい。ただし、複数の音源を表わす複数のマークを表示することで、これら複数の音源を同時に知らせることができる。
【符号の説明】
【００４５】
１０，５０    音源モニタリング装置
１１，５１    装着部
１２，５２    グラスモニタ
１３，５３    音センサ
１４    操作部
１５    周波数選択ダイヤル
１６    濃淡調整ダイヤル
２１    Ａ／Ｄ変換器
２２    フィルタ
２３    ビームフォーミング部
２４    画像生成部
２５    センサアレイ
２６    音源
２７    加算器
２８    遅延器
３２    マーク
５７    ビデオカメラ
５８    入力装置
５９    ＰＣ
【図１】
2011163776.tif 000003
【図２】
2011163776.tif 000004
【図３】
2011163776.tif 000005
【図４】
2011163776.tif 000006
【図５】
2011163776.tif 000007
【図６】
2011163776.tif 000008
【図７】
2011163776.tif 000009
【図８】
2011163776.tif 000010