(57)【要約】【課題】音情報を視覚化する発光装置を用いた音源定位推定システムを提供する。【解決手段】音情報を視覚化する発光装置を用いた音源定位推定システムであって、フィールド３０内の音源１，２からの音声を入力するマイクと該マイクで入力した音声に基づいて発光する発光手段とを備えた発光装置４０と、発光装置４０の発光情報を生成する生成部と、生成部からの発光情報に基づいて音源位置を判断する音源定位部６０と、を有する。【選択図】図１
2010133964.tif 000002
【特許請求の範囲】
【請求項１】
音源からの音声を入力するマイクと該マイクで入力した音声に基づいて発光する発光手段とを備えた発光装置と、
上記発光装置の発光情報を生成する生成部と、
上記生成部からの発光情報に基づいて音源位置を判断する音源定位部と、を有することを特徴とする、音源位置推定システム。
【請求項２】
前記音源定位部は、前記発光装置から所定値の距離以内である領域に音源の存在を示す尤度値を設定する尤度値設定手段と、該尤度値に基づいてラベルをつけるラベリング手段とを有し、上記ラベルの重心位置を音源位置と推定することを特徴とする、請求項１に記載の音源位置推定システム。
【請求項３】
前記音源定位部は、前記尤度値の時間推移の周期性に基づいて音源位置を推定することを特徴とする、請求項２に記載の音源位置推定システム。
【請求項４】
撮像部と、上記撮像部によって撮影されるフィールドに分散して配置された複数の発光装置と、音源定位部と、を備え、
上記発光装置は上記フィールド内の音源からの音声を入力するマイクと該マイクで入力した音声に基づいて発光する発光手段とを備え、
上記フィールド内で、音源から音が発せられた場合、当該音源近傍に配設されている複数の発光装置が発光し、発光した複数の発光装置が上記撮像部によって撮影された画像に基づいて音源定位部が音源位置を定位する、音源位置推定システム。
【請求項５】
少なくとも一対の撮像部と、これらの撮像部によって撮影されるフィールドの周囲に分散して配置された複数の発光装置と、画像構成部と、音源定位部と、を備え、
音源から音が発せられた場合、当該音源近傍に配設されている複数の発光装置が発光し、発光した複数の発光装置が上記撮像部によって撮影され、上記撮像部で作成された画像に基づいて上記画像構成部が俯瞰図を構成し、上記俯瞰図に基づいて音源定位部が音源位置を定位する、音源位置推定システム。
【請求項６】
前記複数の発光装置が前記フィールドの周囲に等間隔に配置されている、請求項５に記載の音源位置推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音に反応して発光する発光装置を用いた音源定位に関する音源位置推定システムに関するものである。以下、発光装置をカエルホタルと呼ぶ場合があり、音源位置推定システムを音源ホタルシステムと呼ぶ場合がある。
【背景技術】
【０００２】
特許文献１には入力音のレベルに応じて発光する装置やそれを撮影する手段を有するシステムが提示されている。
また、音声データの研究としてニホンアマガエル（以下、カエルと呼称する）を対象として、鳴き声のコミュニケーションのモデル化が研究されている（非特許文献１）。このような鳴き声をモデル化する研究では、従来、室内を観察場所として狭い場所に存在するカエルの音声データを研究対象としていた。このような研究において、屋外のフィールドでのカエルの振る舞いをモデル化するには、カエルのフィールドでの定位が必須である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４２９６６号公報
【非特許文献】
【０００４】
【非特許文献１】合原一究，武田龍，水本武志，高橋徹，奥乃博，ニホンアマガエル３匹の同期した発声行動に関する数理的・実験的研究．第５回「生物数学の理論とその応用」、２００９．
【非特許文献２】平岡修宜，荒井修亮，中村憲司，坂本亘，三田村啓理，光永靖，米田佳弘、超音波バイオテレメトリーを用いたスズキの移動と回遊の記録．日本水産学会誌，Vol. 69, No. 6, pp. 910.916, 2003.
【非特許文献３】荒井修亮．ようこそ，バイオロギングサイエンスへ！（水産研究のフロントから）．日本水産学会誌， Vol. 72, No. 4, p. 752, 2006.
【非特許文献４】香田啓貴，親川千紗子．インドネシア・スマトラ島におけるアジルテナガザルの生息実態調査−音声を手がかりとして．霊長類研究,Vol. 22, pp. 117.122, 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１は装置の設置された箇所での音圧を測定するものであり、音源の位置を表示するものではない。
また、カエルの音声データを研究において、一般的に野生生物の定位に用いられている、目視による方法や無線発信器を装着するラジオテレメトリー法（非特許文献２，３）の適用は困難である。カエルは水田の淵に隠れていることが多く、体長は３〜４ｃｍと小さく装着が困難だからである。また、鳴き声に基づく生物の定位は人が耳で行っていた（非特許文献４）、我々の対象であるカエルは個体数が多いので適用できない。また、そもそも、従来の音源定位手法は、室内環境を対象にしたものが多く、フィールドへの適用には次の問題（１）、（２）がある。
（１）対象範囲がはるかに広い。
（２）未知雑音原が無数に存在する。
よって、フィールドでは音情報のみからの音源定位は困難である。
【０００６】
本発明は、そのような問題を解決するために、音情報を視覚化する発光装置を用いた音源定位推定システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の音源位置推定システムは、音源からの音声を入力するマイクと該マイクで入力した音声に基づいて発光する発光手段とを備えた発光装置と、上記発光装置の発光情報を生成する生成部と、上記生成部からの発光情報に基づいて音源位置を判断する音源定位部と、を有することを特徴とする。
【０００８】
本発明の音源位置推定システムにおいて、好ましくは、音源定位部は、前記発光装置から所定値の距離以内である領域に音源の存在可能性を示す尤度値を設定する尤度値設定手段と、該尤度値に基づいてラベルをつけるラベリング手段とを有し、上記ラベルの重心位置を音源位置と推定することを特徴としている。音源定位部は、尤度値の時間推移の周期性に基づいて音源位置を推定する。
上記目的を達成するために、本発明の音源位置推定システムは、カメラなどの撮像部と、撮像部によって撮影されるフィールドに分散して配置された複数の発光装置と、音源定位部と、を備え、発光装置はフィールド内の音源からの音声を入力するマイクと該マイクで入力した音声に基づいて発光する発光手段とを備え、フィールド内で、音源から音が発せられた場合、当該音源近傍に配設されている複数の発光装置が発光し、発光した複数の発光装置が撮像部によって撮影された画像に基づいて音源定位部が音源位置を定位する。
上記目的を達成するために、本発明の音源位置推定システムは、少なくとも一対の撮像部と、これらの撮像部によって撮影されるフィールドの周囲に分散して配置された複数の発光装置と、画像構成部と、音源定位部と、を備え、音源から音が発せられた場合、当該音源近傍に配設されている複数の発光装置が発光し、発光した複数の発光装置が撮像部によって撮影され、撮像部で作成された画像に基づいて画像構成部が俯瞰図を構成し、俯瞰図に基づいて音源定位部が音源位置を定位する。本発明の音源位置推定システムにおいて、好ましくは、複数の発光装置がフィールドの周囲に等間隔に配置されている。
【発明の効果】
【０００９】
本発明によれば、発光装置による音声の視覚情報へのモダリティ変換と、視覚情報に基づいて音源定位を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る音源定位システムの概略図である。
【図２】本発明の実施形態に係る発光装置のブロック図である。
【図３】本発明の実施形態に係る音源定位システムにおける音源定位手法を示すフローチャートである。
【図４】本発明の第１実施例に係る音源定位システムの概略図である。
【図５】本発明の第１実施例に係る音源定位手法をシミュレーションした状況を示す図である。
【図６】本発明の第１実施例に係る音源定位手法をシミュレーションした結果を示す図である。
【図７】本発明の第２実施例に係る音源定位システムの概略図である。
【図８】本発明の第３実施例に係る音源定位システムの概略図である。
【図９】本発明の第４実施例に係る音源定位システムの概略図である。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて本発明の実施形態について説明する。
図１は本発明の実施形態に係る音源位置推定システム１００を示す。この音源位置推定システム１００は、撮像部２０と、複数の発光装置４０と、３次元画像構成部５０と、音源定位部６０と、を備えている。
【００１２】
発光装置４０は、具体的には、図２に示すように、防水マイク４１と、増幅回路４２と、全波整流回路４３と、ＬＥＤ４４と、チューニングボリューム４５と、を備えている。この発光装置４０によれば、マイク入力を増幅回路４２で増幅し、全波整流してＬＥＤ４４に渡す。
ここで、音源の数をＦ、音源の座標をFi=(xi(f),yi(f)),(i=0・・・Ｆ−１)とし、発光装置４０の個数をＬ、発光装置４０の座標をli=(xj(l),yj(l)),(j=0・・・L−１)、感度をｓｊ、発光装置４０の明滅を表す変数をeｊとする。すべての発光装置４０のlｊについて、式１に示すように、最近傍の音源との距離が感度ｓｊより小さければその発光装置は点灯する。
【数１】
2010133964.tif 000003
ただし、距離は、次式（２）に示すように、ユークリッド距離とした。
【数２】
2010133964.tif 000004
【００１３】
３次元画像構成部５０は、発光装置４０の発光情報を生成する生成部としての発行情報生成手段５１を有する。発行情報生成手段５１は、例えば一対の撮像部２０によって撮像された撮像画像から３次元画像が構成され、それに基づき２次元画像よりなる俯瞰図を再構成する。例えば、ＯｐｅｎＣＶなどを用い、複数台のカメラから三次元空間を構成し、俯瞰図を作成すればよい。
【００１４】
音源定位部６０は、３次元画像構成部５０で作成された俯瞰図に基づいて、音源を定位する。音源定位部６０は、図１に示すように、尤度値設定手段６１と、周期性判定手段６２と、ラベリング手段６３と、音源定位手段６４と、を備えている。
【００１５】
尤度値設定手段６１は、俯瞰図である２次元画像において、発光した発光装置４０から所定値の距離以内である領域に、音源が存在する尤度を示す値を割り当てる処理を行う。本明細書では、２次元画像中で音源がある領域、具体的には画像中のある座標（ｘ，ｙ）に値を付加することを「投票」と呼ぶ。
【００１６】
周期性判定手段６２は、ある座標（ｘ，ｙ）における投票数の周期性を計算する。
【００１７】
ラベリング手段６３は、ある座標（ｘ，ｙ）とこの座標（ｘ，ｙ）に隣接し投票されて値を有する座標（ｘ，ｙ）との集合に、他の集合と区別するためのラベルを付加する。
【００１８】
音源定位手段６４は、各ラベルを付与された集合毎に、音源の位置を推定する。
【００１９】
音源定位システム１００の音源定位部６０における音源定位のアルゴリズムについて、以下図２及び図３を用いて説明する。
【００２０】
ここで、２次元画像からの音源定位手法について説明する。
本実施形態の音源定位手法では、発光装置４０の光が写っている二値画像からの音源位置を推定する。この場合において、以下の条件Ａ〜Ｃを設定する。
Ａ．入力：点灯した発光装置４０の位置の点が１、その他の点が０である二値画像。
Ｂ．出力：音源の位置。
Ｃ．仮定：（１）音源同士の距離は十分大きい。（２）音源は長方形のフィールドの淵に存在する。
【００２１】
実施形態では、光った発光装置４０の周辺画素への投票によるアプローチをとる。ただし、２次元画像をｆ（ｘ，ｙ）、２次元画像への投票数をｇ（ｘ，ｙ）で表す。
【００２２】
尤度値設定手段６１は、２次元画像ｆ（ｘ，ｙ）の各座標（ｘ，ｙ）について、発光装置４０が点灯している位置であるかどうか判断する（ステップＳ１）。ここで、ｆ（ｘ0，ｙ0）が１であるすべての点についてｇ（ｘ0，ｙ0）を中心とした半径ｒの円内のｇ（ｘ，ｙ）を１増やす（ステップＳ２）。次に、尤度値設定手段６１は、ｇ（ｘ，ｙ）を３×３の移動平均フィルタ（ａij）＝１／９で平滑化（スムージング）する（ステップＳ３）。
【００２３】
具体的には尤度値設定手段６１は、投票結果ｇ（ｔ，ｘ，ｙ）を次式（３）で示す平均化フィルタで平滑化する。
【数３】
2010133964.tif 000005
【００２４】
さらに、尤度値設定手段６１は、ｇSMOOTH（ｔ，ｘ，ｙ）の２値化を行う。具体的には、尤度値設定手段６１は、次式（４）によって、ｇSMOOTH（ｔ，ｘ，ｙ）を閾値ｔｈで２値化する（ステップＳ４〜Ｓ６）。
【数４】
2010133964.tif 000006
【００２５】
次に、周期性判定手段６２が２次元画像ｆ（ｘ，ｙ）の各座標（ｘ，ｙ）について時間方向の周期性計算を行う。
ある座標（ｘ’，ｙ’）の投票数の推移を次式（５）で表す。
【数５】
2010133964.tif 000007
周期性判定手段６２はｇ’（ｔ）を時間ｔについてフーリエ変換してパワースペクトルＧ’（ω）を求める（ステップＳ７）。ωは周波数ビンである。さらに、周期性判定手段６２はパワースペクトルＧ’（ω）の分散を求める（ステップＳ８）。
【数６】
2010133964.tif 000008
周期性計算を全ての（ｘ，ｙ）に対して行うと、式（６）のｐ（ｘ，ｙ）が各位置における投票数の周期性を表すので、ｐ（ｘ，ｙ）を周期性反映尤度とする。
【００２６】
周期性判定手段６２は、尤度の計算結果ｐ（ｘ，ｙ）を次式（７）で示す平均化フィルタで平滑化する（ステップＳ９）。
【数７】
2010133964.tif 000009
【００２７】
さらに、周期性判定手段６２は、ｐSMOOTH（ｘ，ｙ）の２値化を行う。具体的には、周期性判定手段６２は、次式（８）によって、ｐSMOOTH（ｘ，ｙ）を閾値ｔｈで２値化する（ステップＳ１０〜Ｓ１２）。
【数８】
2010133964.tif 000010
これらの、p(x，y)に対するスムージング（平滑化）、２値化の処理は、ラベリング手段６３によって行われても良いことは勿論である。
【００２８】
次に、ラベリング手段６３は、p’(x， y)の隣り合う点が1なら同じラベルをつける方法で連結成分をラベリングする（ステップＳ１３）。ただし、ラベリング手段６３は面積がtharea以下のラベルを付与した領域をノイズとして除去する。
【００２９】
音源定位手段６４は、各ラベルの重心位置を音源位置と推定する（ステップＳ１４）。重心は、ラベルに属する点の平面座標を各軸について平均をとることで求める。音源位置は、ディスプレイなどの表示装置９０で表示される。
【００３０】
上記の３次元画像構成部５０、尤度値設定手段６１、周期性判定手段６２、ラベリング手段６３及び音源定位手段６４に関し、例えばコンピュータがソフトウェアを実行することで、コンピュータが当該３次元画像構成部５０、尤度値設定手段６１、周期性判定手段６２、ラベリング手段６３及び音源定位手段６４の機能を果たす。
【００３１】
このように実施形態に係る音源位置推定システム１００によれば、発光装置による音声の視覚情報へのモダリティ変換と、視覚情報に基づいて音源定位を行うことができる。
【００３２】
［第１実施例］
図４は本発明の第１実施例に係る音源位置推定システム１０を示す図である。音源位置推定システム１０は、少なくとも一対の撮像部２０，２０と、これらの撮像部２０，２０によって撮影されるフィールド３０の周囲に分散して配置された複数の発光装置４０と、３次元画像構成部５０と、音源定位部６０と、を備えている。
【００３３】
音源位置推定システム１０では、フィールド３０内で、音源１や音源２で音が発せられた場合、それらの近傍に配設されている複数の発光装置４０が発光する。なお、図１では、発光した発光装置４０を白丸「○」で表し、発光していない発光装置４０を黒丸「●」で表している。このように発光した複数の発光装置４０は各撮像部２０によって撮影されて、画像が作成される。撮像部２０で作成された画像に基づいて３次元画像構成部５０が３次元画像を再構成し、この３次元画像に基づいて音源定位部６０が音源位置を定位する。
【００３４】
このように第１実施例に係る音源位置推定システム１０によれば、音源１，音源２からの音が小さくても、当該音源が固定されている或いは移動するフィールド内の周囲に複数の発光装置４０を分散して配設しているため、当該音源１，２からの音を容易に検出することができ、当該音源からの音を検出した複数の発光装置４０の発光を撮像部２０が撮影することで、俯瞰図を作成でき、この俯瞰図における発光した複数の発光装置４０の位置関係から音源１，２の位置を定位することができる。
【００３５】
実施例１の音源定位手法の有効性を検証した。
シミュレーションした状況を図５に、ラベリングした結果を図６に示す。
図５において、全体を１６０×１６０ピクセルとし、そのうち周囲１５ピクセルを畔道とした。畔道上にカエルホタル、即ち発光装置４０を２列配置し、畔道と水田の付近に十分な間隔をあけて音源を１０個配置した。図５中のマーク「●」が発光装置４０であり、マーク「▼」が音源である。図５に示すように、音源ごとにラベルをつけることに成功した。また、平均のユークリッド距離は３．８ピクセルであった。
【００３６】
［第２実施例］
図７は本発明の第２実施例に係る音源位置推定システム１０Ａを示すブロック図である。音源位置推定システム１０Ａは、フィールド３０の周囲に分散して配置された複数の発光装置４０と、フィールド３０の画像、即ち発光情報としての２次元画像を生成する撮像部２０（生成部）と、撮像部２０（生成部）からの２次元画像に基づいて音源位置を判断する音源定位部６０と、を備えている。音源定位部６０は、例えば撮像部２０で生成されるフレーム毎、或いは所定間隔のフレーム毎の２次元画像に基づいて音源位置を判断する。
【００３７】
［第３実施例］
図８は本発明の第３実施例に係る音源位置推定システム１０Ｂを示すブロック図である。
音源位置推定システム１０Ｂは、少なくとも一対の撮像部２０，２０と、これらの撮像部２０，２０によって撮影されるフィールド３０に分散して配置された複数の発光装置４０と、３次元画像構成部５０と、音源定位部６０と、センター装置７０と、を備えている。
【００３８】
センター装置７０は、各発光装置４０からの信号を収集する。例えば、センター装置７０には各発光装置４０から音信号が送られ、センター装置７０は各音源からの信号到達の時間差や位相差を計測する。
【００３９】
なお、図示省略するが、本音源位置推定システム１０Ｂには、別途、例えばマイクロフォンアレイなどの集音装置が備えられており、マイクロフォンアレイで捕らえられた音が図示省略する処理装置に送られ、この処理装置では音源定位部６０で求められた音源位置情報やセンター装置７０で計測された各発光装置４０の時間差情報や位相差情報などに基づいてマイクロフォンアレイで集音した複数音源からの音を音源毎に分離等を行う。
【００４０】
音源位置推定システム１０Ｂでは、フィールド３０内で、音源１や音源２で音が発せられた場合、それらの近傍に配設されている複数の発光装置４０が発光する。このように発光した複数の発光装置４０は各撮像部２０によって撮影されて、２次元画像が作成される。各撮像部２０で作成された２次元画像に基づいて３次元画像構成部５０が３次元画像を再構成し、この３次元画像に基づいて音源定位部６０が音源位置を定位する。
【００４１】
このように音源位置推定システム１０Ｂによれば、音源１，２からの音が小さくても、当該音源が固定されている或いは移動するフィールド内に複数の発光装置４０を分散して配設しているため、当該音源１，２からの音を容易に検出することができ、当該音源からの音を検出した複数の発光装置４０の発光を撮像部２０が撮影することで、俯瞰図を作成でき、この俯瞰図における発光した複数の音源ホタルの位置関係から音源の位置を定位することができる。
【００４２】
［第４実施例］
図９は本発明の第４実施例に係る音源位置推定システム１０Ｃを示すブロック図であり、上記の第３実施例と同様に構成されているが、図６の音源位置推定システム１０Ｂでは音源近傍に配置された複数の発光装置４０が同期をとるように構成されているのに対して、図９の音源位置推定システム１０Ｃはセンター装置同期型に構成されている。
【００４３】
［適用例］
例えば実施例１における音源位置推定システム１０の適用例を説明する。対象とするフィールド３０は水田、対象とする生物、つまり音源１，２はアマガエルである。水田は一辺が数ｍの長方形であり、水田の周囲に畔道が存在する。また、アマガエルは従来の調査より、（１）１ｍ程度の間隔をおいて疎に分布し、（２）水田と畔道の境界付近に存在し、（３）鳴きながら移動しないという性質がわかっている。
【００４４】
まず、水田の畦道に、その近傍に音が存在するときに光るデバイス「カエルホタル」、即ち後述の発光装置４０を設置する（図４参照）。次に、カエルホタルの点滅する様子を複数台のビデオカメラ、つまり撮像部２０で撮影する。そして、撮影した複数台の画像から水田の俯瞰図を再構成し、俯瞰図から音源１，２の位置を推定する。俯瞰図を得るのに複数台のカメラを用いるのは、１台のカメラで直接俯瞰図を撮影するには水田は広すぎるからである。
【００４５】
発光装置４０は、増幅回路、ＬＥＤから構成される。動作は、マイクで音を収録するとＬＥＤが点灯するというものである。発光装置４０の設計にあたり、要求される仕様は次のとおりである。
１．安価なこと：水田の大きさは様々なので、システムのスケーラビリティは重要である。また、対象のフィールドが野外かつ水辺なので、故障率も高いと予想される。よって、個々の費用は低く抑え、必要に応じて追加，交換できる必要がある。
２．小型であること：価格を安価に抑えると信頼性は下がるので、複数個を組み合わせて使う必要がある。しかし、畦道に数多く置くには小型化が必要である。さらに、小型化によって次項３の防水も容易になる。
３．防水可能なこと：設置場所は水辺なので必須である。
４．チューニング可能なこと：カエルは種類によって鳴き声の大きさが異なり、使用する環境によって雑音のレベルも異なる。よって、カエルホタルはチューニングできる必要がある。
本デバイスを構成する回路部品は少なく、チップ部品も一般に流通している。よって、上記の要求１，２を満たす。上記の要求３も、小型なので樹脂等で固めれば防水は可能であり、マイクにも防水性のものをもちいれば防水は可能である。上記の要求４はボリュームを用いて満たすことができる。
【００４６】
[その他]
上記適用例では、音源としてカエルを前提にしたが、それに限られるものではない。
フィールドの周囲に配置される発光装置の間隔は、等間隔であるのが望ましい。
さらに、本発明の実施化に当たり、複数カメラからの俯瞰図の再構成手法を検討し、実際のフィールドで使用することで問題を洗い出す必要がある。また、音源が近接している場合はラベリングする領域が接触するので、二値化の閾値を適応的に変化させる必要がある。また、雑音や俯瞰図の再構成時のノイズなどで二値化画像にノイズがある場合の対処も必要である。
生成部としての前述の撮像部や３次元画像構成部は、前述の２次元画像や３次元画像を作成するものの他、発光装置から送信された信号を受けて、当該信号に基づいてどこの発光装置が発光したかの情報を作成してもよい。例えば生成部は各発光装置のフィールド上の位置情報を持っている。
【００４７】
本発明において、撮像を行う前にキャリブレーションステップを設けても良い。発光装置を設置して、記録を取る前に、初期化キャリブレーションとして全発光装置を光らせて画像でとることで、各発光装置の位置を限定でき、発光装置以外から生じる反射による光などのノイズを除去できる。さらに、事前に発光装置の相互位置関係が決まったもの、例えば、板、シート、ネットなどに発光装置を設置した場合には幾何関係が既知であるので、全発光装置を光らせた画像から、3次元幾何変換して俯瞰図を出す際、現場の傾斜やカメラの角度に依存せずに計算できる。
【図８】
2010133964.tif 000011
【図９】
2010133964.tif 000012
【図１】
2010133964.tif 000013
【図２】
2010133964.tif 000014
【図３】
2010133964.tif 000015
【図４】
2010133964.tif 000016
【図５】
2010133964.tif 000017
【図６】
2010133964.tif 000018
【図７】
2010133964.tif 000019