(57)【要約】【課題】音源定位と音源同定の２つの機能の実装を容易化するとともに、実用的な演算速度を実現可能な音源定位・同定装置を提供する。【解決手段】音源の方向を識別する音源定位部８と、音源の種類を識別する音源同定部９とを備え、音源定位部８と音源同定部９とは、いずれも、複数のパルスニューロンモデルを備えたニューラルネットワークにより構成され、各パルスニューロンモデルは、ディジタル回路により構成されている音源定位・同定装置１。【選択図】図３
2008085472.tif 000002
【特許請求の範囲】
【請求項１】
音源の方向を識別する音源定位部と、音源の種類を識別する音源同定部とを備え、
前記音源定位部と前記音源同定部とは、いずれも、複数のパルスニューロンモデルを備えたニューラルネットワークにより構成され、
前記各パルスニューロンモデルは、ディジタル回路により構成されている
ことを特徴とする音源定位・同定装置。                                                                            
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源定位と音源同定とを行う装置（以下、「音源定位・同定装置」と言う）に関し、特に、パルスニューロンモデルを用いた音源定位・同定装置に関する。
【背景技術】
【０００２】
音による周辺環境把握の基本機能は、音源方向を識別する音源定位と、音源種類を識別する音源認識（音源同定）であり、ニューラルネットワークを用いた音源認識装置（音源同定装置）には、下記非特許文献１、非特許文献２、特許文献１に記載されたものがある。また、ニューラルネットワークを用いた音源定位装置には、下記非特許文献３、非特許文献４、非特許文献５に記載されたものがある。さらに、音源定位装置の時間差検出機構を音源認識装置の前処理機構として用いるものもとして、下記非特許文献６に記載されたものがある。
【０００３】
なお、出願人による音源定位のための時間差検出器についての出願に、下記特許文献２がある。また、関連する文献として下記非特許文献７、８、９がある。
【特許文献１】特許第３１６４１００号公報
【特許文献２】特願２００５−３６２９１５
【非特許文献１】坂口晋也、「パルスニューロンモデルを用いた音源認識に関する研究」、名古屋工業大学平成９年度卒業論文、１９９８年３月
【非特許文献２】坂口晋也、黒柳奨、岩田彰、「環境把握のための音源識別システム」、電子情報通信学会ＮＣ研究会技術研究報告、社団法人電子情報通信学会、１９９９年１２月、ＮＣ９９−７０、ｐ．６１−６８
【非特許文献３】黒柳奨、岩田彰、「パルス伝達型聴覚神経回路モデルによる音源方向知覚−時間差・音圧差の抽出−」、電子情報通信学会技術研究報告、社団法人電子情報通信学会、１９９３年３月、ＮＣ９２−１４９、ｐ．１６３−１７０
【非特許文献４】黒柳奨、岩田彰、「パルスニューロンモデルのための教師あり学習則」、電子情報通信学会技術研究報告、社団法人電子情報通信学会、１９９８年３月、ＮＣ９７−１５１、ｐ．９５−１０２
【非特許文献５】黒柳奨、平田浩一、岩田彰、「パルスニューラルネットワークのための競合学習手法」、電子情報通信学会ＮＣ研究会技術研究報告、社団法人電子情報通信学会、２００２年３月、ＮＣ２００１−２１０、ｐ．１１３−１２０
【非特許文献６】中尾裕之、黒柳奨、岩田彰、「パルスニューラルネットワークによる音源の方向情報を用いた音像抽出モデル」、電子情報通信学会ＮＣ研究会技術研究報告、社団法人電子情報通信学会、２００１年３月、ＮＣ２０００−１０８、ｐ．３９−４６
【非特許文献７】田中愛久、黒柳奨、岩田彰、「ＦＰＧＡのためのニューラルネットワークのハードウェア化手法」、電子情報通信学会ＮＣ研究会技術研究報告、社団法人電子情報通信学会、２００１年３月、ＮＣ２０００−１７９、ｐ．１７５−１８２
【非特許文献８】二俣宣義、黒柳奨、岩田彰、「ＦＰＧＡのためのパルスニューロンモデルの実装方法」、電子情報通信学会ＮＣ研究会技術研究報告、社団法人電子情報通信学会、２００２年３月、ＮＣ２００１−２１１、ｐ．１２１−１２８
【非特許文献９】黒柳奨、岩田彰、「聴覚情報処理システムのためのパルスニューロンモデルを用いた競合学習ニューラルネットワーク」、電子情報通信学会論文誌（Ｄ−ＩＩ）、２００４年７月、第Ｊ８７−Ｄ−ＩＩ巻、第７号、ｐ．１４９６−１５０４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、音源定位装置及び音源同定装置を例えば居宅内に設置して、居宅内で発生する様々な音の方向と種類とを識別させたい場合には、音源定位装置及び音源同定装置を１つの装置とすることが望ましいが、音源定位と音源同定の２つの機能を１つの装置に実装することは容易ではないという問題があった。
【０００５】
また、コンピュータ上のソフトウェアでこれらの機能を実現しようとすると、膨大な演算をＣＰＵにおいて逐次的に行うこととなるため、実行速度が著しく低下し、実用的な演算速度を実現できないという問題があった。
【０００６】
この発明は、上述した問題を解決するものであり、音源定位と音源同定の２つの機能の実装を容易化するとともに、実用的な演算速度を実現可能な音源定位・同定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の音源定位・同定装置は、音源の方向を識別する音源定位部と、音源の種類を識別する音源同定部とを備え、前記音源定位部と前記音源同定部とは、いずれも、複数のパルスニューロンモデルを備えたニューラルネットワークにより構成され、前記各パルスニューロンモデルは、ディジタル回路により構成されていることを特徴とする。
【発明の効果】
【０００８】
本発明の音源定位・同定装置は、音源定位部と音源同定部とが、いずれも、複数のパルスニューロンモデルを備えたニューラルネットワークにより構成されており、しかも、各パルスニューロンモデルはディジタル回路により構成されているので、パルスニューロンモデルという共通の要素を大量にＦＰＧＡ等のデバイス上に実装することで実現でき、音源定位と音源同定の２つの機能の実装が容易である。そして、パルスニューロンモデルにおける演算がディジタル回路上で並列的に実行されることとなるため、実用的な演算速度を実現可能である。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態について図面に基づいて説明する。
【００１０】
音源定位・同定装置１は、図１に示すように、左右のマイクロフォン２、３と、マクロフォン２、３が接続された本体部４とを備える。本体部４は、表示部５を備える。
【００１１】
本体部４は、図２及び図３に示すように、マイクロフォン２、３にそれぞれ接続された左右の入力信号処理部６、７と、入力信号処理部６、７の両方に接続された音源定位部８と、入力信号処理部７に接続された音源同定部９とを備える。なお、音源同定部９は、入力信号処理部６、７の少なくとも一方に接続されていればよい。音源定位部８は、時間差特徴検出部１０と定位用ＣＯＮＰアルゴリズム部１１とを備える。音源同定部９は、前段の同定用ＣＯＮＰアルゴリズム部１２と後段の同定用ＣＯＮＰアルゴリズム部１３とを備える。なお、音源定位・同定装置１は、学習を行ってから音源の認識を行い、学習時と認識時とで動作が異なる部分があるため、図２で学習時を、図３で認識時を示している。
【００１２】
入力信号処理部６、７、時間差特徴検出部１０、定位用ＣＯＮＰアルゴリズム部１１、同定用ＣＯＮＰアルゴリズム部１２、及び、同定用ＣＯＮＰアルゴリズム部１３は、いずれも、複数のパルスニューロンモデル（以下、「ＰＮモデル」と言う。）により構成されたニューラルネットワークからなる。ＰＮモデルとは、入出力信号としてパルス列を用いるニューロンモデルを言う。音源定位・同定装置１では、各ＰＮモデルはディジタル回路で構成される。
【００１３】
図４に、ＰＮモデルの模式図を示す。このＰＮモデルでは、ｎ番目の入力チャンネルからパルスｉn（ｔ）＝１が到着すると、ｎ番目のシナプス部の局所膜電位ｐn（ｔ）が結合重みｗn分上昇し、その後時定数τで静止電位まで減衰する。ＰＮモデルの内部電位Ｉ（ｔ）は、その時刻の各局所膜電位の総和として表される。ＰＮモデルは、この内部電位が閾値θ以上となった時発火（すなわち、出力パルス「１」を発生）する。但し、神経細胞には発火に関する不応期ＲＰが存在するため、このＰＮモデルにおいても、ある発火からＲＰの間は内部電位が閾値を超えた場合でも発火しない。以下、ＰＮモデルを単にニューロンとも言う。
【００１４】
音源定位・同定装置１では、かかるＰＮモデルをディジタル回路で構成しＦＰＧＡ（Field Programmable Gate Array）に実装している。図５に、ＦＰＧＡにおけるＰＮモデルの実装例を示す。この実装例については、上記非特許文献８等に記載されているので、詳しい説明は省略する。この実装例によれば、減衰処理の機構に乗算器を用いないため、ディジタル回路上で実現するのに適している。
【００１５】
入力信号処理部６、７は、図６に示すように、入力信号をバンドパスフィルタ（ＢＰＦ）により周波数成分毎の信号に分解する蝸牛モデルと、非線形変換を行うことにより蝸牛モデルからの入力信号の正の成分だけを取り出すとともに信号強度の対数圧縮を行う有毛細胞モデルと、有毛細胞モデルからの入力信号を信号強度に比例したパルス頻度を持つパルス列に変換する蝸牛神経モデルとから構成される。すなわち、入力信号処理部６、７は、左右の入力信号の各々を、周波数成分毎に、信号強度に応じたパルス頻度を持つパルス列に変換する。
【００１６】
時間差特徴量抽出部１０は、図７に示すような抽出モデルを周波数成分毎に備えている。この抽出モデルについても、上記非特許文献５等に記載されているので、詳しい説明は省略する。この抽出モデルは、周波数成分毎にＰＮモデルの列を備え、時間遅れ素子を用いて、ＰＮモデルの列の一方の端から順に左信号（左の入力信号から生成されたパルス列）を入力するとともに、列の他方の端から右信号（右の入力信号から生成されたパルス列）を入力する。各ＰＮモデルは、左右の信号が同時に入力されたときのみ発火するように構成されている。これにより、時間差抽出部１０は、入力信号間の時間差によって変化する特異パターンを出力する。
【００１７】
定位用ＣＯＮＰアルゴリズム部１１、同定用ＣＯＮＰアルゴリズム部１２、及び、同定用ＣＯＮＰアルゴリズム部１３は、いずれも、上記非特許文献９に記載された競合学習ニューラルネットワーク（以下、「ＣＯＮＰ」と言う。）を用いている。
【００１８】
ＣＯＮＰは、聴覚情報処理システムにおける多次元ベクトルの次元圧縮及び代表ベクトルを用いたパターン変動の吸収を目的とする、ＰＮモデルのみを用いたベクトル量子化ネットワークであり、Kohonenの競合学習モデルならびに自己組織化マップ（Self-Organizing Maps  以下、「ＳＯＭ」と言う。）をパルスニューラルネットワークに適用したものである。
【００１９】
従来のＳＯＭを用いた競合学習及び認識処理の動作フローを、図８に示す。この図は、Ｍ個のニューロンを有するパルスニューラルネットワークの各ニューロンに、ｎ個のチャンネルを介して、入力パルスを各要素とする入力ベクトル（ｎ次元データベクトル）ｘiが入力された場合の動作フローである。このニューラルネットワークは、入力ベクトルｘiが入力されると（Ｓ０１）、各ニューロンの評価値１／｜ｗj−ｘi｜を演算する（Ｓ０２）。なお、ｗjはニューロンの参照ベクトル（結合重みを各要素とするベクトル）である。ニューロンの評価値は、参照ベクトルｗjと入力ベクトルｘiとのユークリッド距離が近い程高くなる。次に、ニューロンのうち評価値が最大となるもの（以下、「勝者ニューロン」とも言う。）を検索し（Ｓ０３）、学習フェイズであれば、勝者ニューロンの参照ベクトルｗjが入力ベクトルｘiに近づくように結合重みを更新するとともに（Ｓ０４）、勝者ニューロンの近傍のニューロンについても同様に結合重みを更新する（Ｓ０５）。そして、評価値が最大のニューロンのラベルｊを出力する（Ｓ０６）。なお、既に学習を終えて実際に認識を行う場合、すなわち、学習フェイズでない場合は、結合重みの更新は行わない。そして、結合重みの更新（参照ベクトルの更新）のための係数を更新して、次の入力ベクトルについて、ステップＳ０１〜Ｓ０６の処理を行う（Ｓ０７）。
【００２０】
ＳＯＭアルゴリズムでは、参照ベクトルが入力ベクトルに最も近いニューロンを勝者ニューロンとし、勝者ニューロンの参照ベクトルを入力ベクトルに近づけるのみならず、勝者ニューロンの周辺のニューロンについても参照ベクトルを入力ベクトルに近づける。これにより、ＳＯＭでは、入力ベクトル群の位相関係を保持したベクトル量子化が可能となる。
【００２１】
図９−１〜９−３を用いて、ＳＯＭアルゴリズムについて説明する。これらの図では、薄い灰色の部分が入力空間を表し、数字が入った丸印が参照ベクトルを表す。図９−１に示すように、ＳＯＭアルゴリズムの目的は入力空間を量子化することであり、その方法としては参照ベクトルによって各部分空間の中心を表現することである。このため、図９−２に示すように、ＳＯＭアルゴリズムでは、学習時には、勝者ニューロンのみならずその周辺のニューロンについても参照ベクトルを更新することにより、参照ベクトルがその類似関係（位相関係）を保持したまま各部分空間に移動していくこととなり、学習後には、参照ベクトルが入力空間の類似度の順番に並ぶこととなる。すなわち、学習の結果、従来の競合学習では、図９−３の左図に示すように、入力ベクトルの類似関係とは無関係にベクトル量子化が行われていたが、ＳＯＭアルゴリズムでは、図９−３の右図に示すように、入力ベクトルの類似関係を保持したベクトル量子化が行われることとなる。すなわち、互いに近い入力ベクトルは、互いに近い参照ベクトルで代表され、互いに遠い入力ベクトルは、互いに遠い参照ベクトルで代表されることになる。
【００２２】
ＣＯＮＰでは、かかるＳＯＭアルゴリズムにより学習を行う。但し、ＣＯＮＰでは、入力ベクトルに近いか否かを、ユークリッド距離ではなく、入力ベクトルと参照ベクトルの内積ＥＶ＝cosθ|ｗ||ｘ|（ｗ：参照ベクトル、ｘ：入力ベクトル、θ：両ベクトルのなす角）で評価し、この評価値の最も高かったニューロンを勝者ニューロンとしている。内部電位は局所膜電位の総和であり、局所膜電位の大きさは結合重みに比例し、かつ入力パルスの頻度に比例するため、入力ベクトルと参照ベクトルの内積による評価は、内部電位による評価と等価である。
【００２３】
また、ＣＯＮＰでは、評価値が最も高かったニューロンを検索するために、最も高い評価値を持ったニューロンだけが発火するように構成している。詳しくは、図１０に示すように、外部に複数個の状態検出ニューロン、すなわち、競合学習ニューロンが１つも発火していないときに発火する無発火検出ニューロン（以下、「ＮＦＤニューロン」と言う。）と、競合学習ニューロンが２つ以上発火しているときに発火する複数発火検出ニューロン（以下、「ＭＦＤニューロン」と言う。）の２つの状態検出ニューロンを設け、それらの状態検出ニューロンの発火状況に応じて競合学習ニューロンの閾値を一律に変化させることで、唯一つの競合学習ニューロンが発火する状況を保持している。なお、ＮＦＤニューロン、ＭＦＤニューロン等との区別のために必要なときは、競合学習を行うニューロンを競合学習ニューロン（Competitive Learning Neuron）と言う。
【００２４】
図１１−１、１１−２に、ＣＯＮＰの動作フローを示す。ＣＯＮＰでは、ｎ個のデータパルスからなる入力ベクトルｘ（ｔ）＝（ｘ1（ｔ），ｘ2（ｔ），…，ｘi（ｔ），…，ｘn（ｔ））が、単位時間毎に入力される（Ｓ１０１）。なお、ｔは時刻である。すると、ＣＯＮＰでは、ＮＦＤニューロンの出力値ｙnfd（ｔ）を演算するとともに、ＭＦＤニューロンの出力値ｙmfd（ｔ）を演算する（Ｓ１０２、Ｓ１０３）。次に、ＣＯＮＰの有するＭ個の競合学習ニューロンの内部電位Ｉj（ｔ）  （ｊ＝１，…，Ｍ）を演算し（Ｓ１０４）、内部電位Ｉj（ｔ）が閾値ＴＨを超えたニューロンについては、ｙ（ｔ）＝１を出力し、それ以外のニューロンについては、ｙ（ｔ）＝０を出力する（Ｓ１０５）。そして、「１」を出力したニューロンについて結合重みを更新するとともに（Ｓ１０６）、そのニューロンの近傍のニューロンについても結合重みを更新し（Ｓ１０７）、参照ベクトルをノルム１に正規化する（Ｓ１０８）。なお、学習フェイズでない場合は、結合重みの更新は行わない。そして、結合重みの更新のための係数を更新して、次の入力ベクトルについて、ステップＳ１０１〜１０８の処理を行う（Ｓ１０９）。
【００２５】
ＣＯＮＰにおける演算方法について説明する。まず、ＣＯＮＰにおけるＰＮモデルの動作を明確にするために、下記（数１）、（数２）により以下のように定義する。
【００２６】
システムをサンプリング周波数Ｆｓの離散時間系とし、△ｔ＝１／Ｆｓとする（△：デルタ）。ここで、引数として、時刻ｔ、減衰時定数τ、結合重みｗ、時刻ｔにおける入力信号ｘ（ｔ）の４つを持つ関数Ｆを導入し、下記（数１）のように定義する。
【００２７】
【数１】
2008085472.tif 000003
すると、時刻ｔにおけるＰＮモデルの内部電位Ｉ（ｔ）は、局所膜電位ｐi（ｔ）の総和として、下記（数２）のように記述できる。
【００２８】
【数２】
2008085472.tif 000004
ここで、τはｐi（ｔ）の減衰時定数である。ＰＮモデルの不応期をＲＰ、時刻ｔにおける前回発火からの経過時間をＥＴ（ｔ）とし、ＥＴ（０）＞ＲＰとすると、ＰＮモデルの出力値ｙ（ｔ）は、以下のアルゴリズムにより計算される。
【００２９】
ｉｆ  Ｉ（ｔ）≧ＴＨ  ａｎｄ  ＥＴ（ｔ）＞ＲＰ
ｔｈｅｎ  ｙ（ｔ）＝１，ＥＴ（ｔ）＝０
ｅｌｓｅ  ｙ（ｔ）＝０，ＥＴ（ｔ）＝ＥＴ（ｔ−△ｔ）＋△ｔ
パラメータτ、ｗ1、ｗ2、…、ｗn、ＴＨは、各ＰＮモデルにより可変の値であり、この組合せにより各ＰＮモデルの動作は決定される。
【００３０】
ＣＯＮＰでは、各ニューロンにおける入力ベクトルの類似度の評価値としてニューロンの内部電位Ｉ（ｔ）を用いる。なお、上述したように、入力ベクトルと参照ベクトルの内積による評価と、内部電位による評価とは、同等である。そして、上述したように、状態検出ニューロンを用いて、最も評価値の高いニューロンのみが発火するように構成する。このように、ＣＯＮＰではネットワークにおいて発火した競合学習ニューロンを勝者ニューロンとするため、各ニューロンが発火した場合に学習を行う。学習すべき入力パターンの表現法としては、結合重みを１に固定したシナプスにおける局所膜電位ｐｃｗi（ｔ）を用いる。図５に図３に対して学習に必要な要素を加えた競合学習用パルスニューロンモデルを示す。ここで入力パルス列数はｎであり、このニューロンはＭ個ある競合学習ニューロンのｈ番目とする。図５において，時刻ｔにおけるＮＦＤニューロン１１、ＭＦＤニューロン１２の出力をそれぞれｙnfd（ｔ）、ｙmfd（ｔ）、競合学習ニューロンのＮＦＤニューロン１１、ＭＦＤニューロン１２に対する結合重みをそれぞれｗfd、−ｗfd（但し、ｗfd＞０）とすると、時刻ｔにおけるｈ番目の競合学習ニューロンの内部電位Ｉh（ｔ）は前述の関数Ｆを用いて下記（数３）のように記述できる。
【００３１】
【数３】
2008085472.tif 000005
なお、ＣＯＮＰにおいてはｐnfd、ｐmfdを発火閾値の動的変化量として扱うことで制御を行うため、減衰時定数τfdは時定数τに対して充分大きいものと仮定する。時刻ｕにおける勝者ニューロンの結合重みｗwin,i(u)の更新は、学習係数をαとしたとき下記（数４）で表すことができる。
【００３２】
【数４】
2008085472.tif 000006
各更新の後，結合重みベクトルｗ（ｕ）＝（ｗwin,1(u)，…，ｗwin,n(u)）はノルムが１となるよう正規化される。
【００３３】
入力パルス列によって発生する内部電位の総量が大きく変動する場合，この変動量を吸収するために閾値の変化が生じることになり、閾値の変化が入力ベクトルの方向変化に追従できない場合がある。そこで、ＣＯＮＰでは内部電位Ｉ（ｔ）に対して、ｐｃｗiの総和を一定の比率βpcw（但し、０≦βpcw≦１）であらかじめ差引くことで、入力信号のノルム変動に対する内部電位の変化を抑制している。これにより上記（数３）のＩh（ｔ）は下記（数５）のように修正される。
【００３４】
【数５】
2008085472.tif 000007
以上のアルゴリズムによりパルスニューラルネットワークにおいてKohonenの競合学習を実現することが可能であり、これにより入力信号に含まれるスペクトルパターンなどが時々刻々と変化する場合でも、これを統計的に学習、ベクトル量子化することが可能である。なお、これまで述べて来た結合重みの更新を勝者ニューロンの近傍のニューロンに対しても適用することにより、ＳＯＭアルゴリズムは容易に実現可能である。
【００３５】
定位用ＣＯＮＰアルゴリズム部１１は、学習時には、時間差特徴量抽出部１０が抽出した抽出結果である特異パターンを、類似度の順にベクトル量子化する。すなわち、特異パターンをその類似関係を保持して代表できるような参照ベクトル群を作り上げる。この結果、定位用ＣＯＮＰアルゴリズム部１１では、特異パターンの類似関係を保持した参照ベクトルへのマッピングが行われるようになる。
【００３６】
そして、図３に示すように、認識時には、定位用ＣＯＮＰアルゴリズム部１１は、特異パターンの参照ベクトルへのマッピングを行い、定位結果として、特異パターンを代表する参照ベクトルを持つニューロンからの発火信号を出力する。
【００３７】
同定用ＣＯＮＰアルゴリズム部１２は、入力信号処理部７から入力された入力信号に存在する周波数パターンを検出するものであり、入力信号に存在する周波数パターンをベクトル量子化する。
【００３８】
同定用ＣＯＮＰアルゴリズム部１３は、学習時には、ＬＶＱ（Learning Vector Quantization）による教師有り学習を行う。ＬＶＱによる教師有り学習とは、第１フェイズで、ＳＯＭアルゴリズムによる学習を行い、第２フェイズでその結果にラベル付けを行うものである。教師信号としては、入力信号の音種類情報を用いる。この学習により、同定用ＣＯＮＰアルゴリズム部１３は、同定用ＣＯＮＰアルゴリズム部１２によってベクトル量子化されたパターンを、さらに音源種類毎にベクトル量子化して、音源種類を示すラベル付けを行えるようになる。
【００３９】
そして、同定用ＣＯＮＰアルゴリズム部１３は、認識時には、同定用ＣＯＮＰアルゴリズム部１２によって検出された（ベクトル量子化された）パターンを、さらに音源種類毎にベクトル量子化し、その結果に応じたラベルを同定結果として出力する。
【００４０】
例えば、救急車の音には、それぞれ「ピー」「ポー」のように聞こえる２つの周波数パターンが存在するが、この２つの周波数パターンを別々にベクトル量子化するのが、同定用ＣＯＮＰアルゴリズム部１２であり、これらベクトル量子化された２つのパターンをまとめてベクトル量子化して「救急車」を示すラベルを出力するのが、同定用ＣＯＮＰアルゴリズム部１３である。
【００４１】
以上のように構成することにより、音がマイクロフォン２、３を介して入力されたときに、その音源の定位と同定とを略同時に行える音源定位・同定装置１が実現できる。音源定位・同定装置１は、表示部５に定位結果と同定結果とを表示する。
【００４２】
なお、音源定位・同定装置１に通信部を設け、その通信部を介して、定位結果と同定結果とを例えば利用者が携帯する報知装置に送信し、その報知装置において表示等により定位結果と同定結果とを利用者に知らせることとしてもよい。
【００４３】
音源定位部８及び音源同定部９のＦＰＧＡへの実装例を、以下の（１）〜（７）に示す。
【００４４】
（１）実装デバイスは、Altera社製ＦＰＧＡデバイスStratixII EP2S60、実装回路最低動作周波数は、64kHzとする。
【００４５】
（２）外部インターフェイスは、USB2.0とし、入力ビット数16bit、出力ビット数13bitとする。
【００４６】
（３）入力周波数チャンネル数は、音源定位用15チャンネル、音源同定用43チャンネルとする。
【００４７】
（４）時間差特徴量抽出部１０は、周波数チャンネル数15、１チャンネル当りのニューロン数21とする。
【００４８】
（５）定位用ＣＯＮＰアルゴリズム部（以下、「音源定位用抽出結果マッピング部」とも言う。）１１は、各競合学習ニューロンの入力チャンネル数317（状態検出ニューロンからの2入力含む）、競合学習ニューロン数7とする。
【００４９】
（６）同定用ＣＯＮＰアルゴリズム部（以下、「音源同定用周波数パターン検出部」とも言う。）１２は、各競合学習ニューロンの入力チャンネル数45（状態検出ニューロンからの2入力含む）、競合学習ニューロン数10とする。
【００５０】
（７）同定用ＣＯＮＰアルゴリズム部（以下、「音源同定用検出パターンマッピング部」とも言う。）１３は、各競合学習ニューロンの入力チャンネル数12（状態検出ニューロンからの2入力含む）、競合学習ニューロン数6とする。
【００５１】
このように構成すれば、必要回路数（単位：ALUT）は、表１のようになる。
【００５２】
【表１】
2008085472.tif 000008
なお、外部インターフェイス部とは、入力信号部６、７からの信号を時間差特徴量抽出部１０及び同定用ＣＯＮＰアルゴリズム部１２に入力するためのインターフェイスとなる部分である。
【００５３】
表１のように、この実装例における必要回路数の総計は35,144(ALUTs)であり、一方、上記デバイスEP2S60の実装可能回路数は48,352(ALUTs)であることから、音源定位部８及び音源同定部９の全回路をＦＰＧＡ上に搭載可能であることが分かる。
【００５４】
音源定位・同定装置１は、音源定位部８と音源同定部９とが、いずれも、複数のパルスニューロンモデルからなるニューラルネットワークにより構成されており、しかも、各パルスニューロンモデルはディジタル回路により構成されている。すなわち、音源定位部８と音源同定部９とは、パルスニューロンモデルという共通の要素を例えばＦＰＧＡ等のデバイス上に大量に実装することで実現できる。このため、音源定位と音源同定の２つの機能を１つの装置に実装することが容易である。そして、パルスニューロンモデルにおける演算が、ディジタル回路上で並列的に実行されることとなるため、実用的な演算速度を実現可能である。
【図面の簡単な説明】
【００５５】
【図１】本発明の一実施形態に係る音源定位・同定装置の斜視図である。
【図２】本発明の一実施形態に係る音源定位・同定装置のブロック図であり、学習時を示す。
【図３】本発明の一実施形態に係る音源定位・同定装置のブロック図であり、認識時を示す。
【図４】ＰＮモデルの模式図である。
【図５】ＦＰＧＡにおけるＰＮモデルの実装例を示すブロック図である。
【図６】入力信号処理部の構成を示すブロック図である。
【図７】時間差特徴量抽出部の抽出モデルの模式図である。
【図８】従来のＳＯＭアルゴリズムを示すフローチャートである。
【図９−１】ＳＯＭアルゴリズムを説明するための図である。
【図９−２】ＳＯＭアルゴリズムを説明するための図である。
【図９−３】ＳＯＭアルゴリズムを説明するための図である。
【図１０】ＣＯＮＰの模式図である。
【図１１−１】ＣＯＮＰにおける処理の流れを示すフローチャートである。
【図１１−２】ＣＯＮＰにおける処理の流れを示すフローチャートである。
【符号の説明】
【００５６】
１…音源定位・同定装置
８…音源定位部
９…音源同定部                                                                            
【図１】
2008085472.tif 000009
【図２】
2008085472.tif 000010
【図３】
2008085472.tif 000011
【図４】
2008085472.tif 000012
【図５】
2008085472.tif 000013
【図６】
2008085472.tif 000014
【図７】
2008085472.tif 000015
【図８】
2008085472.tif 000016
【図１０】
2008085472.tif 000017
【図１１−１】
2008085472.tif 000018
【図１１−２】
2008085472.tif 000019
【図９−１】
2008085472.tif 000020
【図９−２】
2008085472.tif 000021
【図９−３】
2008085472.tif 000022
【手続補正書】
【提出日】平成19年9月28日(2007.9.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
ＣＯＮＰでは、各ニューロンにおける入力ベクトルの類似度の評価値としてニューロンの内部電位Ｉ（ｔ）を用いる。なお、上述したように、入力ベクトルと参照ベクトルの内積による評価と、内部電位による評価とは、同等である。そして、上述したように、状態検出ニューロンを用いて、最も評価値の高いニューロンのみが発火するように構成する。このように、ＣＯＮＰではネットワークにおいて発火した競合学習ニューロンを勝者ニューロンとするため、各ニューロンが発火した場合に学習を行う。学習すべき入力パターンの表現法としては、結合重みを１に固定したシナプスにおける局所膜電位ｐｃｗi（ｔ）を用いる。学習に必要な要素を加えた競合学習用パルスニューロンモデルにおいて、入力パルス列数をｎ、時刻ｔにおけるＮＦＤニューロン、ＭＦＤニューロンの出力をそれぞれｙnfd（ｔ）、ｙmfd（ｔ）、競合学習ニューロンのＮＦＤニューロン、ＭＦＤニューロンに対する結合重みをそれぞれｗfd、−ｗfd（但し、ｗfd＞０）とすると、時刻ｔにおける、Ｍ個ある競合学習ニューロンのｈ番目の競合学習ニューロンの内部電位Ｉh（ｔ）は前述の関数Ｆを用いて下記（数３）のように記述できる。なお、上述したように、ＣＯＮＰは、非特許文献９に記載された競合学習ニューラルネットワークであり、ここで説明する競合学習用パルスニューロンモデルについても非特許文献９に記載されている（同文献の図３等参照）。