(57)【特許請求の範囲】
【請求項１】
それぞれ前方指向性を有し、左右に間隔をおいて配設されるとともに、一方は前方に向けて他方は後方に向けて配置された２つのマイクロホンと、
前記各マイクロホンで集音された音の時間差情報を、パルスニューロンモデルにより検出する時間差検出手段と、
前記各マイクロホンで集音された音の音圧差情報を、パルスニューロンモデルにより検出する音圧差検出手段と、
前記時間差検出手段で検出された音の時間差情報に基づいて、左右方向における音源の方向情報をパルスニューロンモデルにより検出する左右方向検出手段と、
前記音圧差検出手段で検出された音の音圧差情報に基づいて、前後方向における音源の方向情報をパルスニューロンモデルにより検出する前後方向検出手段と、
を備えることを特徴とする音源定位装置。
【請求項２】
前記左右方向検出手段で検出された左右方向における音源の方向情報と、前記前後方向検出手段で検出された前後方向における音源の方向情報とに基づいて、周囲の複数方向における音源の方向情報をパルスニューロンモデルにより検出する周囲方向検出手段を備えることを特徴とする請求項１記載の音源定位装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源方向を識別する音源定位装置に関し、特に、パルス信号（単に「パルス」ともいう。）を入出力するニューロンモデルであるパルスニューロンモデルを用いた音源定位装置に関する。
【背景技術】
【０００２】
音源定位のためにパルスニューロンモデル（以下、「ＰＮモデル」又は「ニューロン」ともいう。）を用いる技術が、下記特許文献１及び非特許文献１〜３に開示されている。特許文献１には、音源定位のための時間差検出器が開示され、非特許文献１には、ＰＮモデルを用いて、両耳に入って来る音の時間差、音圧差を抽出する音源方向知覚モデルが開示され、非特許文献２には、聴覚情報処理システムのためのＰＮモデルを用いた競合学習ニューラルネットワークが開示され、非特許文献３には、ＰＮモデルのハードウェアへの実装方法が開示されている。
【０００３】
図１に、ＰＮモデルの模式図を示す。同じＰＮモデルが非特許文献１〜３にも示されているので詳説しないが、ＰＮモデルでは、時刻ｔ（ｔは離散値で、ここではｄｔ＝１とする。）にｎ番目の入力チャンネルからパルスｉn（ｔ）＝１がｎ番目のシナプス部に入力されると、ｎ番目のシナプス部の局所膜電位ｐn（ｔ）が結合重み（単に「重み」ともいう。）ｗn分上昇し、その後時定数τで静止電位まで減衰する。時刻ｔのＰＮモデルの内部電位Ｉ（ｔ）は、その時刻の各局所膜電位ｐn（ｔ）の総和として表される。ＰＮモデルは、内部電位Ｉ（ｔ）が閾値θ以上となった時発火（すなわち、出力パルス「１」を発生）する。但し、神経細胞には発火に関する不応期ＲＰが存在するため、ＰＮモデルにおいても、ある発火からＲＰの間は内部電位が閾値を超えた場合でも発火しない。
【０００４】
ＰＮモデルはディジタル回路によりハードウェア化可能である。図２に、ＰＮモデルのディジタル回路による構成例を示す。同様の構成例が非特許文献３にも記載されているので詳説しないが、この構成例では、通常は加算処理を行い、加算処理数回の後にレジスタの値をビットシフトした値を引くこと（すなわち、ビットシフトと補数表現）で減衰を近似的に実現しており、減衰処理の機構に乗算器を用いないため、ディジタル回路で実現するのに適している。
【０００５】
ところで、図３に示すように、両耳に相当する２つのマイクロホン１０１、１０２を同方向に向けて左右に配置し、マイクロホン１０１によって集音された音とマイクロホン１０２によって集音された音を用いて、音源の方向を識別しようとすると、左右方向は、音源からマイクロホン１０１、１０２までの距離の違いから生じる音の時間差により識別可能であるが、音源がマイクロホン１０１、１０２の集音部を結ぶ線（図中の１点鎖線）を挟んで前後方向のどちらにあるのかは、識別不可能であった。図３で言えば、音源が図中の１点鎖線について対称的なＰの位置とＰ´の位置のどちらにあっても、同様の時間差が生じてしまうからである。
【０００６】
このため、下記非特許文献４に記載された音源定位システムでは、同文献の３．４節で説明しているように、右のマイクロホンを前方に、左のマイクロホンを後方に向けて配置し（同文献のFigure 5参照）、後方からの音は前方からの音よりもこもることから、左右のマイクロホンから入った音の周波数スペクトルの重心をそれぞれ計算して、右の重心が左の重心よりも大きければ前方、左の重心が右の重心よりも大きければ後方と判断している。
【特許文献１】特開２００７−１６４０２７号公報
【非特許文献１】黒柳奨、岩田彰、「パルス伝達型聴覚神経回路モデルによる音源方向知覚−時間差・音圧差の抽出−」、電子情報通信学会技術研究報告、社団法人電子情報通信学会、１９９３年３月、ＮＣ９２−１４９、ｐ．１６３−１７０
【非特許文献２】黒柳奨、岩田彰、「聴覚情報処理システムのためのパルスニューロンモデルを用いた競合学習ニューラルネットワーク」、電子情報通信学会論文誌（Ｄ−ＩＩ）、２００４年７月、第Ｊ８７−Ｄ−ＩＩ巻、第７号、ｐ．１４９６−１５０４
【非特許文献３】二俣宣義、黒柳奨、岩田彰、「ＦＰＧＡのためのパルスニューロンモデルの実装方法」、電子情報通信学会ＮＣ研究会技術研究報告、社団法人電子情報通信学会、２００２年３月、ＮＣ２００１−２１１、ｐ．１２１−１２８
【非特許文献４】シャウアー（Schauer）、グロス（Gross）、「バイノーラル３６０度音源定位システムのモデルとアプリケーション（Model and Application of a Binaural 360°Sound Localization System）」、国際ニューラルネットワーク・ジョイント学会論文集（Proceedings of the International Joint Conference on Neural Networks）、アイ・トリプル・イー・コンピュータ学会（IEEE Computer Society）、２００１年、第２巻、ｐ．１１３２−１１３７
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、非特許文献４の音源定位システムでは、周波数スペクトルの重心を計算するためにＦＦＴ（高速フーリエ変換）を行っており、ＦＦＴ計算機が必要であるため、ハードウェア実装上不利であった。
【０００８】
この発明は、上述した問題を解決するものであり、ハードウェア実装上有利な音源定位装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の音源定位装置は、それぞれ前方指向性を有し、左右に間隔をおいて配設されるとともに、一方は前方に向けて他方は後方に向けて配置された２つのマイクロホンと、前記各マイクロホンで集音された音の時間差情報を、パルスニューロンモデルにより検出する時間差検出手段と、前記各マイクロホンで集音された音の音圧差情報を、パルスニューロンモデルにより検出する音圧差検出手段と、前記時間差検出手段で検出された音の時間差情報に基づいて、左右方向における音源の方向情報をパルスニューロンモデルにより検出する左右方向検出手段と、前記音圧差検出手段で検出された音の音圧差情報に基づいて、前後方向における音源の方向情報をパルスニューロンモデルにより検出する前後方向検出手段と、を備えることを特徴とする。
【００１０】
また、前記左右方向検出手段で検出された左右方向における音源の方向情報と、前記前後方向検出手段で検出された前後方向における音源の方向情報とに基づいて、周囲の複数方向における音源の方向情報をパルスニューロンモデルにより検出する周囲方向検出手段を備えることが好ましい。
【発明の効果】
【００１１】
本発明の音源定位装置は、時間差検出手段がパルスニューロンモデルにより音の時間差情報を検出し、音圧差検出手段がパルスニューロンモデルにより音圧差情報を検出し、左右方向検出手段がパルスニューロンモデルにより左右方向における音源の方向情報を検出し、前後方向検出手段がパルスニューロンモデルにより前後方向における音源の方向情報を検出しており、パルスニューロンモデルは簡単なディジタル回路により実現可能であるため、ハードウェア実装上有利である。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態について図面に基づいて説明する。
【００１３】
音源定位装置１は、図４に示すように、左右のマイクロホン２、３と、マクロフォン２、３が接続された本体部４とを備えている。本体部４は、定位結果を表示する表示装置５に接続されている。
【００１４】
マイクロホン２、３は前方指向性（すなわち、前方側の感度がよい単一指向性）を有している。マイクロホン２、３は、左右に間隔をおいて、マイクロホン２、３の集音部２ａ、３ａが左右方向に並ぶように配置されるとともに、左のマイクロホン２は前方に向けて、右のマイクロホン３は後方に向けて配置されている。マイクロホン２、３は集音部２ａ、３ａで集音した音を電気信号に変換する。音量が大きい程すなわち音圧が大きい程、変換された電気信号の電圧値は高くなる。なお、集音部２ａ、３ａは必ずしも左右方向の一直線上に並ばなくてもよい。かかる場合には、得られたデータに対して適当な補正をすればよい。
【００１５】
本体部４は、図５に示すように、左のマイクロホン２に接続された左の入力信号処理部６と、右のマイクロホン３に接続された右の入力信号処理部７と、入力信号処理部６、７の両方に接続された時間差検出部（時間差検出手段に相当。）８と、入力信号処理部６、７の両方に接続された音圧差検出部（音圧差検出手段に相当。）９と、時間差検出部８に接続された左右方向検出部（左右方向検出手段に相当。）１０と、音圧差検出部９に接続された前後方向検出部（前後方向検出手段に相当。）１１と、左右方向検出部１０及び前後方向検出部１１の両方に接続された８方向検出部（周囲方向検出手段に相当。）１２とを備えている。
【００１６】
入力信号処理部６、７は、左右の入力信号の各々を、周波数帯域毎に、信号強度に応じたすなわち音圧に応じたパルス頻度を持つパルス列に変換するものである。時間差検出部８は、入力信号処理部６、７が出力した左右のパルス列から、左右の音（左右のマイクロホン２、３から入った音）の時間差情報を検出するものである。音圧差検出部９は、左右のパルス列から、左右の音の音圧差情報を検出するものである。左右方向検出部１０は、音源が左方にあるときは右のマイクロホン３よりも左のマイクロホン２から早く、右方にあるときは左のマイクロホン２よりも右のマイクロホン３から早く音が入ってくることを利用して、時間差検出部８が検出した時間差情報から、左右方向における音源の方向情報を検出するものである。前後方向検出部１１は、音源の方を向いているマイクロホンから入った音よりも音源の方を向いていないマイクロホンから入った音の方が音圧が小さくなることを利用して、音圧差検出部９が検出した音圧差情報から、前後方向における音源の方向情報を検出するものである。８方向検出部１２は、左右方向検出部１０及び前後方向検出部１１から出力された情報に基づいて、周囲の８方向における音源の方向情報（音源が８方向のうちのいずれの方向にあるかを示す情報）を出力するものである。
【００１７】
表示部５は、８方向検出部１２から出力された方向情報に基づいて、音源の方向を表示するものである。
【００１８】
入力信号処理部６、７は、図６に示すように、ＡＤ変換部１４Ｌ、１４Ｒと、人の聴覚系の蝸牛に相当する周波数分解部１５Ｌ、１５Ｒと、有毛細胞に相当する非線形変換部１６Ｌ、１６Ｒと、蝸牛神経に相当するパルス変換部１７Ｌ、１７Ｒとを備えている。ＡＤ変換部１４Ｌ、１４Ｒは、マイクロホン２、３から入力された信号をＡＤ変換する。周波数分解部１５Ｌ、１５Ｒは、バンドパスフィルタ（ＢＰＦ）群により構成され、ＡＤ変換された信号を所定の周波数範囲について対数スケールで複数（Ｎ個）の周波数帯域（周波数チャンネル）の信号に分解する。非線形変換部１６Ｌ、１６Ｒは、周波数分解部１５Ｌ、１５Ｒから入力された各周波数帯域の信号に対して、それぞれ、非線形変換を行うことによりその正の成分だけを取り出すとともに、ローパスフィルタ（ＬＰＦ）によりエンベロープ検出を行う。パルス変換部１７Ｌ、１７Ｒは、非線形変換部１６Ｌ、１６Ｒから入力された各周波数帯域の信号を、それぞれ、信号強度に比例したパルス頻度を持つパルス列に変換する。これらの処理により、入力信号処理部６、７は、左右の入力信号の各々を、周波数帯域毎に、信号強度に応じたパルス頻度を持つパルス列に変換する。
【００１９】
入力信号部６、７をハードウェア化する場合は、ＡＤ変換部１４Ｌ、１４ＲはＡＤ変換回路で、周波数分解部１５Ｌ、１５Ｒ、非線形変換部１６Ｌ、１６Ｒ、パルス変換部１７Ｌ、１７Ｒは、それぞれディジタル回路で構成可能である。
【００２０】
時間差検出部８における時間差情報の検出、音圧差検出部９における音圧差情報の検出、左右方向検出部１０における方向情報の検出、前後方向検出部１１における方向情報の検出、及び、８方向検出部１２における方向情報の検出は、いずれも、複数のＰＮモデルにより構成されたパルスニューラルネットワークで行われる。パルスニューラルネットワークは、独立かつ非同期に並列動作可能な複数のＰＮモデルを電子回路として実装することにより実現され、高速処理が可能である。
【００２１】
時間差検出部８は、図７に示すようなＰＮモデルからなる時間差検出モデルと、パルス列をシフトさせつつ時間差検出モデルに入力するための時間遅れ素子１９（図８参照）の列とから構成されている。時間差検出モデルは、非特許文献１等に記載されているものと同様であるので詳説しないが、図８に示すように時間差検出ニューロン（以下、「ＭＳＯニューロン」ともいう。）２０を複数（但し、奇数個）並べたＭＳＯニューロン列を、周波数チャンネル毎に設けたものである。各ＭＳＯニューロン２０は、左のパルス信号が入力される左入力端子２１と、右のパルス信号が入力される右入力端子２２と、出力端子２３とを備え、全ＭＳＯニューロン２０において、左右の入力に対する重みを共通の固定値とし、閾値を重みの２倍又は重みの２倍に内部電位の基準値を加えた値とすること等により、パルス信号が左右から略同時に入力されたときに出力端子２３からパルス信号を出力するように構成される。なお、「略同時」とは、勿論、同時である場合を含む。
【００２２】
そして、時間差検出部８は、時間遅れ素子１９により、１クロック（単位時間）毎に、左のパルス列を右にシフトさせるとともに右のパルス列を左にシフトさせつつ、左右のパルス列を対応する周波数チャンネルのＭＳＯニューロン列に入力する。すなわち、左のパルス信号はＭＳＯニューロン列の一端（図８では左端）から他端（同右端）まで単位時間毎にシフトされつつ順次各ＭＳＯニューロン２０に入力され、右のパルス信号はＭＳＯニューロン列の他端（同右端）から一端（同左端）まで単位時間毎にシフトされつつ順次各ＭＳＯニューロン２０に入力される。
【００２３】
例えば各ＭＳＯニューロン列内のＭＳＯニューロン２０を２Ｊ＋１個とし、各ＭＳＯニューロン２０に−ＪからＪまでの番号を付すと、時刻ｔに、各ＭＳＯニューロン２０は下記［数１］に従って内部電位ＩMSOji（ｔ）を演算し、この内部電位が所定の閾値を超えた場合にはｙji（ｔ）＝１を出力し、超えない場合にはｙji（ｔ）＝０を出力する。なお、ｊはＭＳＯニューロン２０の番号、ｉは周波数チャンネルの番号（ｉ＝１〜Ｎ）とする。下記［数１］において、ｐleftji(t)は左の入力信号に対する局所膜電位、ｐrightji(t)は右の入力信号に対する局所膜電位であり、ｗは全ニューロン２０で共通の結合重み、τは減衰時定数である。
【００２４】
【数１】
0004958172.tif 000002
これにより、時間差検出モデルは、左右からパルス信号が略同時に入ってきた場合にはＭＳＯニューロン列における中央付近のニューロン２０が発火し、パルス信号が右よりも左から早く入ってきた場合にはＭＳＯニューロン列における右側のニューロン２０が発火し、パルス信号が左よりも右から早く入ってきた場合にはＭＳＯニューロン列における左側のニューロン２０が発火するというように、左右の入力信号間の時間差によって変化する発火パターンを、音の時間差情報として出力する。
【００２５】
上述したように各ＭＳＯニューロン列内の各ＭＳＯニューロン２０に−ＪからＪまでの番号を付すと、時刻ｔに、周波数チャンネルｉに対応するＭＳＯニューロン列からは出力パルス列（ｙ-Ji（ｔ），…，ｙ0i（ｔ），…，ｙJi（ｔ））が出力され、時間差検出モデルからは全体として次のようなベクトルｙMSO（ｔ）が時間差情報として出力される。
【００２６】
ｙMSO（ｔ）＝（ｙ-J1（ｔ），…，ｙ01（ｔ），…，ｙJ1（ｔ），
ｙ-J2（ｔ），…，ｙ02（ｔ），…，ｙJ2（ｔ），
…，
ｙ-JN（ｔ），…，ｙ0N（ｔ），…，ｙJN（ｔ））
時間差検出部８は、例えば図９に示すように、ディジタル回路で構成可能である。なお、図９（ａ）は１クロックの前半の動作を、（ｂ）は後半の動作を説明するための図である。この例は、非特許文献３の第５章にも記載されているので詳説しないが、時間差検出部８の各ＭＳＯニューロン２０は、ＡＮＤ回路２４Ｌ、２４Ｒと、加算器２５、２６と、レジスタ２７と、比較器２８と、減衰生成部２９とを備えている。図９（ａ）に示すように、減衰生成部２９は、内部電位（内部ポテンシャル）に対してビットシフトと補数表現を行うことにより、内部電位の減衰分を生成して加算器２６に入力し、加算器２６は内部電位とその減衰分との加算を行って、レジスタ２７内の内部電位を更新する。そして、図９（ｂ）に示すように、ＡＮＤ回路２４Ｌ、２４Ｒは、入力信号が「１」のときのみ結合重みを加算器２５に入力し、加算器２５は入力された結合重みとレジスタ２７に保持されている内部電位との加算を行って、レジスタ２７内の内部電位を更新する。比較器２８は、自らが保持している閾値と、レジスタ２７が保持している内部電位との比較を行って、内部電位が閾値以上であれば信号「１」を出力し、閾値未満であれば信号「０」を出力する。なお、不応期の実装は、不応期をカウントするカウンタを設け、発火から不応期の間は発火しないようにして、発火とともにカウンタをリセットすることにより実現可能である。
【００２７】
音圧差検出部９は、図１０に示すようなＰＮモデルからなる音圧差検出モデルから構成されている。音圧差検出モデルは、上記非特許文献１等に記載されているものと同様であるので詳説しないが、図１１に示すように音圧差検出ニューロン（以下、「ＬＳＯニューロン」ともいう。）４０を複数（但し、奇数個）並べたＬＳＯニューロン列を、周波数チャンネル毎に設けたものである。各ＬＳＯニューロン４０は、左のパルス信号が入力される左入力端子４１と、右のパルス信号が入力される右入力端子４２と、出力端子４３とを備えている。
【００２８】
図１１に示すように、時刻ｔに、各ＬＳＯニューロン列の各ＬＳＯニューロン４０の左入力端子４１、右入力端子４２には、それぞれ、入力信号処理部６から出力された対応する周波数チャンネルｉ（ｉ＝１〜Ｎ）の左のパルス信号ｘlefti(t)、右のパルス信号ｘrighti(t)が入力される。なお、ｋは各ＬＳＯニューロン列内で各ニューロン４０に付された番号であり、−Ｋ≦ｋ≦Ｋである。
【００２９】
すると、各ＬＳＯニューロン４０は、下記［数２］に従って内部電位ＩLSOki(t)を演算し、この内部電位が所定の閾値を超えた場合にはｙki(t)＝１を出力し、閾値以下である場合にはｙki(t)＝０を出力する。なお、閾値は各ＬＳＯニューロン４０で共通の値とする。下記［数２］において、ｐleftki(t)は左の入力信号に対する局所膜電位、ｐrightki(t)は右の入力信号に対する局所膜電位であり、ｗleftkiは左の入力信号に対する結合重み、ｗrightkiは右の入力信号に対する結合重みである。また、τは減衰時定数、ｂ、α、βは定数である。
【００３０】
【数２】
0004958172.tif 000003
上記［数２］に示すように、音圧差検出モデルは、左右の入力信号に対する結合重みが徐々に変化しており、左右の音圧が略同等のときは中央部（番号−ｂからｂまでのニューロン。但し、番号０のニューロンは発火しない。）のニューロン４０しか発火せず、左側の音圧が右側の音圧よりも大きければ中央部から左側のニューロン４０まで、右側の音圧が左側の音圧よりも大きければ中央部から右側のニューロン４０まで発火し、左右の音圧差が大きいほど中央部から離れたニューロンまで発火するように構成されている。なお、結合重みを適当に定めることにより、上記のように各周波数チャンネルにおける中心のＬＳＯニューロン４０は全く発火しないようにしてもよく、また、中心のＬＳＯニューロン４０の両隣の幾つかのニューロン４０は常に発火するようにしてもよい。
【００３１】
上述したように各ＬＳＯニューロン列内の各ＬＳＯニューロン４０に−ＫからＫまでの番号を付すと、時刻ｔに、周波数チャンネルｉに対応するＬＳＯニューロン列からは出力パルス列（ｙ-Ki（ｔ），…，ｙ0i（ｔ），…，ｙKi（ｔ））が出力され、音圧差検出モデルからは全体として次のようなベクトルｙLSO（ｔ）が音圧差情報として出力される。
【００３２】
ｙLSO（ｔ）＝（ｙ-K1（ｔ），…，ｙ01（ｔ），…，ｙK1（ｔ），
ｙ-K2（ｔ），…，ｙ02（ｔ），…，ｙK2（ｔ），
…，
ｙ-KN（ｔ），…，ｙ0N（ｔ），…，ｙKN（ｔ））
各ＬＳＯニューロン４０は、図９のＭＳＯニューロン２０と同様の構成において結合重みや閾値等を適当に変更することにより、ディジタル回路で実現可能である。
【００３３】
左右方向検出部１０、前後方向検出部１１、及び、８方向検出部１２は、いずれも、上記非特許文献２に記載された競合学習ニューラルネットワーク（以下、「ＣＯＮＰ」という。）から構成されている。ＣＯＮＰは、各競合学習ニューロンの閾値を調整することにより競合学習ニューロンが毎回１個だけ発火するように構成されたパルスニューラルネットワークであり、入力ベクトルの量子化を目的とするものである。ＣＯＮＰの構成を図１２に示す。ＣＯＮＰは、競合学習ニューロン群５０と制御ニューロン群６０とから構成され、競合学習ニューロン群５０は複数の競合学習ニューロン（以下、「ＣＬニューロン」ともいう。）５１から構成され、制御ニューロン群はＣＬニューロン５１が１つも発火していないときに発火する無発火検出ニューロン（以下、「ＮＦＤニューロン」ともいう。）６１とＣＬニューロン５１が複数発火しているときに発火する複数発火検出ニューロン（以下、「ＭＦＤニューロン」ともいう。）６２とから構成されている。
【００３４】
ＮＦＤニューロン６１とＭＦＤニューロン６２は、それらの発火状況に応じて各ＣＬニューロン５１の閾値を一律に変化させる（実際には、各ＣＬニューロン５１の内部電位を一律に変化させる）ことで、ＣＬニューロン群５０内でＣＬニューロン５１が１個だけ発火する状況を保持するためのＰＮモデルである。ＮＦＤニューロン６１とＭＦＤニューロン６２は、ＣＬニューロン群５０内のＣＬニューロン５１の数に応じた入力端子と、出力端子とを備え、各ＣＬニューロン５１から出力されたパルス信号を各入力端子で受け取って、ＮＦＤニューロン６１は、全てのＣＬニューロン５１からの信号が「０」の場合にのみ出力端子から「１」を出力し、ＭＦＤニューロン６２は、複数のＣＬニューロン５１から信号「１」を受け取った場合にのみ出力端子から「１」を出力する。
【００３５】
各ＣＬニューロン５１は、図１３に示すように、入力パルスｘ1（ｔ），ｘ2（ｔ），…，ｘi（ｔ），…，ｘn（ｔ）がそれぞれ入力される入力端子５５１、５５２、…、５５ｉ、…、５５ｎと、ＮＦＤニューロン６１、ＭＦＤニューロン６２から出力されたパルス信号ｙnfd（ｔ）、ｙmfd（ｔ）がそれぞれ入力される入力端子５６、５７と、出力端子５８とを備えている。各入力端子５５ｉ（ｉ＝１〜ｎ）は２つに分岐して、一方は可変の結合重みｗhiを有するシナプス部５３ｉに、他方は固定の結合重み「１」を有するシナプス部５４ｉに接続されている。なお、ｈは、ＣＬニューロン群５０内で各ＣＬニューロン５１に付された番号であり、ｈ＝１〜Ｍとする。
【００３６】
ＣＯＮＰの動作について、図１４−１、１４−２に基づいて説明する。ＣＬニューロン群５０内の各ＣＬニューロン５１には、単位時間毎に、ｎ個の入力パルスからなる入力ベクトルｘ（ｔ）＝（ｘ1（ｔ），ｘ2（ｔ），…，ｘi（ｔ），…，ｘn（ｔ））（ｔ：時刻）が入力される（Ｓ１０１）。すると、ＮＦＤニューロン６１、ＭＦＤニューロン６２は、それぞれ、保持しておいた時刻（ｔ−１）における各ＣＬニューロン５１からの出力ｙh（ｔ−１）に基づいて、時刻ｔにおける出力値ｙnfd（ｔ）、ｙmfd（ｔ）を演算して、各ＣＬニューロン５１に出力する（Ｓ１０２、Ｓ１０３）。なお、ＮＦＤニューロン６１、ＭＦＤニューロン６２において、それぞれ、時刻（ｔ−１）に各ＣＬニューロン５１からの出力ｙh（ｔ−１）を用いて出力値ｙnfd（ｔ）、ｙmfd（ｔ）を演算して保持しておき、時刻ｔになったらｙnfd（ｔ）、ｙmfd（ｔ）を各ＣＬニューロン５１に出力するようにしてもよい。
【００３７】
次に、各ＣＬニューロン５１は、それぞれ、内部電位Ｉh（ｔ）（ｈ＝１〜Ｍ）を演算し（Ｓ１０４）（下記［数６］参照）、内部電位Ｉh（ｔ）が閾値ＴＨを超え、かつ、前回の発火時から不応期を経過している場合にはｙh（ｔ）＝１を出力し、それ以外の場合にはｙh（ｔ）＝０を出力する（Ｓ１０５）。
【００３８】
そして、学習時には、「１」を出力したＣＬニューロン５１について、シナプス部５４ｉにおける局所膜電位ｐｃｗiを用いて結合重みｗiを更新するとともに（Ｓ１０６）、そのＣＬニューロン５１の周辺のＣＬニューロン５１についても同様に結合重みを更新する（Ｓ１０７）。周辺のＣＬニューロン５１（すなわち、結合重みの更新範囲）の決定方法としては、例えば、最初は全部のＣＬニューロン５１を更新範囲とし、線形的に範囲を縮小して、最後は勝者ニューロンの結合重みだけを更新するような、次第に縮小する方法がある。そして、結合重みを更新したＣＬニューロン５１について結合重みのノルム（参照ベクトルのノルム）を１に正規化する（Ｓ１０８）。すなわち、このＣＯＮＰにおいては、勝者ニューロンのみならずその周辺のニューロンも学習を行うことにより、自己組織化マップ（ＳＯＭ）のアルゴリズムを実現している。
【００３９】
一方、学習時でない場合（認識時）は、結合重みの更新は行わない。そして、結合重みの更新のための係数αを定数γ（０≦γ）を乗じることにより更新し（Ｓ１０９）、次の入力ベクトルについてステップＳ１０１〜１０８の処理を行う。
【００４０】
ここで、ＣＯＮＰにおける内部電位Ｉh（ｔ）の演算方法について説明する。まず、引数として、時刻ｔ、減衰時定数τ、結合重みｗ、時刻ｔにおける入力信号ｘ（ｔ）の４つを持つ関数Ｆを導入し、下記［数３］のように定義する。なお、△ｔ＝１／Ｆｓ（Ｆｓ：サンプリング周波数）とする。
【００４１】
【数３】
0004958172.tif 000004
すると、時刻ｔにおけるＰＮモデルの内部電位Ｉ（ｔ）は、局所膜電位ｐi（ｔ）（ｉ＝１〜ｎ）の総和として、下記［数４］のように記述できる。τはｐi（ｔ）の減衰時定数である。
【００４２】
【数４】
0004958172.tif 000005
ＰＮモデルの不応期をＲＰ、時刻ｔにおける前回発火からの経過時間をＥＴ（ｔ）とし、ＥＴ（０）＞ＲＰとすると、ＰＮモデルの出力値ｙ（ｔ）は、以下のアルゴリズムにより計算される。
【００４３】
ｉｆ  Ｉ（ｔ）≧ＴＨ  ａｎｄ  ＥＴ（ｔ）＞ＲＰ
ｔｈｅｎ  ｙ（ｔ）＝１，ＥＴ（ｔ）＝０
ｅｌｓｅ  ｙ（ｔ）＝０，ＥＴ（ｔ）＝ＥＴ（ｔ−△ｔ）＋△ｔ
パラメータτ、ｗ1、ｗ2、…、ｗn、ＴＨは、各ＰＮモデルにより可変の値であり、この組合せにより各ＰＮモデルの動作は決定される。
【００４４】
ここで、時刻ｔにおけるＮＦＤニューロン６１、ＭＦＤニューロン６２の出力をそれぞれｙnfd（ｔ）、ｙmfd（ｔ）、各ＣＬニューロン５１のＮＦＤニューロン６１、ＭＦＤニューロン６２に対する結合重みをそれぞれｗfd、−ｗfd（但し、ｗfd＞０）とすると、時刻ｔにおける番号ｈのＣＬニューロン５１の内部電位Ｉh（ｔ）は前述の関数Ｆを用いて下記［数５］のように記述できる。ＣＯＮＰでは、ｐnfd（ｔ）、ｐmfd（ｔ）を閾値の動的変化量として扱う（但し、閾値ＴＨを変化させる代りに、閾値ＴＨと比較する内部電位Ｉh（ｔ）をｐnfd（ｔ）、ｐmfd（ｔ）により調整する）ことでＣＬニューロン５１が１個だけ発火する状態を保持する。このため、減衰時定数τfdは時定数τに対して充分大きいものとする。
【００４５】
【数５】
0004958172.tif 000006
ところで、入力パルス列によって発生する内部電位の総量が大きく変動する場合、この変動量を吸収するために閾値の変化が生じることになり、閾値の変化が入力ベクトルの方向変化に追従できない場合がある。そこで、ＣＯＮＰでは内部電位に対して、結合重みを１に固定したシナプス部５４ｉ（ｉ＝１〜ｎ）における局所膜電位ｐｃｗi（ｔ）の総和を一定の比率βpcw（但し、０≦βpcw≦１）であらかじめ差引くことで、入力信号のノルム変動に対する内部電位の変化を抑制している。これにより上記［数５］のＩh（ｔ）は下記［数６］のように修正され、各ＣＬニューロン５１は［数６］に従って内部電位Ｉh（ｔ）を演算する。なお、ｐｃｗi（ｔ）＝Ｆ（ｔ，τ，１，ｘi（ｔ））である。
【００４６】
【数６】
0004958172.tif 000007
ＣＯＮＰも簡単なディジタル回路によりハードウェア化可能であり、その例を図１５に示す。この例では、ＣＯＮＰは、それぞれＣＬニューロン５１に相当するＭ個のＣＬニューロン部５１Ｈと、ＮＦＤニューロン６１に相当する１個のＮＦＤニューロン部６１Ｈと、ＭＦＤニューロン６２に相当する１個のＭＦＤニューロン部６２Ｈとを備え、さらに、閾値変化量生成部６３、６４と内部電位抑制量生成部６５とを１個ずつ備えている。
【００４７】
各ＣＬニューロン部５１Ｈは、ＣＬニューロン５１の入力端子５１１、…、５１ｎに相当するｎ個の入力端子と、それらの入力端子から入力されたｎ個の入力パルスｘ1（ｔ），ｘ2（ｔ），…，ｘn（ｔ）に対してそれぞれ重みを乗じるｎ個のＡＮＤ回路７１と、各ＡＮＤ回路７１からの出力を内部電位に加算する加算器７２と、ビットシフトと補数表現とにより内部電位を減衰して加算器７２に出力する減衰生成部７３と、加算器７２から出力された内部電位と閾値とを比較する比較器７４とを備え、比較器７４は、内部電位が閾値を超え、かつ、前回の発火時から不応期を経過している場合にはｙh（ｔ）＝１、それ以外の場合にはｙh（ｔ）＝０を出力する。なお、比較器７４には、後述するように、動的な閾値変化量としてｐnfd（ｔ）、ｐmfd（ｔ）が、内部電位の抑制量としてＳpcw（ｔ）が入力され、比較器７４は、これらの値で上記［数６］のように内部電位を調整してから閾値と比較する。
【００４８】
ＮＦＤニューロン部６１Ｈは、Ｍ個のＣＬニューロン部５１Ｈの出力端子にそれぞれ接続されたＭ個の入力端子と、それらの入力端子から入力されたＭ個の入力パルスｙ1（ｔ），ｙ2（ｔ），…，ｙM（ｔ）に対してそれぞれ重みを乗じるＭ個のＡＮＤ回路７６と、各ＡＮＤ回路７６からの出力を内部電位に加算する加算器７７と、ビットシフトと補数表現とにより内部電位を減衰して加算器７７に出力する減衰生成部７８と、加算器７７から出力された内部電位と閾値とを比較して、内部電位が閾値を超え、かつ、前回の発火時から不応期を経過している場合には１、それ以外の場合には０を出力する比較器７９とを備え、Ｍ個の入力パルスが全て０のとき発火するように構成されている。
【００４９】
ＭＦＤニューロン部６２Ｈは、ＮＦＤニューロン部６１Ｈと同様の構成であるが、重みや閾値を変更することにより、Ｍ個の入力パルスのうち複数が１のとき発火するように構成されている。
【００５０】
閾値変化量生成部６３、６４は、それぞれ各ＣＬニューロン部５１ＨにおけるＮＦＤニューロン部６１Ｈからの出力に対する局所膜電位ｐnfd（ｔ）、ｐmfd（ｔ）を生成する部分であり、本来は各ＣＬニューロン部５１Ｈが共通に備える部分であるが、ＣＬニューロン部５１Ｈによって重みや減衰時定数は変わらないので、各ＣＬニューロン部５１Ｈから取り出して全体で１個としたものである。
【００５１】
閾値変化量生成部６３は、ＮＦＤニューロン部６１Ｈからの出力に対して重みｗfdを乗じるＡＮＤ回路８１と、ＡＮＤ回路８１からの出力を局所膜電位に加算する加算器８２と、ビットシフトと補数表現とにより局所膜電位を減衰して加算器８２に出力する減衰生成部８３とを備え、閾値の動的変化量として、加算器８２から局所膜電位ｐnfd（ｔ）を各ＣＬニューロン部５１Ｈの比較器７４に出力する。
【００５２】
閾値変化量生成部６４は、閾値変化量生成部６３と同様の構成を有し、各ＣＬニューロン部５１ＨにおけるＭＦＤニューロン部６２Ｈからの出力に対する局所膜電位ｐmfd（ｔ）を生成して、閾値の動的変化量として、各ＣＬニューロン部５１Ｈの比較器７４に出力する。
【００５３】
内部電位抑制量生成部６５は、上述した入力信号のノルム変動に対する内部電位の変化の抑制量Ｓpcw（ｔ）を生成する部分であり、本来は、各ＣＬニューロン部５１Ｈにおいて、固定重み１のシナプス部５４ｉにおける局所膜電位ｐｃｗi（ｔ）の総和に一定の比率βpcwを乗じて生成するものであるが、ＣＬニューロン部５１Ｈによって重みや減衰時定数は変わらないので、各ＣＬニューロン部５１Ｈから取り出して全体で１個としたものである。内部電位抑制量生成部６５は、ｎ個の入力パルスに対してそれぞれ固定の重みを乗じるＡＮＤ回路８６と、ＡＮＤ回路８６からの出力を内部電位に加算する加算器８７と、ビットシフトと補数表現とにより内部電位を減衰して加算器８７に出力する減衰生成部８８とを備え、内部電位を抑制量Ｓpcw（ｔ）として、加算器８７から各ＣＬニューロン部５１Ｈの比較器７４に出力する。なお、各ＡＮＤ回路８６における重みを上記比率βpcwとすることで、比率βpcwの乗算を実現している。
【００５４】
なお、図１５に示すＣＯＮＰのハードウェア構成例では、学習機構（各ＣＬニューロン部５１Ｈにおける重みの更新機構）は搭載されていない。これは、学習は後述するようなソフトウェアによるシミュレーションで行って、重みを決定しておき、その重みをハードウェア上に設定すればよいからである。勿論、学習機構のハードウェア化も可能であるが、回路構成の容易化や回路サイズの縮小のためには、学習をソフトウェア上で行って重みを決定する方がよい。
【００５５】
左右方向検出部１０は、図１６に示すように、ＣＬニューロン５１を複数（ここでは１６個）有するＣＯＮＰから構成されている。１６個のＣＬニューロン５１は、番号１のものから番号１６のものまで１列に並べられており、番号が近いものほど距離が近いとする。各ＣＬニューロン５１には、時間差検出部８から出力された時間差情報（ここではベクトルｙMSO（ｔ））が入力される。左右方向検出部１０は、学習の結果、入力ベクトルｙMSO（ｔ）をその類似関係を保持したまま量子化可能となる。すなわち、左右方向検出部１０は、認識時には、互いに類似度の高いベクトルが入力されたときは互いに近いＣＬニューロン５１が発火し、互いに類似度の低いベクトルが入力されたときは互いに遠いＣＬニューロン５１が発火することとなる。これにより、認識時には、左右方向検出部１０からは、音源の左右方向における方向情報が、どのＣＬニューロン５１が発火するかで示されることとなる。
【００５６】
前後方向検出部１１も、図１６に示すように、左右方向検出部１０と同様に１列に並べられた１６個のＣＬニューロン５１を有するＣＯＮＰから構成され、各ＣＬニューロン５１には、音圧差検出部９から出力された音圧差情報（ここではベクトルｙLSO（ｔ））が入力される。前後方向検出部１１は、左右方向検出部１０と同様に、学習の結果、入力ベクトルｙLSO（ｔ）をその類似関係を保持したまま量子化可能となり、認識時には、音源の前後方向における方向情報が、どのＣＬニューロン５１が発火するかで示されることとなる。
【００５７】
８方向検出部１２は、図１６に示すように、ＣＬニューロン５１を複数（ここでは、識別しようとする方向に応じて８個）有したＣＯＮＰから構成されている。８個のＣＬニューロン５１は、番号１のものから番号８のものまで１列に並べられており、番号が近いものほど距離が近いものとする。各ＣＬニューロン５１には、左右方向検出部１０から出力された１６個のパルスと、前後方向検出部１１から出力された１６個のパルスとからなる３２個のパルスを要素とするベクトルが入力される。８方向検出部１２は、学習の結果、入力ベクトルをその類似関係を保持したまま量子化可能となり、認識時には、８方向検出部１２からは、周囲の８方向における音源の方向情報が、どのＣＬニューロン５１が発火するかで示されることとなる。
【００５８】
上述したようにＣＯＮＰは簡単なディジタル回路で実現可能であることから、左右方向検出部１０、前後方向検出部１１、及び、８方向検出部１２も簡単なディジタル回路で実現可能である。
【００５９】
以下に、音源定位装置１の本体部４をコンピュータ上にソフトウェアで実現し、シミュレーションを行った結果について説明する。実験は無響室で、スピーカである音源Ｓを前方指向性のマイクロホン２、３に対して図１７に示すように配置して行った。なお、マイクロホン２、３間の間隔を３０cm、図１７（ａ）のように置いたときのマイクロホン２、３の中間点Ｃから音源Ｓまでの距離を１００cm、図中の矢印方向を音源定位装置１にとっての前方とした。そして、音源Ｓのマイクロホン２、３に対する位置を、図１７（ａ）〜（ｈ）のように４５°ずつ変化させた各位置において、コンピュータにより生成したホワイトノイズを音源Ｓから発し、マイクロホン２、３から集音した音を本体部４に入力した。実験パラメータを表１〜５に示す。
【００６０】
【表１】
0004958172.tif 000008
【００６１】
【表２】
0004958172.tif 000009
【００６２】
【表３】
0004958172.tif 000010
【００６３】
【表４】
0004958172.tif 000011
【００６４】
【表５】
0004958172.tif 000012
また、音源を０°〜３１５°の各位置においたときの時間差検出部８の出力結果を図１８−１〜１８−８に、音圧差検出部９の出力結果を図１９−１〜１９−８に示す。これらの出力結果において各マスの濃淡はニューロンの発火頻度を表す。
【００６５】
なお、左右方向検出部１０及び前後方向検出部１１における学習は、図１４−２で示したようなＳＯＭに基づく教師なし学習を行い、８方向検出部１２における学習は、一般的な教師あり学習であるＬＶＱに基づく学習を行った。すなわち、８方向検出部１２においては、番号１〜８のＣＬニューロン５１をそれぞれ０°〜３１５°の方向を示すＣＬニューロン５１と決め、データを入力した場合に発火したＣＬニューロン５１が正しければ（例えば、０°のデータを入力した場合に発火したＣＬニューロン５１が番号１であれば）、そのＣＬニューロン５１の参照ベクトルを入力ベクトルに近づけ、間違っていればそのＣＬニューロン５１の参照ベクトルを入力ベクトルから遠ざける学習を行った。学習は勝者ニューロンのみが行うものとした。
【００６６】
学習後、図１７（ａ）〜（ｈ）の各位置において音源Ｓからホワイトノイズを発し、音源定位装置１に認識を行わせたときの左右方向検出部１０、前後方向検出部１１、８方向検出部１２からの出力結果を、それぞれ、表６、７、８に示す。
【００６７】
【表６】
0004958172.tif 000013
【００６８】
【表７】
0004958172.tif 000014
【００６９】
【表８】
0004958172.tif 000015
表６〜８は、各方向から入力信号（ホワイトノイズ）をある時間発し続けた場合の各ＣＬニューロン５１の発火率を示している。なお、表６、７によれば、左右方向検出部１０と前後方向検出部１１のいずれか一方の出力のみで全周方向における識別が可能に見えるが、これは人工的に生成されたホワイトノイズを入力音に用いたからであって、実際の音ではいずれか一方の出力のみでは識別は困難である。
【００７０】
表８においてNo.１〜８は８方向検出部１２のＣＬニューロン５１の番号である。例えば０°の方向（図１７（ａ）に示す位置）から入力信号を発した場合、ＣＬニューロン５１の発火率はNo.１が99.4％、No.２〜７が0.0％、No.８が0.6％である。同様に、４５°の方向（図１７（ｂ）に示す位置）の場合には、No.２の発火率が86.1％、９０°の方向（図１７（ｃ）に示す位置）の場合には、No.３の発火率が92.6％である等、８方向検出部１２では、入力信号の方向に応じたＣＬニューロン５１の発火頻度が最高となっていることが分かり、周囲の８方向におけるいずれの方向から入力信号が来たかが、ＣＬニューロン５１の発火により識別できることが分かる。
【００７１】
以上述べたように、音源定位装置１は、時間差検出部８が音の時間差の検出を行い、音圧差検出部９が音圧差の検出を行い、左右方向検出部１０が時間差情報のベクトル量子化を行って左右方向における方向情報として出力し、前後方向検出部１１が音圧差情報のベクトル量子化を行って前後方向における方向情報として出力し、８方向検出部１２が左右方向及び前後方向における方向情報のベクトル量子化を行って周囲の８方向における方向情報として出力する。これらの検出はＰＮモデルで行われ、ベクトル量子化はＰＮモデルからなるＣＯＮＰにより行われる。ＰＮモデルは上述したように簡単なディジタル回路で実現可能であるため、時間差検出部８、音圧差検出部９、左右方向検出部１０、前後方向検出部１１、及び、８方向検出部１２も簡単なディジタル回路で実現可能であり、ＦＰＧＡへの搭載も容易である。したがって、音源定位装置１はハードウェア実装上有利である。そして、時間差検出部８等をディジタル回路で実現すれば、各ＰＮモデルにおける演算はディジタル回路上で並列的に実行されることとなるため、実用的な演算速度を実現可能である。
【００７２】
なお、音源定位装置１では、８方向検出部１２を設けて、左右方向検出部１０及び前後方向検出部１１からの出力を８方向検出部１２に入力し、８方向検出部１２から周囲の複数方向における音源の方向情報を出力するようにしたが、８方向検出部１２を設けるか否かは任意である。例えば８方向検出部１２を設けずに、左右方向検出部１０から出力された方向情報に基づいて左右方向における方向を推定し、前後方向検出部１１から出力された方向情報に基づいて前後方向における方向を推定して、それらの推定結果をそのまま表示装置５に出力して表示するようにしてもよい。但し、８方向検出部１２のような周囲方向検出手段を設ければ、音源の方向識別が容易である。
【図面の簡単な説明】
【００７３】
【図１】ＰＮモデルの模式図である。
【図２】ＰＮモデルをディジタル回路で構成した例である。
【図３】従来の音源定位の方法を説明するための図である。
【図４】本発明の一実施形態に係る音源定位装置の平面図である。
【図５】同音源定位装置の構成を示すブロック図である。
【図６】入力信号処理部の構成を示すブロック図である。
【図７】時間差検出モデルの模式図である。
【図８】ＭＳＯニューロン列の構成を示す図である。
【図９】時間差検出部をディジタル回路で構成した例であり、（ａ）は１クロックの前半の動作を、（ｂ）は後半の動作を説明するための図である。
【図１０】音圧差検出モデルの模式図である。
【図１１】ＬＳＯニューロン列の構成を示す図である。
【図１２】ＣＯＮＰの模式図である。
【図１３】ＣＯＮＰにおけるＣＬニューロンの模式図である。
【図１４−１】ＣＯＮＰの動作を示すフローチャートである。
【図１４−２】ＣＯＮＰの動作を示すフローチャートである。
【図１５】ＣＯＮＰをディジタル回路で構成した例である。
【図１６】時間差検出部、音圧差検出部、左右方向検出部、前後方向検出部、及び、８方向検出部の模式図である。
【図１７】実験における音源の位置を示す図である。
【図１８−１】音源を０°の位置に置いた場合の時間差検出部の出力を示す図である。
【図１８−２】音源を４５°の位置に置いた場合の時間差検出部の出力を示す図である。
【図１８−３】音源を９０°の位置に置いた場合の時間差検出部の出力を示す図である。
【図１８−４】音源を１３５°の位置に置いた場合の時間差検出部の出力を示す図である。
【図１８−５】音源を１８０°の位置に置いた場合の時間差検出部の出力を示す図である。
【図１８−６】音源を２２５°の位置に置いた場合の時間差検出部の出力を示す図である。
【図１８−７】音源を２７０°の位置に置いた場合の時間差検出部の出力を示す図である。
【図１８−８】音源を３１５°の位置に置いた場合の時間差検出部の出力を示す図である。
【図１９−１】音源を０°の位置に置いた場合の音圧差検出部の出力を示す図である。
【図１９−２】音源を４５°の位置に置いた場合の音圧差検出部の出力を示す図である。
【図１９−３】音源を９０°の位置に置いた場合の音圧差検出部の出力を示す図である。
【図１９−４】音源を１３５°の位置に置いた場合の音圧差検出部の出力を示す図である。
【図１９−５】音源を１８０°の位置に置いた場合の音圧差検出部の出力を示す図である。
【図１９−６】音源を２２５°の位置に置いた場合の音圧差検出部の出力を示す図である。
【図１９−７】音源を２７０°の位置に置いた場合の音圧差検出部の出力を示す図である。
【図１９−８】音源を３１５°の位置に置いた場合の音圧差検出部の出力を示す図である。
【符号の説明】
【００７４】
１…音源定位装置
２、３…マイクロホン
８…時間差検出部
９…音圧差検出部
１０…左右方向検出部
１１…前後方向検出部
１２…８方向検出部
【図１】
0004958172.tif 000016
【図２】
0004958172.tif 000017
【図３】
0004958172.tif 000018
【図４】
0004958172.tif 000019
【図５】
0004958172.tif 000020
【図６】
0004958172.tif 000021
【図７】
0004958172.tif 000022
【図８】
0004958172.tif 000023
【図９】
0004958172.tif 000024
【図１０】
0004958172.tif 000025
【図１１】
0004958172.tif 000026
【図１２】
0004958172.tif 000027
【図１３】
0004958172.tif 000028
【図１４−１】
0004958172.tif 000029
【図１４−２】
0004958172.tif 000030
【図１５】
0004958172.tif 000031
【図１６】
0004958172.tif 000032
【図１７】
0004958172.tif 000033
【図１８−１】
0004958172.tif 000034
【図１８−２】
0004958172.tif 000035
【図１８−３】
0004958172.tif 000036
【図１８−４】
0004958172.tif 000037
【図１８−５】
0004958172.tif 000038
【図１８−６】
0004958172.tif 000039
【図１８−７】
0004958172.tif 000040
【図１８−８】
0004958172.tif 000041
【図１９−１】
0004958172.tif 000042
【図１９−２】
0004958172.tif 000043
【図１９−３】
0004958172.tif 000044
【図１９−４】
0004958172.tif 000045
【図１９−５】
0004958172.tif 000046
【図１９−６】
0004958172.tif 000047
【図１９−７】
0004958172.tif 000048
【図１９−８】
0004958172.tif 000049