(57)【要約】【課題】自律行動型の装置が環境との相互作用を通じて、要素行動モジュールの調停規則を自己組織的に獲得し、装置が自らの行動を自律的に制御することを可能とする制御システムおよび制御方法を提供する。【解決手段】環境からの情報である抗原ｉの、要素行動と結び付けられた抗体モジュールＡｍｉに対する刺激条件と抑制条件とに基づいて抗体モジュールＡｍｉの活性度ａiを演算し、活性度ａiに応じて選択された抗体モジュールＡｍｉの要素行動に基づいて、装置を自律的に行動させるための制御システム１であって、抗原ｉに対して抗体モジュールＡｍｉを自動的に対応付けるための免疫応答ネットワーク部７と、装置の行動の結果に応じて、活性度ａiを演算するために必要な抗原ｉの抗体モジュールＡｍｉに対する刺激条件の影響度αiおよび抑制条件の影響度βijを変化させるための学習部３と、を備える。【選択図】  図１
2005258697.tif 000002
【特許請求の範囲】
【請求項１】
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、算出された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御システムであって、
前記装置の行動の結果に応じて、前記活性度を演算するために必要な前記抗原の前記抗体モジュールに対する前記刺激条件の影響度および前記抑制条件の影響度を変化させるための学習部を備えることを特徴とする制御システム。
【請求項２】
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、演算された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御システムであって、
前記抗原に対して前記抗体モジュールを自動的に対応付けるための免疫応答ネットワーク部を備えることを特徴とする制御システム。
【請求項３】
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、演算された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御システムであって、
前記抗原に対して前記抗体モジュールを自動的に対応付けるための免疫応答ネットワーク部と、
前記装置の行動の結果に応じて、前記活性度を演算するために必要な前記抗原の前記抗体モジュールに対する前記刺激条件の影響度および前記抑制条件の影響度を変化させるための学習部と、
を備えることを特徴とする制御システム。
【請求項４】
前記学習部は、装置がとった行動の履歴を記憶し、前記刺激条件の影響度および前記抑制条件の影響度を変化させる際に前記履歴を参照するための履歴記憶部を備えることを特徴とする請求項１または請求項３に記載の制御システム。
【請求項５】
前記学習部は、前記刺激条件の影響度および前記抑制条件の影響度を遺伝的アルゴリズムを用いて変化させるように構成されていることを特徴とする請求項１または請求項３に記載の制御システム。
【請求項６】
前記学習部で用いられる前記遺伝的アルゴリズムの進化過程において、前記刺激条件の影響度と前記抑制条件の影響度のうち、少なくとも１つの値を変化させる揺らぎ発生を行うことを特徴とする請求項５に記載の制御システム。
【請求項７】
前記免疫応答ネットワーク部は、ベクトル量子化の手法により前記抗原に対して前記抗体モジュールを自動的に対応付けるように構成されていることを特徴とする請求項２乃至請求項６のいずれか一項に記載の制御システム。
【請求項８】
前記免疫応答ネットワーク部は、前記抗原に対応付けるべき抗体モジュールが既存の抗体モジュールの中にない場合には、新たに抗体モジュールを生成するように構成されていることを特徴とする請求項７に記載の制御システム。
【請求項９】
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、算出された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御方法であって、
前記装置の行動の結果に応じて、前記活性度を演算するために必要な前記抗原の前記抗体モジュールに対する前記刺激条件の影響度および前記抑制条件の影響度を変化させる学習処理を行うことを特徴とする制御方法。
【請求項１０】
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、演算された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御方法であって、
前記抗原に対して前記抗体モジュールを自動的に対応付ける免疫応答処理を行うことを特徴とする制御方法。
【請求項１１】
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、演算された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御方法であって、
前記抗原に対して前記抗体モジュールを自動的に対応付ける免疫応答処理と、
前記装置の行動の結果に応じて、前記活性度を演算するために必要な前記抗原の前記抗体モジュールに対する前記刺激条件の影響度および前記抑制条件の影響度を変化させる学習処理と、
を行うことを特徴とする制御方法。
【請求項１２】
前記学習処理では、装置がとった行動の履歴を記憶し、前記刺激条件の影響度および前記抑制条件の影響度を変化させる際に前記履歴を参照することを特徴とする請求項９または請求項１１に記載の制御方法。
【請求項１３】
前記学習処理では、前記刺激条件の影響度および前記抑制条件の影響度を遺伝的アルゴリズムを用いて変化させることを特徴とする請求項９または請求項１１に記載の制御方法。
【請求項１４】
前記学習処理で用いられる前記遺伝的アルゴリズムの進化過程において、前記刺激条件の影響度と前記抑制条件の影響度のうち、少なくとも１つの値を変化させる揺らぎ発生を行うことを特徴とする請求項１３に記載の制御方法。
【請求項１５】
前記免疫応答処理では、ベクトル量子化の手法により前記抗原に対して前記抗体モジュールを自動的に対応付けることを特徴とする請求項１０乃至請求項１４のいずれか一項に記載の制御方法。
【請求項１６】
前記免疫応答処理では、前記抗原に対応付けるべき抗体モジュールが既存の抗体モジュールの中にない場合には、新たに抗体モジュールを生成することを特徴とする請求項１５に記載の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御システムおよび制御方法に係り、特に、生体が有する免疫系をモデル化した行動型人工知能による自律行動型の装置の行動を制御する制御システム及び制御方法に関する。
【背景技術】
【０００２】
近年、行動型人工知能による制御手法として、生体が有する情報処理機構を工学的にモデル化することにより、ロボット等の装置を自律的に制御する手法が注目されている。この種の生体の情報処理機構は、脳神経系や遺伝系、内分泌系、免疫系等のサブシステムに分類される。これらのサブシステムは、それぞれ特色ある機構を有しており、脳神経系や遺伝系に関しては、従来から、ニューラルネットワークや遺伝的アルゴリズム等としてそれぞれ工学的にモデル化され、種々の分野で利用や応用が図られている。
【０００３】
免疫系については、前記脳神経系等に比べて工学的応用がやや遅れていた。しかし、近年の免疫学的研究の飛躍的発展に伴い、解明されつつある免疫系の情報処理機構をモデル化して行動型人工知能に応用し、例えば、未知の環境や動的な環境において自律的に行動制御を行う装置の制御システムや制御方法に免疫系の情報処理機構を取り入れるための研究や開発等が盛んに行われている。
【０００４】
免疫系は、外部から体内に侵入する膨大な数の細菌、ウィルス等や体内で癌化した癌細胞等の種々の異物を体内から排除して生体を守るための機構である。免疫系は、多様な細胞やタンパク質が関与する非常に複雑なシステムであるが、以下、そのメカニズムの骨格について、図１９および図２０を参照しながら簡単に説明する。
【０００５】
免疫系の主な構成要素は、リンパ球と呼ばれる細胞群であり、リンパ球は、骨髄（bone marrow）由来のＢ細胞と胸腺（thymus）で分化するＴ細胞の２種類に分類される。Ｂ細胞は、その細胞膜の表面にＹ字型のタンパク質である抗体（antibody）を発現させており、抗体は、Ｙ字状に二股に分かれたそれぞれの先端部分で異物である抗原（antigen）と結合できるようになっている（図２０参照）。
【０００６】
具体的に言えば、抗原Ａｇには、その抗原に特有の構造を持つ抗原決定基（エピトープＥ）と呼ばれる部位があり、抗体Ａｂは、Ｙ字状に二股に分かれたそれぞれの先端部分に抗原ＡｇのエピトープＥと結合可能な抗原結合部位（パラトープＰ）と呼ばれる部位を有している。抗体ＡｂのパラトープＰは、１つのＢ細胞に発現している複数の抗体ではすべて同じ構造をしているが、違うＢ細胞に発現している抗体同士を比較するとそれらのパラトープの構造は互いに異なる。そして、抗原ＡｇのエピトープＥと「鍵と鍵穴」の関係にあるパラトープＰを持つ抗体Ａｂだけが、その抗原Ａｇと特異的に結合することができる（抗原抗体反応）。
【０００７】
抗原Ａｇが抗体Ａｂに結合すると、その抗体Ａｂを発現したＢ細胞が刺激されて活性化されると同時に、Ｂ細胞はＴ細胞に抗原Ａｇを提示して体内に異物が侵入していることを知らせる（抗原提示。図１９参照）。
【０００８】
Ｂ細胞から抗原提示を受けたＴ細胞は、ヘルパーＴ細胞やサプレッサーＴ細胞等に分化する。ヘルパーＴ細胞は、そのＢ細胞を刺激して増殖させ、増殖したＢ細胞は、パラトープＰ等の構造が同一で細胞から遊離した状態の抗体を多数産生して分泌する。そして、分泌されて濃度が増加した抗体が抗原に結合することにより抗原を抑圧し、最終的には抗原（異物）が体内から排除される。また、サプレッサーＴ細胞は、このようなヘルパーＴ細胞による作用が過剰になることを防ぐために、その効果を打ち消して免疫反応を抑制するように働くと考えられている。
【０００９】
以上のような、Ｂ細胞やＴ細胞等が刺激抑制作用を通じて協働して抗原を排除する仕組みは、免疫応答ネットワークと呼ばれている。生体の免疫系は、この免疫応答ネットワークを構成するＢ細胞として、パラトープＰの構造がそれぞれ異なる膨大な数のＢ細胞をあらかじめ用意しておき、未知の環境や絶えず変化する環境から体内に侵入してくる多種多様な抗原（異物）や体内で癌化した癌細胞に対して、１種類の抗原に対して１種類の抗体を割り当てて（正確には抗原Ａｇの１種類のエピトープＥに対して１種類の抗体ＡｂのパラトープＰを対応させて）対処するという戦略で、個体の存続を図っている。
【００１０】
このような生体の免疫系を工学的にモデル化して応用する手法として、種々の手法が提案されている。特に、前述したような未知の環境や動的な環境における自律行動型の装置の制御システムや制御方法に免疫系の機構を応用する手法としては、装置のセンサ等が検出した外部環境や装置の内部状態に関する情報を抗原として捉える手法が用いられることが多い。
【００１１】
そして、それに対して、前進や後退、右折、左折等の各要素行動と結び付けられたパラトープを持つ抗体モジュールをあらかじめ多数用意しておき、その抗体モジュールの中から前記抗原に対して１対１に対応する抗体モジュールが選択されることにより、装置の行動が自律的に決定されるという手法が提案されている（非特許文献１および非特許文献２参照）。
【００１２】
その際、装置のセンサ等からもたらされる抗原（情報）は、例えば、「前方に目的地がある」という単独の抗原である場合もあるが、この抗原とともに「前方に障害物がある」という情報や「装置のエネルギーレベルが低い」という情報等の複数の抗原が同時にもたらされる場合もある。このように同時にもたらされる複数の抗原に対して、装置がとり得る行動は１つしかない場合には、これらの複数の抗原に対応する複数の抗体モジュールの要素行動、すなわちこの例の場合では、「前進」、「右折」、「充電ステーションを探す」等の要素行動の調停を行って、その中から適切な要素行動を選択しなければならない。
【００１３】
そのため、このような装置の制御システムでは、通常、抗体モジュールについて計算可能な「濃度」や「活性度」という概念が導入される。そして、抗原の刺激により最終的に最も濃度や活性度が高くなった抗体モジュールを選択したり、濃度等に応じたルーレット選択等により抗体モジュールを選択することで、その抗体モジュールを構成する要素行動を装置の行動として選択し、装置に自律的にその行動をとらせるように構成される。
【００１４】
例えば、非特許文献１に記載された手法では、抗体モジュールの濃度を、生体の免疫系についての研究において提唱された抗体間のネットワーク仮説（図１９ではイディオタイプネットワークとして表現されている。）を応用して計算する。この仮説は、抗原のみならず抗体自体も抗原決定基としてイディオトープＩ（図２０参照）を持っており、このイディオトープＩが他の抗体のパラトープと結合してその抗体を刺激し（逆にイディオトープＩを持つ抗体Ａｂは他の抗体のパラトープに結合されて抑制され）、この「他の抗体」のイディオトープがさらに別の抗体のパラトープと刺激抑制の関係を形成するという連鎖により、抗体が互いに反応しながら１つのネットワークを形成するという仮説である。
【００１５】
そのため、この手法に用いられる抗体モジュールは、図２１に示すような構造をとり、抗体モジュールｉは、「前方に目的地がある」等の抗原から刺激を受ける刺激条件モジュールと「前進」等の要素行動モジュールからなるパラトープの部分と、他の抗体モジュールの番号ｊとその抗体モジュールｊとの刺激・抑制の強度を示す親和性ｍijの組からなるイディオトープの部分とから構成される。また、各抗体モジュールｉは、抗体モジュールを選択する際の指標となる濃度パラメータを持つ。
【００１６】
この手法を用いて、仮に、装置が行動するごとにエネルギーを少しずつ消費する状態でエリア内のゴミを回収して回収場所に運ぶという問題を解く場合、まず、抗原として、各センサから、例えば、「前方にゴミがある」という情報（抗原１）と、「右方に充電ステーション（Ｓ）がある」という情報（抗原２）と、「エネルギーが低い」という情報（抗原３）が入力される。すると、図２２に示すように、抗原１、２、３に対応する各抗体モジュール１、２、３が刺激される。
【００１７】
そして、引き続き、それらの抗体モジュール間で刺激抑制作用が生じる。すなわち、抗原１により刺激された抗体モジュール１は、イディオトープに記載された抗体モジュール３を刺激し、抗体モジュール３は抗体モジュール１を抑制する。同様にして、抗体モジュール３は抗体モジュール２を刺激して、自らは抑制される。抗体モジュール２は、抗体モジュール４を刺激し抗体モジュール４から抑制を受ける関係にあるが、この場合、抗体モジュール４はもともと抗原からの刺激を受けていないので、抗体モジュール２は抗体モジュール４からの抑制を受けない。このようにして、結局、抗原２に対応する抗体モジュール２の濃度が最も高くなり、抗体モジュール２のパラトープの「右回転」という要素行動モジュールが選択され、右方の充電ステーション（Ｓ）の方を向くという行動が選択される。
【００１８】
一方、前記の抗原１、抗原２、および「エネルギーが高い」という抗原４が入力されれば、今度は、図２２の各抗体モジュール１、２、４間の破線で示した刺激抑制関係が作用し、他の抗体モジュールから抑制を受けない抗体モジュール１の濃度が最も高くなって、抗体モジュール１のパラトープの「拾う」という要素行動モジュールが選択され、前方のゴミを拾うという行動が適切に選択される。
【００１９】
このように、この手法は、抗原により刺激を受けた抗体モジュール間の刺激抑制関係により各抗体モジュールの濃度を計算するものであるが、実際の計算においては、下記の（１）式および（２）式からその濃度を求める。
【００２０】
【数１】
2005258697.tif 000003
【００２１】
【数２】
2005258697.tif 000004
【００２２】
ここで、ａi（ｔ）は計算ステップｔにおける抗体モジュールｉの濃度であり、ｍijは前述したように抗体モジュールｉのパラトープと抗体モジュールｊのイディオトープとの親和性を表す。また、Ａi（ｔ）は濃度ａi（ｔ）を計算するための媒介変数であり、Ｎは刺激・抑制する抗体モジュールの総数、ｍiは抗体モジュールｉと抗原との親和性、ｄは自然消滅係数、Δｔは濃度計算のステップ幅を表す。非特許文献１に記載の手法では、濃度計算において、各抗体モジュールの初期濃度を、例えば、０．０１とし、濃度ａi（ｔ）が０．７を超える抗体モジュールが現れるまで濃度計算を繰り返し、そのような濃度を持つ抗体モジュールが現れた時点で、各抗体モジュールの濃度に比例した確率でルーレット選択により１つの抗体モジュールを選択するものとされている。
【００２３】
しかし、この手法では、各抗体モジュールについて前記（１）式および（２）式の計算を繰り返して行わなければならず、装置は、複数の抗原に対して必ずしも即応的に行動をとることができないとして、非特許文献２では、非特許文献１に記載された手法で前提とされていた抗体モジュール間の刺激抑制関係（すなわち抗体間のネットワーク仮説）を考慮せず、抗原と抗体モジュール間にのみ刺激抑制関係があるとしてモデル化した非ネットワーク型免疫システムによる行動調停機構に関する手法が提案されている。
【００２４】
この手法に用いられる抗体モジュールは、図２３に示すような構造をとり、抗体モジュールｉは、抗原ｉから刺激を受ける刺激条件モジュールと要素行動モジュールからなるパラトープの部分と、他の抗原ｊ（ｊ≠ｉ）からの抑制条件モジュールからなるアンチパラトープの部分とから構成される。
【００２５】
抗体モジュールｉの活性度（前述した濃度と同様の意味を持つ。）は、下記の（３）式により計算される。
【００２６】
【数３】
2005258697.tif 000005
【００２７】
例えば、前述した問題において、装置の各センサ装置から「前方にゴミがある」（抗原１）、「右方に充電ステーション（Ｓ）がある」（抗原２）、「エネルギーが低い」（抗原３）という３つの抗原が入力されたとすると、抗体モジュール１（図２４参照）の活性度ａ1は、刺激条件としての抗原１の抗体モジュール１への影響度α1と、抑制条件としての抗原２および抗原３の抗体モジュール１への影響度β12およびβ13の積α1β12β13で表される（ａ1＝α1β12β13）。また、この場合、「エネルギーが高い」という抗原４は入力されていないので、抗体モジュール１が持つ抑制条件４は発生していない。そのため、（３）式では、β14に抑制条件ｊが未発生の場合の１／β14が掛かるから、その積が１となる。つまり、（３）式によれば、入力されていない抗原は抗体モジュールの活性度計算には何ら影響を及ぼさない。
【００２８】
また、同様にして、抗体モジュール２の活性度ａ2はα2β21β23、抗体モジュール３のａ3はα3β31β32と表され、抗体モジュール４の活性度ａ4は、抗原４が入力されていないためＣipが刺激条件未発生の場合の０となるため、ａ4＝０である。なお、抗体モジュール３および抗体モジュール４においては、エネルギーが低い状態とエネルギーが高い状態は同時には発生しないから、互いに抑制することは生じ得ない。従って、各抗体モジュール３、４のアンチパラトープには、抗原４または抗原３からの抑制条件はもともと入っていない。
【００２９】
このようにして計算された抗体モジュール１〜４の活性度ａ1〜ａ4のうち、最も値が大きい活性度を持つ抗体モジュールが選ばれ、その抗体モジュールのパラトープを構成する要素行動モジュールが選択されて、装置の行動が決定される。装置のエネルギーが高い場合も、同様にして行動が決定される。逆の言い方をすれば、装置の行動が適切に選択されるように（３）式のαやβの値が調整される。
【非特許文献１】近藤  敏之、外２名、「生体内免疫系を参考にした自律移動ロボットの行動調停機構の創発的生成に関する一手法」、計測自動制御学会論文集、１９９７年１月９日、第３３巻、第１号、ｐ．１−９
【非特許文献２】野原  勉、外１名、"非ネットワーク型人工免疫システムおよびその無人搬送車システムへの応用（Non-network Type Artificial Immune System and its Application to Automated Guided Vehicle (AGV) System）"、Journal of Advanced Computation Intelligence、２０００年、第４巻、第１号、ｐ．１１１−１１９
【発明の開示】
【発明が解決しようとする課題】
【００３０】
前述したように、前記非特許文献１および非特許文献２に記載された手法は、行動型人工知能の１つとして生体が有する免疫系をモデル化したものである。しかしながら、これらの手法は、行動型人工知能が抱える２つの大きな課題について、必ずしも十分に解答を与えていない。
【００３１】
第１の課題は、人工知能を備えた自律行動型の装置において、同時に活性化した複数の要素行動モジュールの調停を行う規則をいかに構築するかという点である。この点について、各非特許文献に記載の手法では、それぞれ生体の免疫系から得られた知識に基づいて、前記（１）式および（２）式で示される濃度式、あるいは前記（３）式で示される活性度式を導入することにより、それぞれ解決を試みている。
【００３２】
しかし、前記（１）式における抗体モジュールｉと抗体モジュールｊとの親和性を表すｍijの値やその他の定数の値や、前記（３）式での抗体モジュールｉが持つ活性度αiや抑制条件としての抗原ｊの抗体モジュールｉへの影響度βijの値等は、装置の設計者が抗体モジュールの設計時にすべての抗体モジュールについてあらかじめ設計しておかなければならず、その作業は必ずしも容易ではない。その作業は、より複雑な系では困難なものとなる。そのため、これらの手法を用いた制御システムの成否は、設計者の設計能力に強く依存するものとなってしまう。
【００３３】
第２の課題は、抗体モジュールをいかに設計するかという点である。つまり、抗体モジュールの刺激条件モジュールに対してどのような要素行動モジュールを結合させるかという問題や、どのようなパラトープに対してどのような抑制条件を有するイディオトープまたはアンチパラトープをつなぎ合わせるかという問題である。
【００３４】
この課題については、非特許文献１および非特許文献２で行われているように、設計者が、抗原として入力されるであろう情報の内容から、合理的判断に基づいて人為的にいわば手探りの状態でイディオトープやアンチパラトープの形を決めているのが現状であり、この課題についての解決を試みたものはない。しかし、これでは、本来の意味の装置の自律的制御とは言い難い。
【００３５】
そこで、本発明の目的は、このような行動型人工知能における２つの課題を解決し、自律行動型の装置が環境との相互作用を通じて、要素行動モジュールの調停規則を自己組織的に獲得し、装置が自らの行動を自律的に制御することを可能とする制御システムおよび制御方法を提供することである。
【課題を解決するための手段】
【００３６】
前記の問題を解決するために、請求項１に記載の制御システムは、
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、算出された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御システムであって、
前記装置の行動の結果に応じて、前記活性度を演算するために必要な前記抗原の前記抗体モジュールに対する前記刺激条件の影響度および前記抑制条件の影響度を変化させるための学習部を備えることを特徴とする。
【００３７】
請求項１に記載の発明によれば、学習部において、環境からの報酬または罰のフィードバックに基づいて、抗原に対応する刺激条件の抗体モジュールに対する影響度を強化させ或いは弱化させるように自動的に変化させる。また、環境からの報酬のフィードバックに基づいて、抗原に対応する抑制条件の、選択されなかった抗体モジュールに対する影響度を強化させて抗原の抗体モジュールに対する抑制を強め、或いは、環境からの罰のフィードバックに基づいて、抑制条件の影響度を弱化させて抗体モジュールに対する抑制を弱めるように自動的に変化させる。
【００３８】
請求項２に記載の発明は、
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、演算された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御システムであって、
前記抗原に対して前記抗体モジュールを自動的に対応付けるための免疫応答ネットワーク部を備えることを特徴とする。
【００３９】
請求項２に記載の発明によれば、免疫応答ネットワーク部において、複数の成分からなるベクトルである抗原が形成するベクトル空間に代表ベクトル（生体の免疫系におけるＢ細胞に相当する。）を配置することで、抗原をベクトル空間の代表ベクトル（Ｂ細胞）に自動的に対応付け、その代表ベクトルに抗体モジュールを自動的に対応付ける。
【００４０】
請求項３に記載の発明は、
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、演算された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御システムであって、
前記抗原に対して前記抗体モジュールを自動的に対応付けるための免疫応答ネットワーク部と、
前記装置の行動の結果に応じて、前記活性度を演算するために必要な前記抗原の前記抗体モジュールに対する前記刺激条件の影響度および前記抑制条件の影響度を変化させるための学習部と、
を備えることを特徴とする。
【００４１】
請求項３に記載の発明によれば、免疫応答ネットワーク部において、複数の成分からなるベクトルである抗原が形成するベクトル空間に代表ベクトル（生体の免疫系におけるＢ細胞に相当する。）を配置することで、抗原をベクトル空間の代表ベクトル（Ｂ細胞）に自動的に対応付け、その代表ベクトルに抗体モジュールを自動的に対応付けると同時に、学習部において、環境からの報酬または罰のフィードバックに基づいて、抗原に対応する刺激条件の抗体モジュールに対する影響度を強化させ或いは弱化させるように自動的に変化させる。また、環境からの報酬のフィードバックに基づいて、抗原に対応する抑制条件の、選択されなかった抗体モジュールに対する影響度を強化させて抗原の抗体モジュールに対する抑制を強め、或いは、環境からの罰のフィードバックに基づいて、抑制条件の影響度を弱化させて抗体モジュールに対する抑制を弱めるように自動的に変化させる。
【００４２】
請求項４に記載の発明は、請求項１または請求項３に記載の制御システムにおいて、前記学習部は、装置がとった行動の履歴を記憶し、前記刺激条件の影響度および前記抑制条件の影響度を変化させる際に前記履歴を参照するための履歴記憶部を備えることを特徴とする。
【００４３】
請求項４に記載の発明によれば、学習部に履歴記憶部を設けて、環境から報酬または罰を受けるまでの装置の行動に重みを付けて、刺激条件や抑制条件の影響度を変化させる。
【００４４】
請求項５に記載の発明は、請求項１または請求項３に記載の制御システムにおいて、前記学習部は、前記刺激条件の影響度および前記抑制条件の影響度を遺伝的アルゴリズムを用いて変化させるように構成されていることを特徴とする。
【００４５】
請求項５に記載の発明によれば、学習部において、抗原に対応する刺激条件の抗体モジュールに対する影響度および他の抗原に対応する抑制条件の抗体モジュールに対する影響度を、適応度計算、親選択、交叉、突然変異等の進化過程を経て最適な値を見出すことができる遺伝的アルゴリズムに基づいて変化させる。
【００４６】
請求項６に記載の発明は、請求項５に記載の制御システムにおいて、前記学習部で用いられる前記遺伝的アルゴリズムの進化過程において、前記刺激条件の影響度と前記抑制条件の影響度のうち、少なくとも１つの値を変化させる揺らぎ発生を行うことを特徴とする。
【００４７】
請求項６に記載の発明によれば、学習部で用いられる前記遺伝的アルゴリズムの進化過程において揺らぎ発生を行い、刺激条件の影響度と抑制条件の影響度のうち、少なくとも１つの値をランダムに選択して、その値を０．０１程度の小さな値で僅かに増減させる。
【００４８】
請求項７に記載の発明は、請求項２乃至請求項６のいずれか一項に記載の制御システムにおいて、前記免疫応答ネットワーク部は、ベクトル量子化の手法により前記抗原に対して前記抗体モジュールを自動的に対応付けるように構成されていることを特徴とする。
【００４９】
請求項７に記載の発明によれば、前記免疫応答ネットワーク部のベクトル空間におけるベクトルとしての抗原の代表ベクトル（Ｂ細胞）への対応付けを、ベクトル空間をベクトル量子化の手法により小空間に分割してその小空間に代表ベクトル（Ｂ細胞）を対応付ける手法で行い、その代表ベクトル（Ｂ細胞）に自動的に抗体モジュールを対応付ける。
【００５０】
請求項８に記載の発明は、請求項７に記載の制御システムにおいて、前記免疫応答ネットワーク部は、前記抗原に対応付けるべき抗体モジュールが既存の抗体モジュールの中にない場合には、新たに抗体モジュールを生成するように構成されていることを特徴とする。
【００５１】
請求項８に記載の発明によれば、前記ベクトル量子化の手法を改良して、自己増殖型のベクトル量子化ネットワークを用い、抗原に対応付けるべきＢ細胞が免疫応答ネットワーク部のベクトル空間内の既存のＢ細胞の中になく、抗体を既存の抗体モジュールに対応付けられない場合には、ベクトル空間に新たにＢ細胞を生成させ、新たに生成されたＢ細胞に対応する抗体モジュールを自動的に新たに生成させる。
【００５２】
請求項９に記載の発明は、
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、算出された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御方法であって、
前記装置の行動の結果に応じて、前記活性度を演算するために必要な前記抗原の前記抗体モジュールに対する前記刺激条件の影響度および前記抑制条件の影響度を変化させる学習処理を行うことを特徴とする。
【００５３】
請求項９に記載の発明によれば、学習処理において、環境からの報酬または罰のフィードバックに基づいて、抗原に対応する刺激条件の抗体モジュールに対する影響度を強化させ或いは弱化させるように自動的に変化させる。また、環境からの報酬のフィードバックに基づいて、抗原に対応する抑制条件の、選択されなかった抗体モジュールに対する影響度を強化させて抗原の抗体モジュールに対する抑制を強め、或いは、環境からの罰のフィードバックに基づいて、抑制条件の影響度を弱化させて抗体モジュールに対する抑制を弱めるように自動的に変化させる。
【００５４】
請求項１０に記載の発明は、
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、演算された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御方法であって、
前記抗原に対して前記抗体モジュールを自動的に対応付ける免疫応答処理を行うことを特徴とする。
【００５５】
請求項１０に記載の発明によれば、免疫応答処理において、複数の成分からなるベクトルである抗原が形成するベクトル空間に代表ベクトル（生体の免疫系におけるＢ細胞に相当する。）を配置することで、抗原をベクトル空間の代表ベクトル（Ｂ細胞）に自動的に対応付け、その代表ベクトルに抗体モジュールを自動的に対応付ける。
【００５６】
請求項１１に記載の発明は、
環境からの情報である単数または複数の抗原の、要素行動と結び付けられた抗体モジュールに対する刺激条件と抑制条件とに基づいて前記抗体モジュールの活性度を演算し、演算された前記活性度に応じて前記抗体モジュールを選択し、前記抗体モジュールと結び付けられた要素行動に基づいて、装置を自律的に行動させるための制御方法であって、
前記抗原に対して前記抗体モジュールを自動的に対応付ける免疫応答処理と、
前記装置の行動の結果に応じて、前記活性度を演算するために必要な前記抗原の前記抗体モジュールに対する前記刺激条件の影響度および前記抑制条件の影響度を変化させる学習処理と、
を行うことを特徴とする。
【００５７】
請求項１１に記載の発明によれば、免疫応答処理において、複数の成分からなるベクトルである抗原が形成するベクトル空間に代表ベクトル（生体の免疫系におけるＢ細胞に相当する。）を配置することで、抗原をベクトル空間の代表ベクトル（Ｂ細胞）に自動的に対応付け、その代表ベクトルに抗体モジュールを自動的に対応付けると同時に、学習処理において、環境からの報酬または罰のフィードバックに基づいて、抗原に対応する刺激条件の抗体モジュールに対する影響度を強化させ或いは弱化させるように自動的に変化させる。また、環境からの報酬のフィードバックに基づいて、抗原に対応する抑制条件の、選択されなかった抗体モジュールに対する影響度を強化させて抗原の抗体モジュールに対する抑制を強め、或いは、環境からの罰のフィードバックに基づいて、抑制条件の影響度を弱化させて抗体モジュールに対する抑制を弱めるように自動的に変化させる。
【００５８】
請求項１２に記載の発明は、請求項９または請求項１１に記載の制御方法において、前記学習処理では、装置がとった行動の履歴を記憶し、前記刺激条件の影響度および前記抑制条件の影響度を変化させる際に前記履歴を参照することを特徴とする。
【００５９】
請求項１２に記載の発明によれば、学習処理において、装置がとった行動の履歴を参照して、環境から報酬または罰を受けるまでの装置の行動に重みを付けて、刺激条件や抑制条件の影響度を変化させる。
【００６０】
請求項１３に記載の発明は、請求項９または請求項１１に記載の制御方法において、前記学習処理では、前記刺激条件の影響度および前記抑制条件の影響度を遺伝的アルゴリズムを用いて変化させることを特徴とする。
【００６１】
請求項１３に記載の発明によれば、学習処理において、抗原に対応する刺激条件の抗体モジュールに対する影響度および他の抗原に対応する抑制条件の抗体モジュールに対する影響度を、適応度計算、親選択、交叉、突然変異等の進化過程を経て最適な値を見出すことができる遺伝的アルゴリズムに基づいて変化させる。
【００６２】
請求項１４に記載の発明は、請求項１３に記載の制御方法において、前記学習処理で用いられる前記遺伝的アルゴリズムの進化過程において、前記刺激条件の影響度と前記抑制条件の影響度のうち、少なくとも１つの値を変化させる揺らぎ発生を行うことを特徴とする。
【００６３】
請求項１４に記載の発明によれば、学習処理で用いられる前記遺伝的アルゴリズムの進化過程において揺らぎ発生を行い、刺激条件の影響度と抑制条件の影響度のうち、少なくとも１つの値をランダムに選択して、その値を０．０１程度の小さな値で僅かに増減させる。
【００６４】
請求項１５に記載の発明は、請求項１０乃至請求項１４のいずれか一項に記載の制御方法において、前記免疫応答処理では、ベクトル量子化の手法により前記抗原に対して前記抗体モジュールを自動的に対応付けることを特徴とする。
【００６５】
請求項１５に記載の発明によれば、前記免疫応答処理において、ベクトル空間におけるベクトルとしての抗原の代表ベクトル（Ｂ細胞）への対応付けを、ベクトル空間をベクトル量子化の手法により小空間に分割してその小空間に代表ベクトル（Ｂ細胞）を対応付ける手法で行い、その代表ベクトル（Ｂ細胞）に自動的に抗体モジュールを対応付ける。
【００６６】
請求項１６に記載の発明は、請求項１５に記載の制御方法において、前記免疫応答処理では、前記抗原に対応付けるべき抗体モジュールが既存の抗体モジュールの中にない場合には、新たに抗体モジュールを生成することを特徴とする。
【００６７】
請求項１６に記載の発明によれば、前記ベクトル量子化の手法を改良して、自己増殖型のベクトル量子化ネットワークを用い、抗原に対応付けるべきＢ細胞がベクトル空間内の既存のＢ細胞の中になく、抗体を既存の抗体モジュールに対応付けられない場合には、ベクトル空間に新たにＢ細胞を生成させ、新たに生成されたＢ細胞に対応する抗体モジュールを自動的に新たに生成させる。
【発明の効果】
【００６８】
請求項１に記載の発明によれば、装置の行動の結果による環境からの報酬または罰のフィードバックに基づいて、抗体モジュールの活性度を演算するために必要な抗原の抗体モジュールに対する刺激条件の影響度および抑制条件の影響度を自動的に変化させるための学習部を備えるため、装置がその要素行動に基づいて適切な行動をとることができるようになり、装置が適切な行動（制御内容）を自律的に獲得することが可能となると同時に、異なる抗原により活性化された複数の抗体モジュールの競合状態を解消させ、そのような競合状態の中から最適な要素行動が選択されるような制御規則を自己組織的に獲得することができる。
【００６９】
そのため、前述した行動型人工知能が抱える２つの大きな課題のうちの第１の課題である、人工知能を備えた自律行動型の装置において、同時に活性化した複数の要素行動モジュールの調停を行う規則をいかに構築するかという問題に対して、自律行動型の装置が環境との相互作用を通じて、要素行動モジュールの調停規則を自己組織的に獲得するという方法で解決することが可能となる。
【００７０】
また、本発明の制御システムによれば、前記のように、装置が環境からの報酬等に基づいて影響度を変化させ、適切な制御内容を自律的に獲得し、要素行動の調停規則を自己組織的に獲得していくため、設計者は、想定される抗原に対応する刺激条件と、装置がとり得る要素行動とを組み合わせてパラトープ構成し、パラトープに用いた抗原以外の抗原に対応する抑制条件を単に組み合わせてアンチパラトープを構成するという単純な操作で抗体モジュールを構成することが可能となる。そのため、前述した行動型人工知能が抱える２つの大きな課題のうちの第２の課題である、抗体モジュールをいかに設計するかという問題に対しても、前記のように単純に抗体モジュールを設計することができ、設計者の設計能力への依存を回避することが可能となる。
【００７１】
請求項２に記載の発明によれば、免疫応答ネットワーク部において、複数の成分からなるベクトルである抗原が形成するベクトル空間に代表ベクトル（生体の免疫系におけるＢ細胞に相当する。）を配置することで、抗原をベクトル空間の代表ベクトル（Ｂ細胞）に自動的に対応付け、その代表ベクトルに抗体モジュールを自動的に対応付けるように構成すれば、連続した値をベクトルの成分とする無限個の抗原に対し、有限個のＢ細胞を自動的に対応付けて、有限個の抗体モジュールを自動的に対応付けることができる。
【００７２】
請求項３に記載の発明によれば、免疫応答ネットワーク部において、複数の成分からなるベクトルである抗原が形成するベクトル空間に代表ベクトル（生体の免疫系におけるＢ細胞に相当する。）を配置することで、抗原をベクトル空間の代表ベクトル（Ｂ細胞）に自動的に対応付け、その代表ベクトルに抗体モジュールを自動的に対応付けると同時に、学習部において、環境からの報酬または罰のフィードバックに基づいて、抗原に対応する刺激条件の抗体モジュールに対する影響度を強化させ或いは弱化させるように自動的に変化させる。また、環境からの報酬のフィードバックに基づいて、抗原に対応する抑制条件の、選択されなかった抗体モジュールに対する影響度を強化させて抗原の抗体モジュールに対する抑制を強め、或いは、環境からの罰のフィードバックに基づいて、抑制条件の影響度を弱化させて抗体モジュールＡｍｉに対する抑制を弱めるように自動的に変化させるように構成したため、制御システムにおいて、前記請求項１および請求項２に記載の発明の効果を同時にかつ効果的に発揮させることが可能となる。
【００７３】
請求項４に記載の発明によれば、学習部は、装置がとった行動の履歴を記憶し、刺激条件の影響度および抑制条件の影響度を変化させる際に前記履歴を参照するための履歴記憶部を備え、環境から報酬または罰を受けるまでの装置の行動に重みを付けて、刺激条件や抑制条件の影響度を変化させるようにしたため、前記請求項に記載の発明の効果に加え、余分な行動を多く行って初めて環境から報酬を受ける一連の行動よりも、より少ない一連の行動で報酬を受けた場合を高く評価することが可能となり、学習部における学習効率をさらに高めることができる。
【００７４】
請求項５に記載の発明によれば、学習部において、抗原に対応する刺激条件の抗体モジュールに対する影響度および他の抗原に対応する抑制条件の抗体モジュールに対する影響度を、適応度計算、親選択、交叉、突然変異等の進化過程を経て最適な値を見出すことができる遺伝的アルゴリズムに基づいて変化させるように構成したため、前記請求項に記載の発明の効果に加え、学習過程において、設計者が、学習で強化学習を行うために必要な強化関数を設計する必要がなくなり、制御システムの成否が設計者の設計能力に依存してしまうという弊害を回避することが可能となる。
【００７５】
請求項６に記載の発明によれば、学習部で用いられる前記遺伝的アルゴリズムの進化過程において揺らぎ発生を行い、刺激条件の影響度と抑制条件の影響度のうち、少なくとも１つの値をランダムに選択して、その値を０．０１程度の小さな値で僅かに増減させるように構成したため、前記請求項に記載の発明の効果に加えて、刺激条件の影響度や抑制条件の影響度がより的確な値を有する抗体モジュールを得ることが可能となる。
【００７６】
請求項７に記載の発明によれば、前記免疫応答ネットワーク部のベクトル空間におけるベクトルとしての抗原の代表ベクトル（Ｂ細胞）への対応付けを、ベクトル空間をベクトル量子化の手法により小空間に分割してその小空間に代表ベクトル（Ｂ細胞）を対応付ける手法で行い、その代表ベクトル（Ｂ細胞）に自動的に抗体モジュールを対応付けるように構成したことにより、前記請求項に記載の発明の効果に加えて、ベクトル成分を単純にスカラー量子化してベクトル空間を分割した場合と比較して、格段に少ないＢ細胞により対応付けを行うことが可能となる。
【００７７】
請求項８に記載の発明によれば、前記ベクトル量子化の手法を改良して、自己増殖型のベクトル量子化ネットワークを用い、抗原に対応付けるべきＢ細胞が免疫応答ネットワーク部のベクトル空間内の既存のＢ細胞の中になく、抗体を既存の抗体モジュールに対応付けられない場合には、ベクトル空間に新たにＢ細胞を生成させ、新たに生成されたＢ細胞に対応する抗体モジュールを自動的に新たに生成させるように構成したため、前記請求項に記載の発明の効果に加え、初期状態において、免疫応答ネットワーク部のベクトル空間にＢ細胞を１つ設けておき、それに対応する抗体モジュールを要素行動の数だけ用意しておけば、免疫応答ネットワーク部のベクトル空間に抗原が入力され、対応付けるべきＢ細胞がなければ自動的に新たなＢ細胞が生成され、それに対応して抗体モジュールが自動的に新たに生成されるから、設計者が、あらかじめ適切な数の抗体モジュールを用意し、或いは免疫応答ネットワーク部のベクトル空間に適切な数のＢ細胞を用意しておくことが不必要となる。
【００７８】
そのため、この自己増殖型ベクトル量子化ネットワークの手法を用いれば、前述した行動型人工知能が抱える２つの大きな課題のうちの第２の課題である、抗体モジュールをいかに設計するかという問題を、制御システムに抗体モジュールを自律的に生成させることで解決することが可能となる。
【００７９】
請求項９に記載の発明によれば、装置の行動の結果による環境からの報酬または罰のフィードバックに基づいて、抗体モジュールの活性度を演算するために必要な抗原の抗体モジュールに対する刺激条件の影響度および抑制条件の影響度を自動的に変化させるために学習処理を行うため、装置がその要素行動に基づいて適切な行動をとることができるようになり、装置が適切な行動（制御内容）を自律的に獲得することが可能となると同時に、異なる抗原により活性化された複数の抗体モジュールの競合状態を解消させ、そのような競合状態の中から最適な要素行動が選択されるような制御規則を自己組織的に獲得することができる。
【００８０】
そのため、前述した行動型人工知能が抱える２つの大きな課題のうちの第１の課題である、人工知能を備えた自律行動型の装置において、同時に活性化した複数の要素行動モジュールの調停を行う規則をいかに構築するかという問題に対して、自律行動型の装置が環境との相互作用を通じて、要素行動モジュールの調停規則を自己組織的に獲得するという方法で解決することが可能となる。
【００８１】
また、本発明の制御方法によれば、前記のように、装置が環境からの報酬等に基づいて影響度を変化させ、適切な制御内容を自律的に獲得し、要素行動の調停規則を自己組織的に獲得していくため、設計者は、想定される抗原に対応する刺激条件と、装置がとり得る要素行動とを組み合わせてパラトープ構成し、パラトープに用いた抗原以外の抗原に対応する抑制条件を単に組み合わせてアンチパラトープを構成するという単純な操作で抗体モジュールを構成することが可能となる。そのため、前述した行動型人工知能が抱える２つの大きな課題のうちの第２の課題である、抗体モジュールをいかに設計するかという問題に対しても、前記のように単純に抗体モジュールを設計することができ、設計者の設計能力への依存を回避することが可能となる。
【００８２】
請求項１０に記載の発明によれば、免疫応答処理において、複数の成分からなるベクトルである抗原が形成するベクトル空間に代表ベクトル（生体の免疫系におけるＢ細胞に相当する。）を配置することで、抗原をベクトル空間の代表ベクトル（Ｂ細胞）に自動的に対応付け、その代表ベクトルに抗体モジュールを自動的に対応付けるように構成すれば、連続した値をベクトルの成分とする無限個の抗原に対し、有限個のＢ細胞を自動的に対応付けて、有限個の抗体モジュールを自動的に対応付けることができる。
【００８３】
請求項１１に記載の発明によれば、免疫応答処理において、複数の成分からなるベクトルである抗原が形成するベクトル空間に代表ベクトル（生体の免疫系におけるＢ細胞に相当する。）を配置することで、抗原をベクトル空間の代表ベクトル（Ｂ細胞）に自動的に対応付け、その代表ベクトルに抗体モジュールを自動的に対応付けると同時に、学習処理において、環境からの報酬または罰のフィードバックに基づいて、抗原に対応する刺激条件の抗体モジュールに対する影響度を強化させ或いは弱化させるように自動的に変化させる。また、環境からの報酬のフィードバックに基づいて、抗原に対応する抑制条件の、選択されなかった抗体モジュールに対する影響度を強化させて抗原の抗体モジュールに対する抑制を強め、或いは、環境からの罰のフィードバックに基づいて、抑制条件の影響度を弱化させて抗体モジュールに対する抑制を弱めるように自動的に変化させるように構成したため、制御方法において、前記請求項９および請求項１０に記載の発明の効果を同時にかつ効果的に発揮させることが可能となる。
【００８４】
請求項１２に記載の発明によれば、学習処理において、装置がとった行動の履歴を参照して、環境から報酬または罰を受けるまでの装置の行動に重みを付けて、刺激条件や抑制条件の影響度を変化させるように構成したため、前記請求項に記載の発明の効果に加え、余分な行動を多く行って初めて環境から報酬を受ける一連の行動よりも、より少ない一連の行動で報酬を受けた場合を高く評価することが可能となり、学習処理における学習効率をさらに高めることができる。
【００８５】
請求項１３に記載の発明によれば、学習処理において、抗原に対応する刺激条件の抗体モジュールに対する影響度および他の抗原に対応する抑制条件の抗体モジュールに対する影響度を、適応度計算、親選択、交叉、突然変異等の進化過程を経て最適な値を見出すことができる遺伝的アルゴリズムに基づいて変化させるように構成したため、前記請求項に記載の発明の効果に加え、学習過程において、設計者が、学習で強化学習を行うために必要な強化関数を設計する必要がなくなり、制御システムの成否が設計者の設計能力に依存してしまうという弊害を回避することが可能となる。
【００８６】
請求項１４に記載の発明によれば、学習処理で用いられる前記遺伝的アルゴリズムの進化過程において揺らぎ発生を行い、刺激条件の影響度と抑制条件の影響度のうち、少なくとも１つの値をランダムに選択して、その値を０．０１程度の小さな値で僅かに増減させるように構成したため、前記請求項に記載の発明の効果に加えて、刺激条件の影響度や抑制条件の影響度がより的確な値を有する抗体モジュールを得ることが可能となる。
【００８７】
請求項１５に記載の発明によれば、前記免疫応答処理において、ベクトル空間におけるベクトルとしての抗原の代表ベクトル（Ｂ細胞）への対応付けを、ベクトル空間をベクトル量子化の手法により小空間に分割してその小空間に代表ベクトル（Ｂ細胞）を対応付ける手法で行い、その代表ベクトル（Ｂ細胞）に自動的に抗体モジュールを対応付けるように構成したことにより、前記請求項に記載の発明の効果に加えて、ベクトル成分を単純にスカラー量子化してベクトル空間を分割した場合と比較して、格段に少ないＢ細胞により対応付けを行うことが可能となる。
【００８８】
請求項１６に記載の発明によれば、前記ベクトル量子化の手法を改良して、自己増殖型のベクトル量子化ネットワークを用い、抗原に対応付けるべきＢ細胞がベクトル空間内の既存のＢ細胞の中になく、抗体を既存の抗体モジュールに対応付けられない場合には、ベクトル空間に新たにＢ細胞を生成させ、新たに生成されたＢ細胞に対応する抗体モジュールを自動的に新たに生成させるように構成したため、前記請求項に記載の発明の効果に加え、初期状態において、ベクトル空間にＢ細胞を１つ設けておき、それに対応する抗体モジュールを要素行動の数だけ用意しておけば、ベクトル空間に抗原が入力され、対応付けるべきＢ細胞がなければ自動的に新たなＢ細胞が生成され、それに対応して抗体モジュールが自動的に新たに生成されるから、設計者が、あらかじめ適切な数の抗体モジュールを用意し、或いはベクトル空間に適切な数のＢ細胞を用意しておくことが不必要となる。
【００８９】
そのため、この自己増殖型ベクトル量子化ネットワークの手法を用いれば、前述した行動型人工知能が抱える２つの大きな課題のうちの第２の課題である、抗体モジュールをいかに設計するかという問題を、制御システムに抗体モジュールを自律的に生成させることで解決することが可能となる。
【発明を実施するための最良の形態】
【００９０】
以下、本発明の制御システムおよび制御方法に係る実施の形態について、図面を参照して説明する。
【００９１】
［第１の実施の形態］
図１は、本発明の第１の実施形態に係る制御システムを示すブロック図であり、制御システム１としては、ＣＰＵやＲＡＭ、ＲＯＭ、入出力インターフェース等がＢＵＳにより接続されて構成されたコンピュータを用いることができる。制御システム１は、抗体モジュールＡｍｉと、抗体評価演算部２と、α学習部４、β学習部５および履歴記憶部６よりなる学習部３と、免疫応答ネットワーク部７とを備えている。
【００９２】
まず、本実施形態の制御システム１に制御入力として入力される抗原について説明すると、抗原は、図１に示すように、環境としての外部環境や内部状態からの数値情報の束からなっており、通常、ベクトルの形で表現される。例えば、この制御システム１が搭載される装置がｎ個のセンサを備える場合には、抗原は各センサの測定値ｓiからなるベクトル（ｓ1、ｓ2、…、ｓn）の形とすることができる。また、前記ｎ個のセンサの測定値を装置のＣＰＵ等で加工して、例えば、図２に示すように、抗原を障害物や目的地とその方向に関する２次元のベクトルとして表すことも可能である。
【００９３】
本実施形態の抗体モジュールＡｍｉは、前述した非特許文献２に記載された手法の場合と同様に、非ネットワーク型免疫システム８を形成している。つまり、抗体モジュールＡｍｉは、他の抗体モジュールＡｍｊとの刺激抑制関係はなく、抗原との間でのみ刺激抑制関係を生じるように構成されている。そのため、本実施形態では、抗体モジュールＡｍｉは、図２３に示した抗体モジュールｉと同様に、抗原ｉから刺激を受ける刺激条件モジュールと要素行動モジュールとからなるパラトープの部分と、他の抗原ｊから抑制を受ける抑制条件モジュールからなるアンチパラトープの部分とから構成されている（刺激条件モジュール等については、以下、刺激条件等と略記する。）。
【００９４】
抗体モジュールＡｍｉは、例えば、図２４に示した抗体モジュール３や抗体モジュール４のように、抑制条件を設計者の合理的判断に基づいて人為的に削除するようなことはせず、刺激条件に対応する抗原ｉ以外のすべての抗原ｊに関してそれらに対応する抑制条件を備えるように構成されている。例えば、図３（Ａ）は、図２に示した各抗原に対応する抗体モジュールを示す図であるが、抗体モジュールＡｍｉはそれぞれ、図２に示す１０個の抗原のうちの１つの抗原に対応する刺激条件を持ち、他の９個の抗原のすべてに関してそれぞれの抗原に対応する抑制条件を有するように構成されている。
【００９５】
図３（Ｂ）に示すように、抗体モジュールＡｍｉを構成する刺激条件および抑制条件には、パラメータとして、それぞれの条件の抗体モジュールＡｍｉに対する影響度αiおよび影響度βijが付与されている。なお、図３（Ｂ）ではβijの表記が略されており、例えば、図３（Ｂ）中にはβSt,Dという記載が９個あるが、これらはそれぞれβ2[St,D]、β3[St,D]等を略記したものであり、これらのβSt,Dはそれぞれ独立な値をとり、その値は独立に変化するようになっている。他のα、βも同様である。
【００９６】
さらに、図３（Ａ）では、各刺激条件に対して要素行動を１つずつ対応させた抗体モジュールＡｍｉを示したが、同一の刺激条件に対して他の要素行動を組み合わせることも可能である。例えば、図３（Ａ）では、抗体モジュールＡｍ１として刺激条件［Ｓｔ，Ｄ］に対して要素行動［Ｓｔ］（前進）を対応させたものを示したが、この他にも、他の要素行動［ＳｔＬ］（左折）、［ＳｔＲ］（右折）、［Ｌ］（左回転）、［Ｒ］（右回転）をそれぞれ結び付けた抗体モジュールＡｍ１１〜抗体モジュールＡｍ１４（図４参照）を用意しておくことも可能である。この場合は、図２に示した１０個の抗原に対応する刺激条件について［Ｓｔ］、［ＳｔＬ］、［ＳｔＲ］、［Ｌ］および［Ｒ］の５個の要素行動の組み合わせが考えられ、計５０個の抗体モジュールＡｍｉが用意される。
【００９７】
非ネットワーク型免疫システム８には、抗体評価演算部２が設けられている。抗体評価演算部２は、入力された抗原ｉにより活性化された各抗体モジュールＡｍｉの刺激条件および抑制条件の抗体モジュールＡｍｉに対する各影響度αiおよび影響度βijから、前記（３）式に基づいて各抗体モジュールＡｍｉの活性度ａiを演算するように構成されている。抗体評価演算部２は、算出された各抗体モジュールＡｍｉの活性度ａiに応じて抗体モジュールＡｍｉを選択し、その抗体モジュールＡｍｉに結び付けられた要素行動を制御出力として装置に出力するように構成されている。
【００９８】
本実施形態では、抗体評価演算部２は、活性化された各抗体モジュールＡｍｉの活性度に応じたルーレット選択により抗体モジュールＡｍｉの選択を行うように構成されている。すなわち、抗原により活性化された全抗体モジュールＡｍｉの算出された活性度ａiの総和を求め、各抗体モジュールＡｍｉの選択確率をその総和に対する各抗体モジュールＡｍｉの活性度ａiの割合とする選択方法により、抗体モジュールを選択するように構成されている。
【００９９】
例えば、非ネットワーク型免疫システム８に、２つの抗原［ＳｔＲ，Ｄ］（抗原５）と抗原［Ｌ，Ｘ］（抗原７）が入力された場合、図３（Ａ）に示した抗体モジュールのうち、抗原５に対応する刺激条件［ＳｔＲ，Ｄ］を有する抗体モジュールＡｍ５と、抗原７に対応する刺激条件［Ｌ，Ｘ］を有する抗体モジュールＡｍ７とがともに活性化される。抗体評価演算部２は、（３）式に基づいて、抗体モジュールＡｍ５の活性度ａ5をα5とβ57の積として演算し、抗体モジュールＡｍ７の活性度ａ7をα7とβ75の積として演算して、算出された活性度ａ3と活性度ａ7に応じたルーレット選択を行い、選択された抗体モジュールの要素行動（この場合は［ＳｔＲ］または［Ｌ］）を出力するように構成されている。本実施形態では、抗体評価演算部２で、このように各抗体モジュールＡｍｉの活性度ａiを演算し、算出された活性度に応じて抗体モジュールを選択することにより、各要素行動モジュールの調停を行うようになっている。
【０１００】
前記抗体評価演算部２からの制御出力に基づいて装置が行動をとった結果、装置は環境から報酬（例えば、目的地に到達したという評価）や罰（例えば、障害物に衝突したという評価）のフィードバックを受ける。本実施形態の制御システム１には、このような環境からのフィードバックに基づいて強化学習を行う学習部３が設けられており、学習部３を構成するα学習部４は、その報酬や罰に応じて、下記の（４）式に基づいて前記抗体モジュールＡｍｉに対する抗原ｉの影響度αiを変化させ、強化または弱化させるように構成されている。
【０１０１】
【数４】
2005258697.tif 000006
【０１０２】
なお、（４）式においては、環境からの罰は負の報酬として捉え、報酬ｒに含まれるものとされている。例えば、報酬に対して報酬ｒが正の値をとる場合には、罰としての報酬ｒは負の値をとるように設定される（以下、（５）式〜（７）式において同じ。）。また、関数ｆα（ｒ）および各影響度αiの初期値は設計者により与えられ、本実施形態では、各影響度αiの初期値はそれぞれ０に近い値（例えば、０．０１）が与えられている。
【０１０３】
例えば、抗原１（［Ｓｔ，Ｄ］）により図４に示した抗体モジュールＡｍ１〜Ａｍ１４が一斉に活性化され、抗体評価演算部２で要素行動モジュール［ＳｔＲ］と結び付けられた抗体モジュールＡｍ１２が選択されたとすると、装置が行動［ＳｔＲ］をとった結果、目的地に接近するなどして環境から報酬を受けた場合には、α学習部４は、抗体モジュールＡｍ１２に対する抗原１の影響度α12の値を増加させて強化させるように構成されている。また、装置が行動［ＳｔＲ］をとった結果、例えば、障害物に衝突するなどして環境から罰を受けた場合には、α学習部４は、抗体モジュールＡｍ１２に対する抗原１の影響度α12の値を減少させるように構成されている。
【０１０４】
このように、影響度αiは、抗原ｉにより活性化させる抗体モジュールＡｍｉの、いわば基本的な活性度を与えるものであり、α学習部４は、抗原ｉに対応して環境から報酬を受ける行動を与える抗体モジュールＡｍｉの影響度αiを強化することにより、装置が適切な行動（制御内容）を自律的に獲得するようにするための調整機構として働く。
【０１０５】
また、制御システム１の学習部３には、β学習部５が設けられている。前述したように、複数の抗原ｉ、ｊが入力された場合、異なる抗体モジュールＡｍｉ、Ａｍｊがともに活性化され、前記抗体評価演算部２で調停が行われて１つの要素行動が出力され、その制御出力に基づいて装置が行動をとった結果、装置は環境から報酬や罰のフィードバックを受ける。β学習部５は、この環境からの報酬または罰に応じて、下記の（５）式に基づいて抗原ｊの各抗体モジュールＡｍｉに対する抑制条件の影響度βijを強化し或いは弱化して変化させるように構成されている。
【０１０６】
【数５】
2005258697.tif 000007
【０１０７】
なお、関数ｆβ（ｒ）および各影響度βijの初期値は設計者により与えられ、本実施形態では、各影響度βijの初期値はすべて１に設定されている。また、前記（３）式から分かるように、影響度βijの値が小さい方が抗原ｊの抗体モジュールＡｍｉに対する抑制の度合は大きなものとなり、βijが０であれば、抗体モジュールＡｍｉが抗原ｉによって活性化（αi＞０）されてもその活性度ａiは０となるから、抗体モジュールＡｍｉが選択されることはなく、結果的に抗体モジュールＡｍｉが最も抑制された状態となる。
【０１０８】
例えば、制御システム１に前述した２つの抗原［ＳｔＲ，Ｄ］（抗原５）と抗原［Ｌ，Ｘ］（抗原７）が入力されて、抗体モジュールＡｍ５と抗体モジュールＡｍ７（図３（Ａ）参照）が活性化され、抗体評価演算部２で抗体モジュールＡｍ５が選択されて、装置が行動［ＳｔＲ］（右折）を行った結果、環境から報酬を受けたとする。この場合、次回、抗原５と抗原７が同時に入力された際に、再び抗体モジュールＡｍ５が選択されれば、環境から再度報酬を受けることができると期待される。そのため、β学習部５は、抗体モジュールＡｍ５が選択され易くなり、抗体モジュールＡｍ７が選択され難くなるように、抗原５の抗体モジュールＡｍ７に対する抑制条件の影響度β75をより小さい値に変化させて、抑制の度合をより強化させるようになっている（図５参照）。
【０１０９】
このように、影響度βij、βjiは、互いに異なる抗体モジュールＡｍｉ、Ａｍｊが活性化された場合の競合状態を解消するためのものであり、β学習部５は、そのような競合状態において最適な抗体モジュールが選択されるような制御規則を自己組織的に獲得するための調整機構として働く。
【０１１０】
さらに、本実施形態の学習部３には、α学習部４において抗原ｉの抗体モジュールＡｍｉに対する刺激条件の影響度αiを変化させ、β学習部５において抗原ｊの抗体モジュールＡｍｉに対する抑制条件の影響度βijを変化させる際に、装置がとった行動の履歴を参照する場合に、履歴を記憶し、α学習部４およびβ学習部５に前記履歴を提供するための履歴記憶部６が設けられている。
【０１１１】
前記のいくつかの例示では、制御システム１に抗原が入力され、抗体モジュールが選択され、それに基づいて装置が１つの行動をとると、その行動によって即座に環境から報酬や罰のフィードバックを受け、α学習部４やβ学習部５において影響度αiや影響度βijが変化される場合について示した。しかし、前記のように行動をとるたびに環境から報酬や罰を受けて影響度αi、βijが変更されるように条件を設定するのではなく、装置が試行錯誤しながらいくつかの行動を積み重ねた結果、目的地に到達し、或いは障害物と衝突し、その時点で初めて環境から報酬や罰というフィードバックを受けるように条件設定を行うことも可能である。
【０１１２】
履歴記憶部６は、後者の場合に必要となる装置がとった行動の履歴を記憶するものであり、具体的には、報酬や罰を受けるまでに入力された抗原や、それに対応して活性化された抗体モジュール、選択された抗体モジュール、環境から報酬または罰を受けるまでにかかったステップ数等のすべての履歴を履歴データベースに記憶するように構成されている。そして、この場合、α学習部４やβ学習部５は、環境から報酬または罰を受けるまでは影響度αi、βijの演算を行わず、報酬等を受けた時点で初めて、影響度αi、βijを一括して変化させるように構成される。
【０１１３】
本実施形態では、前記ステップ数を加味したうえで、α学習部４において下記（６）式に基づいて、β学習部５では下記（７）式に基づいて影響度αiおよび影響度βijが演算されるようになっている。
【０１１４】
【数６】
2005258697.tif 000008
【０１１５】
【数７】
2005258697.tif 000009
【０１１６】
なお、前記（６）式および（７）式の強化関数ｆα（ｒ，ｋ）およびｆβ（ｒ，ｋ）は、設計者により適宜与えられる。また、ステップ数とは、前回環境から報酬（または罰）を受けた後、環境から再び報酬（または罰）を受けるまでに装置がとった行動の数をいい、本実施形態では、装置が連続して同一の行動をとり続けている間は、ステップ数にはカウントされず、装置がとった行動が変化した場合に、ステップ数が１ずつ増加するようになっている。
【０１１７】
例えば、前記（６）式および（７）式の強化関数ｆα（ｒ，ｋ）およびｆβ（ｒ，ｋ）として、ともに関数ｒ／ｋが与えられ、目的地に到達した場合は報酬ｒ＝＋０．０５、障害物に衝突した場合は報酬ｒ＝−０．０５（すなわち、この場合は罰）と設定されたとする。そして、制御システム１に２つの抗原［ＳｔＲ，Ｄ］（抗原５）と抗原［Ｌ，Ｘ］（抗原７）が入力されて、抗体モジュールＡｍ５と抗体モジュールＡｍ７（図３（Ａ）参照）が活性化され、抗体評価演算部２で抗体モジュールＡｍ５が選択されて、装置が行動［ＳｔＲ］を行い（要素行動１）、次に、抗原［Ｓｔ，Ｄ］（抗原１）と抗原［Ｌ，Ｘ］（抗原７）が入力されて、抗体モジュールＡｍ１と抗体モジュールＡｍ７が活性化され、抗体モジュールＡｍ１が選択されて、装置が行動［Ｓｔ］を行い（要素行動２）、その結果、目的地に到達したとする。
【０１１８】
この場合、装置が目的地に到達し、環境から報酬を受けた時点で、α学習部４は、履歴記憶部６の履歴データベースから装置の行動の履歴を読み出し、要素行動１で選択された抗体モジュールＡｍ５と要素行動２で選択された抗体モジュールＡｍ１の影響度α5、α1をそれぞれ（６）式に基づいて増加させるようになっている。つまり、要素行動１は報酬を受ける２ステップ前の行動でありｋ＝２であるから、抗体モジュールＡｍ５の影響度α5は、もともとの値０．０１に０．０５／２を加えた０．０３５に増加される。また、要素行動２は報酬を受ける１ステップ前の行動でありｋ＝１であるから、抗体モジュールＡｍ１の影響度α1は０．０１に０．０５／１を加えた０．０６に増加される。
【０１１９】
また、環境から報酬を受けた時点で、β学習部５は、履歴記憶部６の履歴データベースから装置の行動の履歴を読み出し、要素行動１と要素行動２でともに選択されなかった抗体モジュールＡｍ７の影響度β75、β71をそれぞれ（６）式に基づいて抑制されるようになっている。つまり、要素行動１における抗原５の抗体モジュールＡｍ７に対する抑制条件の影響度β75は、もともとの１から１−（＋０．０５）／２の演算により０．９７５に減少される。また、要素行動２における抗原１の抗体モジュールＡｍ７に対する抑制条件の影響度β71は、もともとの１から１−（＋０．０５）／１の演算により０．９５に減少される。
【０１２０】
環境から罰を受けた場合も、同様の演算により、影響度αi、βijが算出されるようになっている。なお、影響度αi、βijは、前記（３）式等に示したように、０＜αi＜１および０≦βij≦１の範囲の値しかとることができないので、例えば、影響度αiおよび影響度βijの上限値をそれぞれ０．９９および１と定めておき、影響度αiまたは影響度βijの値が前記（６）式または（７）式に基づく演算（前記（４）式や（５）式に基づく演算の場合も同じ。）でその上限値を超える結果となる場合には、その影響度αiまたは影響度βijの値をその上限値とするようになっている。また、下限についても、例えば、影響度αi、βijの上限を０．０１および０と定めておき、同様に行うようになっている。
【０１２１】
なお、履歴記憶部６に記憶された装置の行動の履歴は、環境から報酬や罰を受け、α学習部４およびβ学習部５で履歴記憶部６の履歴が参照されて影響度αi、βijが一括して変化された後、すべてリセットされるように構成されている。
【０１２２】
ところで、これまでの説明においては、制御システム１に入力される抗原は、図２に示したような有限個に加工された抗原であり、非ネットワーク型免疫システム８に、有限個の抗原に対応する有限個（最大でも抗原の数×要素行動の数）の抗体モジュールＡｍｉを用意しておけば、入力された抗原ｉに対して抗体モジュールＡｍｉを自動的に対応付けることができた。
【０１２３】
しかし、実際の装置においては、抗原が、例えば、ｎ個のセンサの測定値ｓiからなるｎ次元ベクトル（ｓ1，ｓ2，…、ｓn）や、センサの測定値ｓiを装置のＣＰＵ等で加工して得られる装置の進行方向に対する対象物（例えば、目的地）の角度（θ）と距離（Ｌ）を成分とする２次元ベクトル（θ，Ｌ）の形をとる場合も多い。このような場合、ベクトルの各成分は、通常、連続的な無限個の値をとるか、或いは１〜１０２４等の数値範囲が広いデジタル的な数値をとるが、そのような数値を成分とする抗原ｉの１つ１つに対して抗体モジュールＡｍｉを用意しておくことは、事実上、不可能である。
【０１２４】
そのため、本実施形態の制御システム１には、抗原に対して抗体モジュールを自動的に対応付けるための免疫応答ネットワーク部７が設けられている（図１参照）。
【０１２５】
免疫応答ネットワーク部７は、図６に示すように、ベクトルとしての抗原が存在するベクトル空間を有限個の小空間（以下、セルという）に分け、１つのセルについて１個の代表ベクトルＷj（図６では、各セルの中央の点で示されるベクトル）を設定しておき、入力された抗原ｉに対して、抗原ｉが属するセルに設定された代表ベクトルＷiを対応付けるように構成される。なお、図６は、入力される抗原が前記２次元ベクトル（θ，Ｌ）の場合のベクトル空間を示し、θが−１８０°〜１８０°の範囲の値、装置のセンサ感度に基づきＬが０ｍｍ〜７００ｍｍの値をとる場合を示す。
【０１２６】
この免疫応答ネットワーク部７における抗原ｉと代表ベクトルＷiとの対応付けは、前述した生体の免疫応答ネットワークとの類推で言えば、１種類の抗原ｉ（１つのセル内の抗原ｉ）に対して１種類のＢ細胞Ｗi（１つの代表ベクトルＷi）を割り当てることに相当する。
【０１２７】
そして、図７に示すように、１つのＢ細胞Ｗiに対して、そのＢ細胞Ｗiを示す代表ベクトルＷiを刺激条件Ｗiとして持つ抗体モジュールＡｍｉを要素行動の数だけ非ネットワーク型免疫システム８に用意しておくことにより、制御システム１に入力した１つの抗原ｉが免疫応答ネットワーク部７で１つのＢ細胞Ｗi（すなわち、代表ベクトルＷi）に対応付けられ、そのＢ細胞Ｗiが活性化され、そのＢ細胞Ｗiに対応付けられた非ネットワーク型免疫システム８の抗体モジュールＡｍｉが刺激される。このようにして、無限個の抗原ｉに対して有限個の抗体モジュールＡｍｉを自動的に対応付けることができる。
【０１２８】
本実施形態の免疫応答ネットワーク部７は、前述したベクトル空間のセルへの分割を、ベクトル量子化の手法により行い、抗原ｉに対してＢ細胞Ｗiを対応付け、図７に示した手法により非ネットワーク型免疫システム８に抗体モジュールＡｍｉを生成することで、抗原ｉに対して抗体モジュールＡｍｉを自動的に対応付けるように構成されている。
【０１２９】
ベクトル量子化では、通常、図８に示すように、ベクトル空間内に代表ベクトルＷa、Ｗb、Ｗc、…（Ｂ細胞Ｗiに相当する。）が設定されており、入力ベクトルｉ（抗原ｉに相当する。）が与えられると、各代表ベクトルＷa、Ｗb、Ｗc、…の中から歪み（いわば距離）が最小となる代表ベクトルが探索され、入力ベクトルｉが、歪みが最小となる代表ベクトルに写像されて対応付けられる。この場合、ベクトル空間は、各代表ベクトルに写像される入力ベクトルｉの集合であるセル（ボロノイ領域）に分割される（ボロノイ分割）。なお、ベクトル量子化は、図８に示したような２次元ベクトル空間の場合だけでなく、多次元のベクトル空間にも適用可能であることは言うまでもない。また、ベクトル量子化の性能は、代表ベクトルの設定の仕方に依存するため、通常、多数の代表ベクトルが設定されるが、前記図６に示したような、スカラー量子化をベクトルに応用した量子化で必要となる代表ベクトルの数と比較すれば、格段に少なくて済むという利点がある。
【０１３０】
また、本実施形態の免疫応答ネットワーク部７では、ニューラルネットワークにおける教師なし学習によるシナプス結合荷重の修正の手法を応用して、下記（８）式に基づいて、入力された抗原ｉにより選択されたＢ細胞Ｗi（代表ベクトルＷi）の修正を行い、免疫応答ネットワーク部７におけるＢ細胞の自己組織化を行うようになっている。
【０１３１】
【数８】
2005258697.tif 000010
【０１３２】
ここで、ηは学習速度と呼ばれる定数であり、通常、０．１程度の小さな正の値が設定される。このようにＢ細胞Ｗiを入力された抗原ｉに近づける修正を行うことにより、抗原ｉが多く入力されるベクトル空間の領域にＢ細胞Ｗiを的確に配置することが可能となり、入力された抗原ｉに対して適切なＢ細胞Ｗiを対応付けることが可能となる。
【０１３３】
さらに、本実施形態の免疫応答ネットワーク部７は、抗原ｉに対応付けるべきＢ細胞がベクトル空間内の既存のＢ細胞の中になく、抗体ｉを既存の抗体モジュールに対応付けられない場合には、ベクトル空間に新たなＢ細胞Ｗiを生成させるように構成されている。本実施形態では、ベクトル量子化における歪みに対応する概念として、下記（９）式に示される整合度ｄijが導入される。
【０１３４】
【数９】
2005258697.tif 000011
【０１３５】
そして、前記整合度ｄijに対して閾値が設定され、ベクトル空間内の既存のＢ細胞Ｗjの中に抗原ｉとの整合度が閾値以下になるようなＢ細胞Ｗj（（９）式ではＢ細胞Ｗjに対応するｊ番目の抗体パラトープの刺激条件Ｗjとして表現されている。）があれば、抗原ｉはそのＢ細胞Ｗjに対応付けられ、抗体モジュールＡｍｉに対応付けられると同時に、前記Ｂ細胞Ｗiの修正が行われるが、抗原ｉに対応付けるべきＢ細胞がベクトル空間内になく、抗体ｉを既存の抗体モジュールに対応付けられない場合、すなわち、ベクトル空間内の既存のどのＢ細胞Ｗjに対しても抗原ｉとの整合度ｄijが前記閾値を超えてしまう場合には、ベクトル空間に新たにＢ細胞Ｗiを生成させるように構成されている。つまり、本実施形態の免疫応答ネットワーク部７では、いわゆる自己増殖型のベクトル量子化ネットワークが採用されている。
【０１３６】
ベクトル空間に新たにＢ細胞Ｗiを生成させる方法としては、本実施形態では、ベクトル空間に、その入力された抗原ｉとの整合度が０のＢ細胞Ｗi、すなわち，抗原ｉに対応するベクトルＸi（ｘi1，ｘi2，…，ｘin）を自己の代表ベクトルＷi（ｗi1，ｗi2，…，ｗin）とするＢ細胞Ｗiを新たに自動的に生成させるようになっている。そして、免疫応答ネットワーク部７にＢ細胞Ｗiが新たに生成されると、図７に示したように、非ネットワーク型免疫システム８に、そのＢ細胞Ｗiに対応する抗体モジュールを新たに生成させるように構成されている。
【０１３７】
なお、本実施形態のように制御システム１に免疫応答ネットワーク部７を設けた場合、抗体モジュールＡｍｉは、図５に示したような入力された抗原ｉにより直接刺激され、抗原ｊにより直接抑制される関係にはなくなり、図９に示すように、Ｂ細胞ＷiやＢ細胞Ｗjを介して刺激・抑制される関係になるので、抗体モジュールＡｍｉの抑制条件は、抗原ｊが写像された代表ベクトルＷjまたはＢ細胞Ｗjに対応した抑制条件Ｗjの形となる。また、免疫応答ネットワーク部７のベクトル空間に新規Ｂ細胞Ｗkが生成されるごとに、既存の抗体モジュールＡｍｉの抑制条件に抑制条件Ｗkが追加され、影響度βikが付与されるようになっている。
【０１３８】
次に、本実施形態の制御システムの作用について説明し、本実施形態の制御システムを用いた制御方法について説明する。
【０１３９】
本実施形態の制御システム１は、自律行動型の装置の行動制御に用いられるためのものであり、実際に装置を行動させ、試行錯誤させながら好適な抗体モジュール群を獲得させてもよいし、装置が行動をとるべきエリアの情報や、目的地や障害物等に関する情報をあらかじめ装置に入力し、本実施形態の制御システム１を用いてシミュレーションを行って好適な抗体モジュール群を獲得させるようにしてもよい。
【０１４０】
本実施形態の制御方法における各処理の詳細については、前記制御システム１の対応する各部で説明したとおりであるが、ここで図１０に基づいて簡単に処理の手順について述べる。図１０は、本実施形態の制御システムを用いた制御方法における処理の手順を示すフローチャートである。
【０１４１】
まず、装置のセンサ等から環境や装置内部の状態の情報、すなわち、抗原ｉが制御システム１に入力される（ステップＳ１）。
【０１４２】
本実施形態では、抗原ｉは免疫応答ネットワーク部７に送られ、前記（９）式に基づいて、免疫応答ネットワーク部７のベクトル空間に既存のＢ細胞Ｗj（代表ベクトルＷj）との整合度が、すべてのＢ細胞Ｗjに対して計算される（ステップＳ２）。そして、整合度が最も小さいＢ細胞が選択され（ステップＳ３）、抗原ｉとそのＢ細胞との整合度が所定の閾値以下の値かどうかが判断される（ステップＳ４）。
【０１４３】
抗原ｉとそのＢ細胞との整合度が所定の閾値以下であれば、そのＢ細胞Ｗiが活性化され、そのＢ細胞Ｗiに対応付けられた非ネットワーク型免疫システム８の抗体モジュールＡｍｉが活性化されると同時に、前記（８）式に基づいてそのＢ細胞Ｗiが修正される（ステップＳ５）。また、前記判断において、抗原ｉとそのＢ細胞との整合度が所定の閾値を超えると判断されると、免疫応答ネットワーク部７の自己増殖型ベクトル量子化ネットワークによりベクトル空間に新たなＢ細胞が生成され、図７に示したように、非ネットワーク型免疫システム８に、その新たに生成されたＢ細胞Ｗiに対応する抗体モジュールが要素行動の数だけ新たに生成され、活性化される（ステップＳ６）。
【０１４４】
以上の整合度計算（ステップＳ２）からＢ細胞の修正（ステップＳ５）または新規Ｂ細胞の生成（ステップＳ６）までが、免疫応答ネットワーク部７で行われる免疫応答処理である。なお、複数の抗原が入力された場合は、それぞれの抗原について独立にこの免疫応答処理が行われる。
【０１４５】
なお、本実施形態の制御方法において、免疫応答ネットワーク部７が設けられず、前記免疫応答処理が行われない場合は、非ネットワーク型免疫システム８に抗原ｉの入力（ステップＳ１）が行われ、すぐに次の抗体モジュールＡｍｉの活性度ａiの演算（ステップＳ７）が行われる。
【０１４６】
次に、非ネットワーク型免疫システム８で活性化されている各抗体モジュールＡｍｉの活性度ａiが、抗体評価演算部２で、それぞれ刺激条件Ｗiの抗体モジュールＡｍｉに対する影響度αiおよび抑制条件Ｗjの抗体モジュールＡｍｉに対する影響度βijから前記（３）式に基づいて演算される（ステップＳ７）。そして、活性化された全抗体モジュールＡｍｉの活性度ａiの総和に対する各抗体モジュールＡｍｉの活性度ａiの割合を選択確率として、ルーレット選択により抗体モジュールＡｍｉが決定される（ステップＳ８）。以上が、非ネットワーク型免疫システム８の抗体評価演算部２で行われる選択処理である。
【０１４７】
装置は、選択された抗体モジュールＡｍｉのパラトープを構成する要素行動モジュールに対応する要素行動を実行し（またはシミュレーション上で実行し）、その行動により、装置が目的地に到達する等の環境からの報酬を受けたか否か（ステップＳ９）、または装置が障害物に衝突する等の環境からの罰を受けたか否かが判断される（ステップＳ１０）。
【０１４８】
装置が行動をとっても、環境から報酬も罰も受けていないと判断されれば、免疫応答ネットワーク部７で選択されたＢ細胞Ｗiと、非ネットワーク型免疫システム８の抗体評価演算部２で選択された抗体モジュールＡｍｉのすべてが、履歴記憶部６の履歴データベースに記憶（すでに記憶されたデータがあれば追加）され（ステップＳ１１）、あらためて制御システム１への抗原ｉの入力（ステップＳ１）が行われて、以上のルーチンが繰り返される。
【０１４９】
前記判断において、環境から報酬を受けたと判断されると（ステップＳ９）、前記（４）式および（５）式に基づき、前記履歴記憶部６の履歴データベースに記憶された履歴が参照されて、前記影響度αiおよび影響度βijが一括して変化され強化される（ステップＳ１２）。また、前記判断において、環境から罰を受けたと判断されると（ステップＳ９）、同様にして前記影響度αiおよび影響度βijが一括して変化され弱化される（ステップＳ１３）。その後、履歴記憶部６の履歴データベースに記憶された履歴がリセットされ、初期化される（ステップＳ１４）。以上が、α学習部４やβ学習部５、履歴記憶部６よりなる学習部３で行われる学習処理である。
【０１５０】
履歴記憶部６の履歴データベースに記憶された履歴がリセットされ、装置の一連の行動が終了した後、必要があれば、再び抗原の入力（ステップＳ１）からのフローが繰り返される。
【０１５１】
本実施形態の制御システム１を用いた制御方法では、装置は、実際に或いはシミュレーション上で、試行錯誤しながら以上のフローに従って行動を繰り返す。そして、免疫応答ネットワーク部７のベクトル空間に新たなＢ細胞を生成させ、或いは既存のＢ細胞を適宜修正してＢ細胞の自己組織化を行い、入力された抗原ｉに対して適切なＢ細胞Ｗiや抗体モジュールＡｍｉが選択されるように、ベクトル空間内でのＢ細胞の配置を的確に修正していく。また、環境からの報酬や罰を受けると、それを学習して、適切な要素行動に結び付けられた抗体モジュールＡｍｉが選択されるように影響度αi、βijを変化させて、好適な抗体モジュール群を形成させていく。
【０１５２】
このようにして、影響度αi等を変化させ、免疫応答ネットワーク部７のベクトル空間内でのＢ細胞の配置を修正し、適切な抗体モジュール（およびそれに結び付けられた要素行動モジュール）を対応付けるようにしたシミュレーション実験の結果を図１１に示す。
【０１５３】
この実験は、図１２に模式的に示すような独立に回転駆動可能な車輪９、９を備えた直径６０ｍｍの円筒状の装置Ｘを、図１３に模式的に示すような四方を壁Ｗに囲まれた南北方向、東西方向ともに１０００ｍｍの正方形状の探索領域の中央に北向きに配置し、探索領域内で行動させ、装置Ｘが探索領域内に設定されたゴールＧに到達すれば報酬を得、壁Ｗに衝突すると罰を受けるという実験である。装置ＸがゴールＧに到達すると、探索領域内に新たにゴールＧがランダムに発生され、装置Ｘは新たに行動を開始する。
【０１５４】
また、装置Ｘの進行方法前方側には、７００ｍｍ以内のゴールＧを感知可能なセンサ１０が６個、装置Ｘの進行方向後方側には、同様のセンサ１０が２個それぞれ配設されており（図１２参照）、装置Ｘの制御システム１には、抗原としてゴールＧの角度θおよび距離Ｌからなる２次元ベクトル（θ，Ｌ）が入力される。−１８０°≦θ≦１８０°、０≦Ｌ≦７００である。さらに、装置Ｘは、要素行動として「前進」、「左折」、「右折」、「左回転」、「右回転」の５つの行動をとることができる。装置Ｘは、「前進」、「左折」および「右折」では１つの要素行動あたり６０ｍｍ進み、「左回転」および「右回転」では１つの要素行動あたりそれぞれの方向に３０°回転する。
【０１５５】
図１１は、装置Ｘが、図１３に示した初期状態から出発し、図１０に示したフローチャートにおける選択されたＢ細胞の修正（ステップＳ５）または新規Ｂ細胞の生成（ステップＳ）を計１０００回行った時点での免疫応答ネットワーク部７のセルに分割されたＢ細胞Ｗiのベクトル空間を示している。なお、この場合、整合度ｄijの閾値は２０である。
【０１５６】
この時点で、ベクトル空間には６６個のＢ細胞Ｗi（図１１では点で示されている。）が生成されており、非ネットワーク型免疫システム８には、Ｂ細胞Ｗiに対応付けられた要素行動が異なる計３３０個の抗体モジュールＡｍｉが生成されている。
【０１５７】
しかし、ベクトル空間内の１つのＢ細胞Ｗiに対して要素行動が異なるすべての抗体モジュールＡｍｉ（この場合は５個）が同じ影響度αiを有しているわけではなく、制御システム１の学習部３において各抗体モジュールＡｍｉ間で調停が行われるため、図１１に示すように、抗原ｉの成分θが０°近辺の値をとる場合には「前進」の要素行動モジュールを持つ抗体モジュールＡｍｉの影響度αiが、他の要素行動モジュールを持つ抗体モジュールＡｍｉの影響度αiより大きな値を持つように調停されている（領域Ｉ）。また、θが中間的な正の（すなわち右方向の）値をとるときは要素行動「右折」を持つ抗体モジュールＡｍｉ（領域ＩＩ）の影響度αiが、また、θがさらに大きな正の値をとるときは要素行動「右回転」を持つ抗体モジュールＡｍｉ（領域ＩＩＩ）の影響度αiが、他の要素行動モジュールを持つ抗体モジュールＡｍｉの影響度αiより大きな値を持ち、支配的になっている。
【０１５８】
これは、θが負の値をとる場合（すなわち左方向にゴールＧを感知した場合）も同様であり、θが中間的な負の値をとるときは要素行動「左折」を持つ抗体モジュールＡｍｉが支配的になり（領域ＩＶ）、θがさらに絶対値が大きな負の値をとるときは要素行動「左回転」を持つ抗体モジュールＡｍｉが支配的となっている（領域Ｖ）。
【０１５９】
図１１に示したＢ細胞Ｗiのベクトル空間は、さらにシミュレーションの回数を増やせば、さらに精緻にセルに分割され、Ｂ細胞Ｗiがさらに精緻に配置されるようになり、前記の区分された領域Ｉ〜Ｖと要素行動の対応付けがより整然としたものとなることは言うまでもない。
【０１６０】
以上のように、本実施形態の制御システムおよび制御方法によれば、学習部３のα学習部４において、環境からの報酬のフィードバックに基づいて、抗原ｉの或いはＢ細胞Ｗiの抗体モジュールＡｍｉに対する影響度αiを強化させ、環境からの罰のフィードバックに基づいて影響度αiを弱化させるように学習処理を行うため、非ネットワーク型免疫システム８の抗体評価演算部２において適切な要素行動モジュールを持つ抗体モジュールＡｍｉが選択される確率を高めることができ、装置がその要素行動に基づいて適切な行動をとることができるようになる。このようにして、装置が適切な行動（制御内容）を自律的に獲得することが可能となる。
【０１６１】
また、学習部３のβ学習部５において、環境からの報酬のフィードバックに基づいて、抗原ｊ或いはＢ細胞Ｗjの、選択されなかった抗体モジュールＡｍｉに対する影響度βijを強化させて抗原ｊの抗体モジュールＡｍｉに対する抑制を強め、また、環境からの罰のフィードバックに基づいて影響度βijを弱化させて抗体モジュールＡｍｉに対する抑制を弱めるように学習処理を行うため、異なる抗原ｉ、ｊにより活性化された抗体モジュールＡｍｉ、Ａｍｊの競合状態を解消させ、そのような競合状態の中から最適な抗体モジュール（すなわち要素行動）が選択されるような制御規則を自己組織的に獲得することができる。
【０１６２】
このように、本実施形態の制御システム１および制御方法によれば、前述した行動型人工知能が抱える２つの大きな課題のうちの第１の課題である、人工知能を備えた自律行動型の装置において、同時に活性化した複数の要素行動モジュールの調停を行う規則をいかに構築するかという問題に対して、自律行動型の装置が環境との相互作用を通じて、要素行動モジュールの調停規則を自己組織的に獲得するという方法で解決することができる。
【０１６３】
さらに、学習部３に、履歴記憶部６を設けることにより、環境から報酬または罰を受けるまでのステップ数を加味した状態で学習処理を行わせて、抗原の抗体モジュールに対する影響度αi、βijを変化させることができる。例えば、環境から報酬等を受けるまでの履歴を加味せず、報酬等を受ける直前の行動（すなわち、報酬等を受けるに至った行動）のみの影響度αi、βijを変化させたり、或いは報酬等を受けるまでの行動に重みをつけずに一括して影響度αi、βijを変化させたりすることも可能である。しかし、本実施形態のようにステップ数を加味し、例えば、前記（６）式および（７）式の強化関数ｆα（ｒ，ｋ）およびｆβ（ｒ，ｋ）として、ｒ／ｋのようなステップ数ｋに関して減衰する関数を用いることで、ステップ数が多く、いわば余分な行動をたくさん行ってやっと報酬を受けた一連の行動よりも、ステップ数がより少ない一連の的確な行動で報酬を受けた場合を高く評価することが可能となり、その場合に影響度αi、βijをより強く変化させることで装置の学習効率を高めることができる。
【０１６４】
このように、本実施形態の制御システム１および制御方法によれば、装置が環境からの報酬等に基づいて自律的に影響度αｉを強化または弱化させ、影響度βijを変化させて要素行動モジュールの調停規則を自己組織的に獲得していくため、設計者は、想定される抗原に対応する刺激条件モジュールと、装置がとり得る要素行動に対応する要素行動モジュールとを組み合わせてパラトープ構成し、パラトープに用いた抗原以外の抗原に対応する抑制条件モジュールを単に組み合わせてアンチパラトープを構成するという単純な操作で抗体モジュールを構成することが可能となる。そのため、本実施形態の制御システム１の成否は、設計者の設計能力にはまったく依存しないという特徴を有する。
【０１６５】
一方、本実施形態の制御システム１および制御方法によれば、前述したように、免疫応答ネットワーク部７を設け、免疫応答処理を行わせることにより、連続した値をベクトルの成分とする無限個の抗原ｉに対し、有限個のＢ細胞Ｗiを自動的に対応付けて、非ネットワーク型免疫システム８に有限個の抗体モジュールＡｍｉを自動的に対応付けることができる。特に、ベクトル空間におけるベクトル量子化の手法を用いて行うことにより、ベクトル空間をスカラー量子化的に単純に分割して対応付ける場合と比較して、格段に少ないＢ細胞Ｗiにより対応付けを行うことが可能となる。
【０１６６】
また、ベクトル量子化の手法をさらに改良して、自己増殖型のベクトル量子化ネットワークを用いることにより、抗原ｉに対応付けるべきＢ細胞が免疫応答ネットワーク部７のベクトル空間内の既存のＢ細胞の中になく、抗体ｉを既存の抗体モジュールに対応付けられない場合に、ベクトル空間に新たにＢ細胞Ｗiを生成させ、非ネットワーク型免疫システム８にその新たに生成されたＢ細胞Ｗiに対応する抗体モジュールＡｍｉを自動的に新たに生成させることが可能となる。
【０１６７】
この自己増殖型ベクトル量子化ネットワークの増殖機能は、免疫応答ネットワーク部７のベクトル空間にＢ細胞Ｗiを自動的に生成させるものであるから、この機能を利用すれば、設計者が非ネットワーク型免疫システム８に適切な数の抗体モジュールＡｍｉを用意し、或いは免疫応答ネットワーク部７に適切な数のＢ細胞Ｗiを用意しておくことさえ不必要となる。というのは、初期状態において、免疫応答ネットワーク部７のベクトル空間にＢ細胞Ｗ1を１つ設けておき（極端に言えば、Ｂ細胞が１つもなくてもよい。）、それに対応する抗体モジュールＡｍｉを非ネットワーク型免疫システム８に要素行動の数だけ用意しておけば、免疫応答ネットワーク部７のベクトル空間に抗原ｉが入力され、対応付けるべきＢ細胞Ｗiがなければ自動的に新たなＢ細胞Ｗiが生成され、それに対応して、非ネットワーク型免疫システム８に必要な抗体モジュールＡｍｉが自動的に新たに生成されるからである。
【０１６８】
このように、自己増殖型ベクトル量子化ネットワークの手法を用いれば、設計者は、ベクトル空間に必要なＢ細胞Ｗi（すなわち代表ベクトルＷi）を１つだけ設計し、或いは１つの設計せずに、Ｂ細胞Ｗiに対応して非ネットワーク型免疫システム８に抗体モジュールＡｍｉを要素行動の数だけ生成させる仕組（図７参照）さえ用意しておけばよいことになる。このように、自己増殖型ベクトル量子化ネットワークの手法を用いれば、設計者が、必要な数のＢ細胞Ｗiやそれに対応する抗体モジュールＡｍｉをあらかじめ設計しておく必要がなくなる。
【０１６９】
このように、本実施形態の制御システム１および制御方法によれば、前述した行動型人工知能が抱える２つの大きな課題のうちの第２の課題である、抗体モジュールをいかに設計するかという問題に対して、抗体モジュールＡｍｉを図９に示したような形に設計し、自己増殖型ベクトル量子化ネットワークの手法により自動的に生成させることで解決することができる。
【０１７０】
なお、本実施形態では、抗体評価演算部２における抗体モジュールＡｍｉの選択において、ルーレット選択の方法を用いた。これは、比較的小さな選択確率しか持たない抗体モジュールＡｍｉ（およびその要素行動）にも選択される可能性を残し、抗原に対するより適確な行動を探索する余地を残すことを目的としたものであるが、ルーレット選択以外の選択方法を用いることも可能である。例えば、活性度が最大の抗体モジュールＡｍｉを選択する方法が挙げられる。
【０１７１】
また、図１１〜図１３に示したシミュレーション実験では、自律行動型の装置Ｘが１台で、障害物は壁Ｗだけという非常に簡単な実験の場合を示したが、本実施形態の制御システム１および制御方法によれば、複数の装置が、ある領域の中で最適な行動をとるための抗体モジュール群をそれぞれの装置について同時に求めることも可能であり、また、複雑に変化する環境下での単独または複数の装置の行動を制御することも可能である。
【０１７２】
［第２の実施の形態］
本発明に係る制御システムおよび制御方法の第２の実施形態は、図１に示した制御システム１の学習部３における学習処理において、抗原ｉ（或いはＢ細胞Ｗi）に対応する刺激条件の抗体モジュールＡｍｉに対する影響度αi、および抗原ｊ（或いはＢ細胞Ｗj）に対応する抑制条件の抗体モジュールＡｍｉに対する影響度βijを変化させる際に、遺伝的アルゴリズムを用いる点に特徴を有する。
【０１７３】
本実施形態における制御システムおよび制御方法の構成は、第１の実施形態における制御システム１および制御方法の構成と同様である。そのため、本実施形態の制御システムにおける各部の符号や制御方法におけるステップについては、図１に示した制御システム１における各部の符号および図１０に示した制御方法のステップと同一のものを用いる。
【０１７４】
まず、制御システム１に免疫応答ネットワーク部７が設けられていない場合について説明する。
【０１７５】
この場合、非ネットワーク型免疫システム８には、図３（Ａ）や図４等に示したような必要な数の抗体モジュールＡｍｉが備えられている。また、各抗体モジュールＡｍｉのパラトープの刺激条件およびアンチパラトープの抑制条件には、抗体モジュールＡｍｉに対する影響度αi、βijがそれぞれ割り振られており、これらの影響度αi、βijは、図３（Ｂ）に示したように、抗体モジュール群全体で１つのセット（以下、影響度のセットという。）を形成している。本実施形態の学習部３では、この影響度のセットについて遺伝的アルゴリズムを用い、最適な影響度のセットを見出すものである。
【０１７６】
学習部３には、装置が行動すべきエリアの情報（例えば、図１３に示した探索領域の地図やゴールＧの位置等）や、障害物等に関する情報（例えば、図１３における壁Ｗの位置）等があらかじめ入力されている。学習部３では、これらの情報に基づいて、図１４に示す遺伝的アルゴリズムのフローチャートに従って、前記影響度の最適なセットを見出すように構成されている。
【０１７７】
学習部３は、図１４のフローチャートに基づいて、初期集団（第１世代）として、影響度αi、βijの値をランダムに発生させて影響度のセットを形成し（ただし、前記（３）式に示した数値範囲に限られる。）、図１５に示すように、そのような影響度のセットを１００個体発生させる（図１４のステップＳ１５）。そして、影響度のセットが設定世代（通常、数千世代〜数万世代が設定される。）に達したか否かを判断される（ステップＳ１６）。影響度のセットが設定世代に達していなければ、学習部３は、影響度の各セットの適応度を計算するために、影響度の各セットごとに、装置が行動すべきエリアの情報等に基づいて、シミュレーションを行う。
【０１７８】
シミュレーションは、図１６に示したフローチャートに従って行われ、シミュレーション上で抗原ｉが入力され、抗体評価演算部２で、各抗体モジュールＡｍｉの活性度が前記影響度のセットに基づいて演算され、ルーレット選択により抗体モジュールＡｍｉが選択されて、装置の行動が決定される。そして、抗原ｉの入力、抗体モジュールＡｍｉ、装置の行動が繰り返して行われ、その間のステップ数が計測される。装置が環境から報酬または罰を受けるか、ステップ数が所定回数に達した時点でシミュレーションを終了する。
【０１７９】
そして、各影響度のセットごとに所定の評価式に基づいて適応度が計算される（ステップＳ１７）。評価式は、例えば、図１３に示した探索問題では、（ゴールまでの距離）＋（ステップ数）＋（罰を受けた場合の罰則値）のような形で与えられる。罰を受けた場合の罰則値は、例えば、１００という数値が与えられる。シミュレーション上で装置が壁に衝突して環境から罰を受ければ、適応度はゴールまでの距離と壁に衝突するまでのステップ数と１００の和となる。また、装置がゴールに到達して環境から報酬を受ければ、ゴールまでの距離および罰を受けた場合の罰則値は０であるから、適応度はステップ数に等しくなる。したがって、この場合は、適応度が小さい方がより適した影響度のセットであるということができる。
【０１８０】
学習部３は、適応度を計算された各影響度のセットに対してエリート保存による親選択を行う（ステップＳ１８）。親選択では、適応度が最も良い（この場合は適応度が最小の）影響度のセットをＲＡＭに格納して隔離し（エリート保存）、同時に、適応度が最も良い影響度のセットのコピーセットを生成し、そのコピーセットとそれ以外の各影響度のセットについて、ルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で選択を行うように構成されている。本実施形態では、１００個体の影響度のセットの中から１０個体をランダムに選択し、その中で最も適応度が良い（適応度が小さい）影響度のセットを残すトーナメント選択を行う。それを１００回繰り返し、次世代に残す１００個体の影響度のセットを選択する。
【０１８１】
次に、学習部３は、このようにして選択された次世代の影響度の各セットを図１７に示すような遺伝子型にしたうえで、影響度のセットを２個体ずつ対にして、それぞれの個体対ごとにランダムに選ばれた遺伝子上の交叉点で一定の割合で互いに交叉させる（ステップＳ１９）。本実施形態では１点交叉の方法が採られるが、多点交叉や一様交叉等の方法で交叉させることも可能である。
【０１８２】
さらに、学習部３は、影響度の各セットごとに、影響度αiや影響度βijに対して一定の割合で突然変異を生じさせる（ステップＳ２０）。さらに、本実施形態では、学習部３は、影響度の各セットごとに、影響度αiや影響度βijの中の少なくとも１つの値を一定の割合でランダムに選択し、その値を僅かに増減させて変化させる揺らぎ発生を行う（ステップＳ２１）。前記突然変異が影響度αiや影響度βijの値をその数値範囲内で別の数値に置き換えるのに対し、揺らぎ発生は、影響度αiや影響度βijの中の少なくとも１つの値を、例えば、０．０１のような小さな値で増減させて、影響度のセットの適応度がより良くなるものを見出すための操作である。
【０１８３】
学習部３は、揺らぎ発生までを終えた影響度のセットと、親選択において、隔離保存された親世代の適応度が最も良い影響度のセットと対して、影響度のセットが設定世代に達したか否かを判断し（ステップＳ１６）、設定世代に達したと判断すると、再びシミュレーションを行い、適応度が最も良い影響度のセットを残して、遺伝的アルゴリズムを終了する（ステップＳ２２）。設定世代に達していないと判断した場合には、前記過程を設定世代に達するまで繰り返す。
【０１８４】
学習部３は、以上のように遺伝的アルゴリズムを用いて抗原ｉに対応する刺激条件の抗体モジュールＡｍｉに対する影響度αi、および抗原ｊに対応する抑制条件の抗体モジュールＡｍｉに対する影響度βijを変化させて、非ネットワーク型免疫システム８に設定された抗体モジュール群の最適な影響度αi、βijを決定する。
【０１８５】
次に、制御システム１に免疫応答ネットワーク部７が設けられている場合についても、学習部３は、前記の場合と同様に、図１４に示した遺伝的アルゴリズムに基づいて抗体モジュール群の最適な影響度αi、βijを決定する。その際、適応度計算（ステップＳ１７）におけるシミュレーションは、図１８に示すフローチャートに従って、装置が環境から報酬または罰を受けるか、ステップ数が所定回数に達するまで行われる。
【０１８６】
また、この場合、図１４の遺伝的アルゴリズムにおいて、初期個体（ステップＳ１５）として、免疫応答ネットワーク部７において、１つのＢ細胞Ｗiがランダムに生成されたベクトル空間を１００個体（ベクトル空間内のＢ細胞Ｗiの位置がそれぞれ異なる。）用意しておき、それに対応する刺激条件Ｗiの抗体モジュールＡｍｉに対する影響度αiをランダムに割り振り、また、適応度計算のシミュレーションにおいてベクトル空間にＢ細胞Ｗjが新たに生成されるごとに、刺激条件Ｗjの抗体モジュールＡｍｊに対する影響度αj、および他のＢ細胞Ｗiに対応する抑制条件Ｗiの抗体モジュールＡｍｊに対する影響度βjiをランダムに割り振ることにより、影響度のセットを形成、拡大させつつ適応度を計算する。
【０１８７】
また、初期個体において、あらかじめ免疫応答ネットワーク部７に、複数個（例えば、３０個）のＢ細胞Ｗiをランダムに生成させたベクトル空間を１００個体用意し、それに対応するように、非ネットワーク型免疫システム８に抗体モジュールＡｍｉを生成させておいてもよい。
【０１８８】
このようにして、制御システム１に免疫応答ネットワーク部７が設けられている場合についても、同様に、学習部３において遺伝的アルゴリズムに基づいて抗体モジュール群の最適な影響度αi、βijが見出される。
【０１８９】
以上のように、第２の実施形態の制御システムおよび制御方法によれば、第１の実施形態のように、設計者が、学習部３のα学習部４やβ学習部５で強化学習を行うために前記（６）式や（７）式の強化関数ｆα（ｒ，ｋ）やｆβ（ｒ，ｋ）を設計する必要がなく、遺伝的アルゴリズムを用いることにより、自動的に影響度αiが決定されて、装置が適切な行動（制御内容）を獲得でき、自動的に影響度βijが決定されて、異なる抗原ｉ、ｊにより活性化された抗体モジュールＡｍｉ、Ａｍｊの競合状態を解消させ、そのような競合状態の中から最適な抗体モジュール（すなわち要素行動）が選択されるような制御規則を獲得することが可能となる。
【０１９０】
また、抗体モジュールＡｍｉも自動的に生成され、そのアンチパラトープの抑制条件も自動的に追加されていくので、抗体モジュールＡｍｉが人為的に設計され、制御システムの成否が設計者の設計能力に依存してしまうという弊害を回避することが可能となる。
【図面の簡単な説明】
【０１９１】
【図１】第１の実施形態に係る制御システムを示すブロック図である。
【図２】２変数のベクトルとして示した抗原を説明する図である。
【図３】図２に示した各抗原に対応する抗体モジュール（Ａ）と刺激条件の影響度αおよび抑制条件の影響度β（Ｂ）を示す図である。
【図４】同一の刺激条件に対して異なる要素行動を組み合わせ抗体モジュールを示す図である。
【図５】抗原の抗体モジュールに対する抑制の度合が強化される状態を説明する図である。
【図６】免疫応答ネットワーク部のベクトル空間がセルに分割された状態を示す図である。
【図７】Ｂ細胞に対する抗体モジュールの対応付けを説明する図である。
【図８】ベクトル量子化における代表ベクトルと入力ベクトルとの対応付けを説明する図である。
【図９】Ｂ細胞による抗体モジュールの刺激抑制関係を説明する図である。
【図１０】第１の実施形態に係る制御システムを用いた制御方法における処理の手順を示すフローチャートである。
【図１１】第１に係る実施形態の制御システムおよび制御方法を用いたシミュレーション実験の結果を示す図である。
【図１２】図１１のシミュレーション実験に用いられた装置を示す模式図である。
【図１３】図１１のシミュレーション実験に用いられた探索領域の模式図である。
【図１４】第２の実施形態に係る制御システムおよび制御方法に用いられる遺伝的アルゴリズムのフローチャートである。
【図１５】図１４の遺伝的アルゴリズムの初期集団として形成される１００個体の影響度のセットを説明する図である。
【図１６】免疫応答ネットワーク部が設けられていない場合のシミュレーションに用いるフローチャートである。
【図１７】遺伝子型にした影響度のセットを説明する図である。
【図１８】免疫応答ネットワーク部が設けられている場合のシミュレーションに用いるフローチャートである。
【図１９】生体の免疫系のメカニズムを説明する図である。
【図２０】生体の免疫系の抗体、抗原および抗原抗体反応を説明する図である。
【図２１】非特許文献１に記載された手法に用いられる抗体モジュールの構造を示す図である。
【図２２】非特許文献１に記載された手法における抗体モジュール間の刺激抑制作用を説明する図である。
【図２３】非特許文献２に記載された手法に用いられる抗体モジュールの構造を示す図である。
【図２４】図２３の抗体モジュールの構造を具体的に説明する図である。
【符号の説明】
【０１９２】
１    制御システム
２    抗体評価演算部
３    学習部
４    α学習部
５    β学習部
６    履歴記憶部
７    免疫応答ネットワーク部
Ａｍｉ  抗体モジュール
【図１】
2005258697.tif 000012
【図２】
2005258697.tif 000013
【図３】
2005258697.tif 000014
【図４】
2005258697.tif 000015
【図５】
2005258697.tif 000016
【図６】
2005258697.tif 000017
【図７】
2005258697.tif 000018
【図８】
2005258697.tif 000019
【図９】
2005258697.tif 000020
【図１０】
2005258697.tif 000021
【図１１】
2005258697.tif 000022
【図１２】
2005258697.tif 000023
【図１３】
2005258697.tif 000024
【図１４】
2005258697.tif 000025
【図１５】
2005258697.tif 000026
【図１６】
2005258697.tif 000027
【図１７】
2005258697.tif 000028
【図１８】
2005258697.tif 000029
【図１９】
2005258697.tif 000030
【図２０】
2005258697.tif 000031
【図２１】
2005258697.tif 000032
【図２２】
2005258697.tif 000033
【図２３】
2005258697.tif 000034
【図２４】
2005258697.tif 000035