Иммунная сеть с генетическим алгоритмом настройки для ПИД-управления / Цзя ЛУ, Л. А. Станкевич

программирования или направленного перебора вариантов [1,5,6).

Анализ двух подходов к решению обшей задачи формирования базовой сети региона показал. что оптимальные характеристики сети можно получить при решении прямой задачи, однако

это не всегда возможно. Поэтапное решение обшей задачи может не быть оптимальным, однако возможна коррекция частных задач на этапах с учетом изменения параметров сети.

Выбор метода решения требует оценки возможностей и готовности региона, исследования устойчивости параметров сети.

СПИСОК ЛИТЕРАТУРЫ

1 Кристофидес Н. Теория графов. Алгоритмический подход. М.: Мир, 1978. 432 с.

2. Бурков С.М. Проблемы и задачи поэтапного формирования информационной базовой сети региона. Хабаровск, 2005. 46 с. (Препринт № 50, BU ДВО РАН).

3 Бурков С.М., Бертснсв В.А., Мазур А.И. Формирование ресурсов и структура расходов И'ГКС образования и науки Хабаровского края // Труды XV Всерос. науч.-метод, конф. "Телематика 2008". Т. 2. Санкт-Петербург, 23-26 июня 2008 г. С. 514-516.

4. Бурков С.М. Алгоритмы и методы поэтапного формирования телекоммуникационных сетей региона. Математическая модель// Вестник ТОГУ.

№ 1 (8). Хабаровск: Изд-во ТОГУ, 2008. С. 91-100.

5. Кофман А, Анрн-Лабордер А Методы и модели исследования операций. М.: Мир, 1977. 432 с.

6. Моисеев H.H. Математические задачи системного анализа. М.: Наука, 1981. 488 с.

7. Решение Совета главных конструкторов информатизации регионов Российской Федерации от 27 апр. 2006 г. (http://www.pvti.ru/sgk/resh.pdf).

8. Стратегия развития информационного общества в Российской Федерации. Утв. 07.02.2008. № Пр-212 // Российская газета. 2008. 16 февр.

9. Федеральная целевая программа "Электронная Россия (2002-2010)" Утв. постановлением Правительства РФ 28 янв. 2002 г. № 65.

УДК 004.421

Цзя fly, Л.А. Станкевич

ИММУННАЯ СЕТЬ С ГЕНЕТИЧЕСКИМ АЛГОРИТМОМ НАСТРОЙКИ

ДЛЯ ПИД-УПРАВЛЕНИЯ

Иммунная система человеческого организма реализует один из биологических информационных процессов с самонастройкой, путем которой человеческое тело адаптивно и гибко управляется при возмущениях среды. Иммунная система составлена из гуморального и клеточного иммунитетов. Искусственная иммунная система, составленная из антигенов и антител, которые применяются, чтобы управлять сложным поведением автономных роботов, использует гуморальный иммунитет.

В данной статье представлен иммунизированный ПИД-алгоритм для регулирования уровня воды. Иммунный генетический алгоритм (ИГА) инспирирован естественным иммунологическим алгоритмом [7, 8]. ИГА находит для контроллера сочетание /^(пропорциональной).

Т{ (интегральной) и (дифференци&чьной) составляющих для оптимального регулирования уровня воды.

В разделах 1—3 представлены и промоделированы базисные концепции, системы на иммунной сети (СИС), иммунный генетический алгоритм и система регулирования уровня воды. Раздел 4 описывает метод настройки П ИД-ре-гулятора на ИГА. Результаты эксперимента и сравнение с классическим алгоритмом Зиг-лера — Никольса и нечетко-логическим алгоритмом приведены в разделе 5.

1. Д-регулирование

В последней декаде П ИД-контроллеры удачно применялись для многих задач в области управления и достигали значимых результатов.

Благодаря широкому использованию в промышленности, особенно в задаче управления уровнем воды, процедуры настройки П ИД-контроллеров всегда были вершиной интереса [ 1 ]. Большинство систем управления уровнем гистерезисны, инер-циальны и нелинейны. Большинство традиционных методов настройки не обеспечивает хороших характеристик регуляторов. С развитием аппаратного и профаммногообеспечения ПИД-контрол-леры стали делать на микросхемах, которые могут быть спроектированы с использованием методов эволюционного программирования, что стало широко применяться как промышленный инструмент. Использование эволюционного алгоритма для оптимизации параметров ПИД-контроллеров облегчило их проектирование. Главная цель этого раздела — исследовать И ГА для настройки П ИД-контроллеров при решении задачи управления уровнем воды.

Эволюционирующие ПИД-контроллеры. Хотя существуют различные современные теории, ПИД-контроллеры остаются широко востребованными в промышленности благодаря простой архитектуре и легкой аппаратной или программной реализации. Более того, ПИД-контроллер может быть легко реализован даже тогда, когда точная математическая модель целевой системы неизвестна.

Традиционный П ИД-контроллер содержит три компонента: пропорциональное управление (П), компенсирующее ошибку системы (она умножается на константу — коэффициент усиления); интегральное управление (И), уменьшающее интегральную ошибку за некоторый период времени до момента регулирования (она умножается на константу — коэффициент интегрального усиления); управление по производной (Д), демпфирующее систему и уменьшающее колебательность (производная ошибки умножается на коэффициент демпфирования).

На практике используются различные комбинации пропорционального, интегрирующего и демпфирующего управления в зависимости от целей управления. Типичные ПИ-контроллеры, имеющие относительно быструю реакцию, используются широко еще и потому, что демпфирующее управление трудно настраивается и легко приводит к колебательности.

Передаточные функции разных ПИД-кон-троллеров, определенные в непрерывно-времен-ной области, могутбытьаппроксимированы пе-

редаточными функциями вдискретно-времен-ной области для цифрового управления. Полная передаточная функция трехкомпонентного П ИД-контроллера в дискретно-временной области имеет вид

где ¿о^+^Г+у. *2=У'а

/означает время итерациидля позиционного управления. Соответственно выходной управляющий сигнал цифрового ПИД-контроллера может быть представлен уравнением

и

Следовательно, в П ИД-контроллере в дискретно-временной области выход контроллера в текущий момент времени вычисляется на основе выхода контроллера в предыдущий момент времени, ошибки в текущий момент времени, ошибки в предыдущем итерационном цикле (за один шаг до текущего момента) и ошибки в момент времени перед этим (за два шага до текущего момента).

Эволюционирующие ПИД-контроллеры имеют средства настройки коэффициентов Кр, 7] и основанные на методах эволюционных вычислений. Наиболее общая реализация ПИД-контроллеров использует цифровые микропроцессоры. но чисто аналоговые реализации тоже существуют. В таких кон гроллерах эволюционный алгоритм устанавливает коэффициенты так, чтобы были выполнены целевые требования. Эволюционный алгоритм, инспирированный иммунными принципами, ИГА, также может быть использован для настройки контроллера.

П ИД-контроллер может включаться в замкнутый контур системы управления установкой согласно схеме, представленной на рис. 1.

Настройка П ИД-контроллера состоит в подборе подходящих коэффициентов Кр, 7} и так, чтобы удовлетворить требованиям к переходному процессу при достижении минимума ошибок регулирования. Согласно методу Зиглера — Никольса [9] эти коэффициенты могут быть получены из экспериментов при управлении процессом.

Нечеткие П ИД - контроллеры. Такие контроллеры не зависят от модели управляемой установки

Рис.1. Схема управления с ПИД-контроллером

и могут быть использованы для мультимодель-ных установок. Однако существуют трудности в определении и модификации набора правил нечеткого контроллера, от которого зависят характеристики системы управления.

При конструировании нечеткой системы требуется решить следующие задачи:

определить способ фаззификации входных переменных, т. е. сформировать шкалы этих переменных с функциями принадлежности входных значений к терм-множествам переменных и определить процедуру вычисления степеней принадлежности для текущих значений переменных;

создать базу нечетких правил и определить процедуру вывода, т. е. вычисления степеней принадлежности для выходных переменных;

определить способ дефаззификации выходных переменных, т. е. сформировать шкалы выходных переменных с функциями принадлежности и определить процедуру вычисления степеней принадлежности и текущих значений выходных переменных.

Ключевой момент при конструировании нечеткой системы — создание базы нечетких правил. соответствующих управляемому устройству. Один из методов создания базы нечетких правил

представлен в работе Лонга и др. [8]. В этом методе процесс вывода при нечетком управлении выражается простой формулой

и=

где Е, ЕС — нечеткие входные переменные для ошибки системы управления е(/) и ее изменения Ае(/) соответственно; а — фактор регулирования базы нечетких правил; скобочное выражение (х) означает, что машина вывода находит самое близкое целое число к значению вывода х , II— выход системы, полученный машиной вывода. Схема нечеткого IIИД-контроллера предстаачена на рис. 2.

Фаззификация при нечетком управлении может быть представлена выражениями

Е = кее

а дефаззификация определяется как

и/

В этих выражениях ке, к^ — факторы фаззификации для входов е(г) и Ае(/) соответственно; кфактор дефаззификации при нечетком выводе; "/(') — выход нечеткого контроллера.

Рис. 2. Нечеткий ПИД-контроллср

Для того чтобы оценить устойчивость ошибки системы, в схему контроллера был введен интегрирующий элемент (см. рис. 2). При этом выход контроллера и(г) определяется в соответствии с выражением

I

и

о

где ki — коэффициент при интегральной компоненте, который должен быть подобран при настройке контроллера.

2. Системы на иммунных механизмах

Система, основанная на иммунных механизмах (СИМ), обладает свойством самоорганизации (самоподдержки). Это свойство соответствует аксиоматическому положению в определении СИ М. Отсюда следует несколько свойств СИМ. Во-первых, входящий в систему (чужой) не мо-жетаприори быть отличаем от компонента самой системы (свой). Во-вторых, свой не может быть определен априори, поскольку граница между своим и чужим зависима от времени, пространственного положения и контекста. Согласно первому свойству система должна состоять из компонентов. способных оценивать друг друга, чтобы увеличить надежность системы в классическом контексте, в котором обеспечивается только потеря предназначенной функции, детектируемой как отказ без возможности быть перепутанной с нормальной функцией. Как результат имеет место другое важное свойство СИМ — система, которая как своя инкорпорирует компоненты, способные оценивать друг друга. Отказы, т. е. чужие в нашем кон гексте, будут определены на компонентах (в основном не отличимых от своих компонентов), которые могут быть производными своих компонентов или добавлены снаружи от своих, поскольку взаимные оценки и характер взаимодействия нормальных компонентовсисте-мы (своих) и отказавших компонентов (чужих) составляют специальную сеть, сформированную на месте, зависящем от ситуации, в которой система применяется. Согласно второму свойству СИМ инкорпорирует адаптивную систему путем разнообразия и отбора. Это не может обеспечить оптимального решения, но оно будет разумным. Иммунная система использует подобные решения, пригодно усиленные и модифицированные для подобных проблем.

В итоге СИМ имеет следующие свойства: самоорганизуемая система с мониторингом не только чужих, но и своих;

распределенная система с автономными компонентами, способными к взаимной оценке;

адаптивная система с разнообразием и отбором.

Модели СИМ. Имеется огромное разнообразие моделей иммунной системы. Наиболее известны модели, описываемые дифференциальными уравнениями. В общем плане можно использовать одно уравнение вида

<Ь

где х, — номер распознавания (или распознанный) наборов (Г-клеток, Д-клеток, антител и антигенов); — взаимодействие между типом / и типому'(позитивное для стимулирования и негативное для подавления); — состояние типа / сущности (например, активированный/неактивированный и т.д.); а— сходство (аГПпку) между этими двумя типами. Размерность х, может меняться, для нового типа этот номер может быть рожденным, мутированным для других типов или только инжектированным а случае антигенов.

Таким образом, здесь нет множества отличий от динамики популяций общих экологических систем, описанной, например, уравнением Лотка — Вольтерра [11]. Особенность этого уравнения для иммунной системы состоит втом, что взаимодействие изменяется в зависимости от состояний типа / и типа у сущностей и сходства между ними. Отличие состоит втом, что модели иммунной системы используют несколько техник, например модель "форма — пространство" 110], где антигены и антитела отображаются как точки в пространстве, которые позволяют измерить сходство между ними как дистанцию между точками. Пространства и дистанции могут быть непрерывными или дискретными.

Кроме того, для модели СИМ важно, что сущность ^должна быть разделена (точно размечена или неточно вложена) на своих и чужих заранее; они должны появляться как результат взаимодействия. Берзини (3) придумал простую модель, которая не имеет деления на своих и чужих изначально, но они именно так и появляются. Не только свои и чужие, но между ними будет появляться и граница — так называемое

самоутверждение. Оно обеспечивается, когда имеют место эндогенные или экзогенные взаимодействия.

3. Генетический алгоритм настройки иммунной сети

Цель введения иммунных механизмов и генетических методов заключается в использовании локальной информации для поиска путей и средств определения оптимальных решений трудных проблем, или, более точно, в использовании локальной информации, чтобы вмешаться в глобальный параллельный процесс и удержать или избежать повторяющейся и бесполезной работы в течение процесса настройки, что обеспечива-

ется применением операций кроссовера и мутации. ИГА позволяет избежать дегенеративных явлений в эволюционном процессе, так как обес-печ и вает устойч ивое у величе н ие фитнеса попу-ляции. Поскольку этот процесс очень похож на иммунный процесс в природе |4|, алгоритм, основанный на этих идеях, назван иммунно-гене-тическим алгоритмом (ИГА), что упрощает его восприятие.

ИГА описывает базовые свойства адаптивного иммунного ответа на антигенное стимулирование. Он соответствует схеме алгоритма, представленной на рис. 3.

ИГА подобен общему алгоритму поиска решения оптимизационной проблемы, если считать,

Критерий

Рис. 3. Схема ИГА

что антиген и антитело соответствуют значению объекта и вероятности решения проблемы. Можно выделить следующие шаги алгоритма:

ввод значения объекта и различных ограничений частной задачи оптимизации как антигенов И ГА;

создание оригинального антитела в пространстве решений случайным методом;

вычисление значения параметра сходства антитела;

выполнение операций кроссовера и мутации; использование нечеткого правила исправления группы, производящей следующее антитело;

если число итераций достигло заданного порога или критерий сходимости удовлетворен, процедура останавливается.

Регулирование плотности антитела. Чтобы описать процесс регулирования плотности антитела, необходимо определить это понятие. Плотность антитела может быть обозначена сходством [6]. Пусть имеется Л/ антител. Если кодировать длину каждого антитела как /. и размер символьной агрегации как Я, то энтропия информации Н^ /V) антитела с генной локацией 1 может быть определена как [6]

Н^) = ^

I I

где Рц — вероятность появления /-го символа генной локации у. Усредненная энтропия вычисляется как

' 1

В соответствии с концепцией энтропии сходство Аиу между двумя антителами и и V может быть определено как

А = 1

1 + ж 2)

Поскольку Аи у е(0,1), то чем больше значение Аиу, тем больше сходство и тем больше сходство и подобие между антителами и и V. Если = 1, то генетическое кодирование и и уоди-наково. Тогда плотность антитела /', или Ci, может быть определена по формуле

сошиЦ)

/V,

1Ша1

где соипг{1) — количество антител, которые имеют сходство с антителом /' большее, чем уста-

новленное значение сходства; N ииЫ —общее количество антител. Поэтому плотность антитела С, пропорциональна подобию антител в популяции.

После вычисления плотности каждого антитела регулирование активации и подавление антител может достигаться механизмом селекции. Механизм селекции основан на вероятностном факторе регулирования (фитнесе). Вероятность селекции индивида /', т. е. />,, разделяется на две части: вероятность фитнеса р, и вероятность плотности Рф т. е.

А = Р/Ра =

_ т 1 ,-»с,

N

7=1

а

где а и р — два положительных фактора регулирования (здесь они равны единице для упрощения). Это уравнение устанавливает следующее: чем больше фитнес индивида, тем выше вероятность селекции, и чем больше плотность антитела, тем ниже вероятность селекции. Таким образом, И ГА может не только поддержать индивидов с высоким сходством, но и гарантирует их разнообразие.

Динамика идиотопической сети. Гипотеза Жерне об идиотопической сети [7] основана на факте, что каждый тип антител имеетспецифи-ческий антигенный детерминант, называемый идиотопом. Отсюда возникла концепция идиотопической сети. В такой сети антитела (лимфоциты ) не и зол ирован ы, а с вязы ваются друг с другом через свои части. Каждое антитело имеет паратоп, который способен распознать соответствующий антиген. Идея идиотопической сети состоит в следующем. Пусть идиотоп и стимулирует ^-лимфоцит V, который присоединился к поверхности антитела V через паратоп антитела V. Здесь идиотоп антитела V работает как антиген. В результате антитело V подавляет ^-лимфоциты с антителом и. С другой стороны, идиотоп антитела и* стимулирует антитело и, поскольку он работает как антиген с точки зрения антитела и. Так образуются цепочки стимуляции и подавления среди антител и формируется большая сеть, которая содержит множество распознавателей своих и чужих. Это обеспечивает новый параллельный децентрализованный механизм.

Идиотопическая сеть может быть использована для формирования поведенческогомеханиз-

ма агента. Этот вариант описан в (13] лля предварительно подготовленных поведенческих примитивов (модулей компетенции). Каждый подготовленный модуль компетенции рассматривается как антитело, в то время как взаимодействие между модулями заменяется стимуляцией и подавлением между антителам и. Базисная концепция метода заключается в том, что идиотопическая сеть селектирует модуль компетенции (антитело), пригодное для детектирования текущей ситуации (антигенов) в манере "снизу-вверх".

Динамика идиотопической сети может быть описана с использованием главного параметра концентрации /-гоантитела, обозначена как а, и вычислена из уравнений ¿4

dt

N

£ mvuav(t)~ X т:как (0 + т, ~к, 1

я, (' + !) =

1+ехр

где N — количество антител; туи и ти — параметры сходства между антителом уи антителом и, и антителом и и детектированным антигеном соответственно. Первый и второй термы в правой части уравнения (13) определяют стимуляцию и подавление от других антител соответственно. Третий терм представляет стимуляцию от антигена, а четвертый — фактор диссипации [5]. Уравнение (14) определяет функцию подавления, обеспечивающую устойчивость концентрации. Селекция антител выполняется в простой манере колеса рулетки в соответствии с величиной концентрации антител.

Используя нечетко-логическую структуру для представления уравнений, можно ввести нечеткую переменную сходства с двумя термами: стимуляция и подавление. Тогда тт и тиу могут рассматриваться как степени стимуляции и подавления соответственно. Таким путем принципы идиотопической сети и нечеткой логики могут быть объединены в рамках новой концепции иммунологических сетей.

Стимуляция и подавление антитела. Иммунологическая сеть нуждается в механизме настройки, который может рассматриваться как адаптация путем изменения параметров подготовки ной сети. Такой механизм может быть реализован

специальной процедурой вычисления степени стимулирования т](, описанной для каждого иди-отопа. Этот механизм стартует от ситуации, когда идиотопы подготовленных антител не определены, и затем конкретизирует идиотопы, используя обучение с подкреплением |2].

Проблема обучения с подкреплением относится к обучению агента во взаимодействии со средой для достижения цели. Агент взаимодействует со средой на каждом шаге дискретной временной последовательности ¡к,к=0,1,2,3,... На каждом шаге /агент получает некоторое представление о состоянии среды е 5 , где 5 — набор всех возможных состояний, и на основании этого выбирает действие а, е А (х,), где /4(5,) — набор действий, которые возможны в состоянии 5, . После каждого шага с действием агент получает численное подкрепление г1+1 е/? и находит

а,(/). (13) свое собственное новое состояние s,

1+1 •

Позитивные

где ц'^г и — степени принадлежности соответственно для термов Stimulation (St) и Suppression (Sup) для нечеткой переменной Affinity (Af)\ ц^

Иго и V^rv ~ стспени принадлежности нечетких термов Penalty (р) и Reward (г) для сигнала подкрепления Л (антитело и и антитело v).

Последние четыре степени принадлежности могут быть вычислены с использованием заданных функций принадлежности для термовр и /-переменной R и числа раз получения пенальти и поощрения, когда выбираются антитело и или v.

4. Обучаемый ПИД-контроллер на ИГА

Реализация процедуры обучения ПИД-кон-троллера на И ГА стартует с определения представления для антител. Антитело формируется тремя реальными числами, которые характеризуют индивидуума и соответствуют трем коэффициентам {Кр, Т( и Tj), которые регулируются, чтобы настроить контроллер на требуемое поведение.

Цель обучения — минимизация ошибки между установленной точкой (желаемым выходом) и выходом устройства (действующим выходом). Для того чтобы сделать систему управления устойчивой, точной, быстрой и имеющей хорошую переходную характеристику, целевая функция и функция сходства должны быть основаны на правиле "интегральной абсолютной ошибки" (ИАО), т. е.

affinity = —-,

J + А

ас

J = /1Ш1|в(Г)| + «>2Ц2(0 + «»зИ/)|к" + И4'а  (18>

о

где А — константа, которая больше нуля; to, —а>4 — константы; ta — время подъема.

Операция кроссовера реализована по двухточечному алгоритму. В начале операции программа случайно выбирает число г ¿е[0,1], которое сравнивается с кросс-оператором сц. Если

rk <с0, начинается операция кроссовера. Эта операция реализуется в соответствии со следующими уравнениями:

X' = rX+

где X, У — исходная (родительская) генерация 5-клеток, Х',У —следующая (детская) генерация Я-клеток; г — случайное число (между 0 и 1).

Операция мутации на всех В-клетках ревизована по типу гауссовской мутации. Она соответствует уравне н и ю

K'pi = К pi+aJ affinity^),

где K'pi,Kpi- 5-клетки; |i(0,l)- гауссовский оператор.

ИГА находит лучший индивидуум (контроллер), максимизирующий параметр сходства, который может иметь значения отОдо 1. Интервал наблюдения делится на п примеров, а каждый пример вычисляется в соответствии с уравнениями (19). Максимизация выполняется И ГА путем настройки ПИД-коэффициен-тов и обеспечивает минимальное рассогласование действительного и желаемого выходов.

5. Эксперименты по моделированию

Модельный эксперимент проведен для случая регулирования уровня воды в резервуаре. Модель резервуара описана в работе [12]. На рис. 4 показан водяной резервуар и соответствующие переменныеи параметры. Динамика уровня воды Л описывается уравнением

h(t) = ~j2gh(t)+±;U(t) А А

Рис. 4. Модель резервуара с насосом

с ограничениями, связанными с насосом для подачи воды в резервуар:

u(t) =

0 <=/(/) < 0, ф/(/)«=0</(/)</тах,

'max ^'(')>'тах,

где А — площадь поверхности резервуара; В — площадь сливающего воду отверстия; g — ускорение силы тяжести; / — ток мотора насоса; ф — константа насоса.

Площадь резервуара 700x700x32 мм; максимальная высота уровня воды Лтах; максимальная скорость подачи воды ¡тах

Чтобы исследовать характеристики ИГА, проведено моделирование на платформе МАТ1_АВ. Главная программа ИГА написана на языке МАТЬАВ, модель управления уровнем воды в резервуаре и другие программы ПИД-регулирования реализованы в пакете 51М1Ш1ЧК.

Схема управления на SIМ ULI N К представлена на рис. 5.

Эксперименте подачей на вход системы единичных воздействий дал возможность сравнить классический метод Зиглера — Никольса, нечетко-логический вариант и ИГА. Применение классического метода показало слабый результат (рис. 6). Нечетко-логический вариант (рис. 7) — несколько лучший, наилучший же процесс регулирования получен для варианта И ГА (рис. 8).

Рис. 5. Схема системы управления

Рис. 6. Управление уровнем воды методом Зиглера — Никольса

Рис. 7. Нечетко-логический вариант управления уровнем воды

Рис. 8. Управление уровнем волы на базе ИГА

Графики процесса регулирования на рис. 8 иллюстрируют все три варианта одновременно и показывают, что ИГА управления уровнем воды имеет наиболее сильную робасгносгь при резких изменениях параметров расхода воды в резервуаре.

Таким образом, результаты исследований разных алгоритмов для ПИД-регулирования уровня воды в резервуаре показали, что предложенный алгоритм ИГА наиболее эффективен и практичен. При больших возмущениях он ока-

зался лучше, чем классический вариант Зигле-ра — Никольса и вариант на нечеткой логике. На основании этого можно утверждать, что применение иммунных сетей с генетическим алгоритмом настройки конкурентоспособно и может быть рекомендовано для построения ПИД-кон-троллеров в различных промышленных установках, если требуется обеспечить робастность управления в среде с большими возмущениями. В дальнейшем предполагается применить иммун-но-логический вариант управления для более сложных задач.

СПИСОК ЛИТЕРАТУРЫ

1. Astrom K.J., Timmis J. PID Controller: Theory, Design and Tuning // Instrument Society of America. 1995.

2. Barlo G., Sutton R.S. Reinforcement Learning: An introduction // MIT Press. Cambridge, MA, 1998.

3. Bersini H. The endogenous double plasticity of the immune network and the inspiration to be drawn for engineering artifacts// .Artificial Immune Systems and Their Applications / Dasgupta D. (ed.). Berlin — Heidelberg - New York, 1999. P. 22-44.

4. Chen R. The Bases of Immunology. Peking: Health Press, 1980.

5. Farmer J.D., Packard N.H., Perelson A.S. The immune system, adaptation and machine learning //Physica 22D. 1986. P. 187-204.

6. Fukuda T. et al. Parallel Search for Multi-modal Function Optimization with Diversity and Learning of Immune System // Artificial Immune Systems and Their Applications / Dasgupta D (ed.). 1998. P. 210-220.

7. Jerne N.K. Towards a network theory of immune system. Annales Immunologic, 125C. 1974. P. 373-389.

8. Long S., Wang P. On self-regulation of fuzzy control rule // Fuzzy Mathematics. 1982. Vol. 3, № 3. P.105—112.

9. Ogata K. Modern Control Engineering// Prentice-Hall, Eaglewoof Cliffs. NJ. 1990. 2nd ed.

10. Perelson A.S. Oster G.F. Theoretical studies of clonal selection: minimal antibody repertoire size and reliability of self-nonself discrimination // J. Theoretical Biology. 1979. Vol. 81. P. 645-670.

11. Takeuchi Y. Global Dynamic Properties of Lot-ka-Volterra Systems. World Scientific: Singapore, 1997.

12. Van Brecmen AJ.N. Water vessels under control // Practical assignment report, University of Amsterdam, Intelligent autonomous Systems, 1996.

13. Watanabe Y., Ishiguro A., Uchikawa Y. Decentralized Behavior Arbitration Mechanism for Autonomous Mobile Robot Using Immune Network // Artificial Immune Systems and Their Applications / Dasgupta D. (Ed ). Berlin: Spring-Verlag, 1999.