МЕТОД ОБУЧЕНИЯ КОЛЛЕКТИВНОГО КЛАССИФИКАТОРА НА ОСНОВЕ КОНКУРЕНЦИИ В РЕЖИМЕ СОСУЩЕСТВОВАНИЯ

Известия высших учебных заведений. Прикладная нелинейная динамика. 2021. Т. 29, № 2 Izvestiya Vysshikh Uchebnykh Zavedeniy. Applied Nonlinear Dynamics. 2021;29

Научная статья УДК 530.182

DOI: 10.18500/0869-6632-2021-29-2-220-239

Метод обучения коллективного классификатора на основе конкуренции в режиме сосуществования

А. А. Сутягин, О. И. Канаков^

Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского, Россия E-mail: alealesutyagin@gmail.com, Hokanakov@rf.unn.ru Поступила в редакцию 10.08.2020, принята к публикации 11.11.2020, опубликована 31.03.2021

Аннотация. Цель работы состоит в создании новой стратегии обучения коллективного классификатора, в результате применения которой классификатор аппроксимирует байесовское решающее правило. Коллективный классификатор - ансамбль простых элементов, каждый из которых характеризуется определённой функцией отклика и не имеет собственной динамики и переменных параметров. Обучение происходит путём формирования состава ансамбля (численностей элементов разных типов). Известная ранее стратегия обучения была основана на конкурентной по-пуляционной динамике в режиме с единственным победителем, что сильно ограничивало возможности обучения, например, для классов с бимодальными распределениями вероятностей. Методы. Популяционная динамика стратегии обучения модифицирована для обеспечения глобально устойчивого режима сосуществования и описана в форме дискретного стохастического алгоритма селекции элементов ансамбля и в виде системы дифференциальных уравнений непрерывного приближения. Наличие аналитического выражения для устойчивого состояния равновесия позволяет целенаправленно формировать алгоритм обучения для достижения требуемого результата. Описан алгоритм, обеспечивающий сходимость классификатора к байесовскому решающему правилу в определённом предельном случае. Результаты. Численным интегрированием дифференциальных уравнений и имитационным моделированием алгоритма селекции на примере задачи классификации с бимодальным распределением подтверждены все положения теории, включая взаимное соответствие дискретного и непрерывного описаний, сосуществование элементов с разными функциями отклика в обученном ансамбле и формирование суммарной функции отклика, аппроксимирующей байесовское решающее правило. Имитационное моделирование показывает, что относительная величина флуктуаций численностей типов элементов может быть снижена путём увеличения полной численности ансамбля. Заключение. По смыслу коллективного классификатора, применения предлагаемого подхода следует ожидать при создании классификаторов на базе ансамблей элементов ограниченной сложности, например, «умной пыли» - миниатюрных предельно упрощенных сенсорных устройств или генетически перепрограммированных ансамблей живых клеток, используемых в качестве биосенсоров. Реализация предлагаемого режима сосуществования осложняет механизм обучения, но расширяет круг доступных задач классификации.

Ключевые слова: конкуренция, машинное обучение, классификатор, модель Лотки-Вольтерры.

Благодарности. Работа выполнена при поддержке Министерства науки и высшего образования РФ (государственное задание № 0729-2020-0040).

Для цитирования: Сутягин А. А., Канаков О. И. Метод обучения коллективного классификатора на основе конкуренции в режиме сосуществования//Известия вузов. ПНД. 2021. T. 29, № 2. С. 220-239. DOI: 10.18500/0869-6632-2021-29-2-220-239

Статья опубликована на условиях лицензии Creative Commons Attribution License (CC-BY 4.0).

Article

DOI: 10.18500/0869-6632-2021-29-2-220-239

Collective classifier learning strategy based upon competition in the coexistence regime

A. A. Sutyagin, O. I. Kanakovm

N. I. Lobachevsky State University of Nizhniy Novgorod, Russia

E-mail: alealesutyagin@gmail.com, Hokanakov@rf.unn.ru Received 10.08.2020, accepted 11.11.2020, published 31.03.2021

Abstract. The purpose of this research is to create a new learning strategy for collective classifiers aimed at approximating the Bayesian optimal classification rule. A collective classifier is an ensemble of simple elements, each characterized by a specific response function and free of internal dynamics or variable parameters. Learning is achieved by targeted reshaping the composition of the ensemble (quantities of elements of specific types). A formerly known strategy was based on winner-take-all competitive dynamics, which limited dramatically the capabilities of the learning strategy - e.g. in application to classes with bimodal probability distribution. Methods. The population dynamics of the learning strategy was modified to ensure a globally stable coexistence regime. The system evolution is described by a discrete stochastic selection algorithm for the ensemble elements and in the form of ordinary differential equations as a continuous approximation. An analytic expression for the stable equilibrium is available, thus allowing targeted algorithm design for achieving a prescribed learning outcome. A learning algorithm designed for approximating the Bayesian optimal classification rule is described in the paper. Results. By numerical integration of differential equations and by simulating the selection algorithm for a sample classification task with a bimodal probability distribution we confirm all theoretical statements, including the mutual agreement between the discrete and continuous descriptions, the coexistence of elements with different response functions in the trained ensemble, and achieving a summary ensemble output approximating the Bayesian classifier. The simulation suggests that relative fluctuations of the discrete variables (quantities of elements of specific types) may be lowered by increasing the total ensemble size. Conclusion. The collective classifier principle implies its possible use in creating classifiers from ensembles of simple elements, such as «smart dust» which means miniature extremely simplified sensor devices, or genetically reprogrammed living cell populations acting as biosensors. Achieving the coexistence regime in the learning strategy complicates its implementation, but broadens the range of amenable classification tasks.

Keywords: competition, machine learning, classifier, Lotka-Volterra model.

Acknowledgements. This work was supported by the Ministry of Science and Higher Education of the Russian Federation (project No. 0729-2020-0040).

For citation: Sutyagin AA, Kanakov OI. Collective classifier learning strategy based upon competition in the coexistence regime. Izvestiya VUZ. Applied Nonlinear Dynamics. 2021;29(2):220-239. DOI: 10.18500/0869-6632-2021-29-2-220-239

This is an open access article distributed under the terms of Creative Commons Attribution License (CC-BY 4.0).

Введение

Задача классификации относится к основным в теории машинного обучения [1,2] и состоит в определении принадлежности некоторого наблюдаемого описания объекта (то есть совокупности наблюдаемых признаков, которые вместе составляют вектор признаков; множество значений, принимаемых вектором признаков, называют пространством признаков) к какому-либо из конечного набора классов. Решением задачи классификации является решающее правило классификатора -функция, отображающая пространство признаков на множество классов. Вообще говоря, варианты постановки задачи классификации разнообразны, так, признаки могут быть непрерывными или дискретными величинами, множество классов может быть задано или не задано, ответ может быть однозначным или вероятностным. Будем рассматривать типичную ситуацию, когда каждый класс соответствует некоторой вероятностной гипотезе, а каждая из гипотез однозначно определяет вероятностную меру (условную вероятность) на пространстве признаков. В такой постановке задача классификации представляет собой статистическую задачу принятия решений

[3, глава 19], то есть выбора одной из заданных гипотез на основании наблюдаемого значения признаков (одного или нескольких). При наличии перекрытия областей в пространстве признаков, где одновременно отличны от нуля вероятности, соответствующие двум или нескольким гипотезам, говорят о пересекающихся классах, а задача классификации не имеет однозначного ответа и является вероятностной. В таких случаях ставят задачу отыскания оптимального классификатора, минимизирующего значение некоторой заданной целевой функции (называемой «функцией потерь»). Для определённости в качестве такой целевой функции будем рассматривать вероятность ошибки классификации (неправильного выбора гипотезы на основании наблюдаемого значения). Ограничимся случаем двухклассовой классификации, где количество классов равно двум. С учётом вышесказанного, рассматриваемая задача классификации сводится к выбору одного из двух взаимоисключающих ответов по результатам некоторого измерения. Задачи такого типа возникают в широком круге приложений. Типичные примеры - обнаружение сигнала на фоне помех, принятие решения о наличии или отсутствии выброса загрязняющего вещества в среду и об опасности или безопасности этой среды, о наличии некоторой патологии в организме и т. п. В данной статье в качестве примера приводится задача классификации, где пространство признаков представляет собой одномерное пространство (решение принимается на основании значения одной действительной величины), но в общем рассмотрении не накладывается ограничений на пространство признаков.

Если известны условные вероятностные меры на пространстве признаков, соответствующие каждой гипотезе, и априорные вероятности каждой гипотезы, то оптимальный классификатор (с точки зрения заданной целевой функции) может быть найден с помощью теоремы Байе-са [3, глава 4]. Так, при равных априорных вероятностях гипотез оптимальным с точки зрения минимизации вероятности ошибки является наивный байесовский классификатор, ответом которого является та гипотеза, у которой условная вероятность в точке пространства признаков, соответствующей наблюдаемому значению, больше, чем у всех других гипотез. Если же условные вероятности, соответствующие гипотезам, неизвестны, то ставят задачу обучения [1,2], то есть оптимизации классификатора на основании заданной выборки обучающих примеров - значений вектора признаков с известной для каждого принадлежностью к конкретному классу. Решение этой задачи и составляет предмет машинного обучения. Известно большое количество алгоритмов обучения, различающихся спецификой решаемой задачи, вычислительной сложностью и т. п., причём в подавляющем большинстве эти алгоритмы ориентированы на исполнение цифровой вычислительной машиной.

В то же время задачи классификации и обучения решаются не только вычислительными машинами. Так, обучаемым классификатором является Т-клеточный механизм распознавания чужеродных белков (антигенов), входящий в состав иммунной системы живых организмов, в том числе человека [4-7]. Классификатор, составляющий предмет настоящего исследования, хотя и не копирует напрямую принципы иммунной системы, но ими мотивирован, поэтому опишем основные принципы функционирования и обучения Т-клеточного классификатора, следуя указанным выше источникам, но не претендуя на биологическую полноту. Собственно классификатором в этой системе является ансамбль специализированных живых клеток (Т-клеток или конкретнее - Т-хелперов), различающихся специфической чувствительностью к определённому классу белковых молекул (эти классы могут пересекаться). Совокупность идентичных Т-клеток, чувствительных к одному классу белков, называется клонотипом. Т-клетки разных клонотипов производятся в вилочковой железе (из клеток-прекурсоров, производимых в костном мозге), причём объединение классов чувствительности исходного (необученного) ансамбля Т-клеток по возможности охватывает всё множество белковых молекул (которое с точки зрения задачи классификации выступает в качестве пространства признаков). Обучение ансамбля как классификатора

происходит также в вилочковой железе путём селекции (отбора) состава ансамбля, в результате которого из ансамбля удаляются все клонотипы, чувствительные к собственным белкам организма. Обученный таким образом классификатор даёт положительный ответ только на чужеродные белки (под положительным ответом классификатора понимается положительный ответ клеток хотя бы одного клонотипа; реакция на любой чужеродный белок, вообще говоря, данной процедурой не гарантируется, но в реальности вероятность реакции достаточна). Результатом такого ответа является, во-первых, запуск иммунной реакции, специфической в отношении конкретного класса чужеродных белков, и во-вторых - увеличение численности Т-клеток того клонотипа, который сгенерировал ответ (что можно характеризовать как продолжение обучения классификатора, которое приводит к значительному ускорению и усилению реакции на аналогичный чужеродный антиген в случае его повторного появления). Специфика задачи иммунной системы, успешно решаемая Т-клеточным классификатором, состоит в необходимости классификации на комбинаторно многочисленном множестве белковых молекул в условиях невозможности выделения для этих целей отдельного сложного органа наподобие мозга (в силу необходимости одновременного мониторинга всего организма) при ограниченном размере и сложности отдельно взятой иммунной клетки.

Обобщённо, характерные особенности Т-клеточного классификатора сводятся к следующему. Во-первых, классификатор представляет собой ансамбль неидентичных элементов, и ответ классификатора получается по определённому правилу из ответов отдельных элементов. Во-вторых, каждый элемент характеризуется определённой функцией отклика на пространстве признаков, которая не содержит внутренних переменных параметров и неизменна во времени (как в процессе обучения, так и при использовании классификатора). В-третьих, обучение классификатора сводится к изменению состава ансамбля (к изменению численности элементов разных типов) без подстройки каких-либо параметров отдельных элементов. Вследствие перечисленных особенностей, такой классификатор может быть обучен для решения сложных задач классификации при ограниченной сложности отдельно взятого элемента (что и требуется для иммунной системы, как упоминалось выше). Сложность решаемых задач зависит от стратегии обучения и может наращиваться за счёт увеличения численности ансамбля и количества типов элементов (в иммунной системе - клонотипов Т-клеток).

Механизмы классификации в реальной иммунной системе живых организмов относятся к числу ключевых предметов исследования в иммунологии [4-7], а также представляют интерес с точки зрения применения методов нелинейной динамики [8-10]. Кроме того, на принципах, заимствованных у иммунной системы, сформировалось обширное направление в теории машинного обучения, называемое «искусственными иммунными системами» [11] и ориентированное, в основном, на разработку алгоритмов, предназначенных для исполнения на компьютере, и потому не подразумевающих наличия реального ансамбля и простоты базового элемента. В сравнении с указанными двумя направлениями, промежуточное положение занимают работы [12,13], где рассматривались классификаторы вне иммунологического контекста, но в виде (гипотетически) реализуемых ансамблей элементов ограниченной сложности (такие классификаторы были названы «коллективными»), и были предложены методы их обучения, основанные на физической селекции этих элементов. В качестве материальной основы для коллективных классификаторов рассматривались ансамбли генетически перепрограммированных бактериальных клеток (путём встраивания в клетку специально сконструированных генных цепочек средствами синтетической биологии), а в качестве перспективы их применения обсуждались биосенсоры в приложениях, допускающих использование бактериальных культур (мониторинг окружающей среды, «умные лекарства» и т. п.).

Конкретно, в [12,13] описана реализация отдельного элемента в виде последовательности генов, которая должна быть встроена в клетку, а также предложены две стратегии обучения коллективных классификаторов, составленных из таких клеток: «жёсткая», состоящая в однозначном удалении клетки из ансамбля в случае ложно-положительного ответа на хотя бы один обучающий пример из отрицательного класса (и аналогичная алгоритмам негативной селекции в искусственных иммунных системах [11]), и «мягкая» - для задач классификации с пересекающимися классами, представляющая собой специальный алгоритм селекции с вероятностным удалением клетки в зависимости от её ответа на обучающие примеры и одновременным размножением оставшихся клеток, занимающих освобождающееся в процессе селекции место. Обе стратегии обучения могут быть реализованы путём сортировки клеток в проточном сортирующем цитофлуориметре или другими общепринятыми методами [14]. Несмотря на биологическую направленность работ [12,13], предложенные и исследованные в них принципы построения и стратегии обучения коллективных классификаторов универсальны и могут применяться в любых приложениях, характеризующихся отмеченной выше спецификой (построение сложного обучаемого классификатора из элементов ограниченной сложности) - например, в развитие идеи «умной пыли» [15] в направлении миниатюризации и упрощения базового элемента.

Настоящее исследование развивает идею мягкой стратегии обучения коллективных классификаторов из [12,13], ориентированной на вероятностные задачи классификации с пересекающимися классами. Исходный вариант мягкой стратегии, описанный в [12] в форме алгоритма селекции, оперирующего конечными множествами базовых элементов - клеток (далее для определённости элемент коллективного классификатора везде именуется клеткой, хотя настоящее исследование носит обобщённый характер, без привязки к биологической или другой реализации), в настоящей работе не используется, поэтому его описание не приводится. Важно, однако, что этот алгоритм селекции, как было показано в [12], в пределе непрерывного времени переходит в модель конкурентной популяционной динамики типа Лотки-Вольтерры [16]

в которой численности типов клеток щ выступают в качестве непрерывных динамических переменных, а непрерывное время £ пропорционально количеству выполненных операций селекции в исходной дискретной модели, индекс г нумерует типы клеток, в - количество типов, bi - параметры конкурентоспособности, > 0 - «ёмкость среды». Модель рассматривается в условиях естественных ограничений по смыслу задачи: bi > 0 (в отсутствие конкуренции клетки всех типов размножаются), фазовое пространство ограничено неотрицательным ортантом (все щ ^ 0), который в полном действительном пространстве является инвариантной областью. В случае совпадения двух или более параметров ^, уравнения движения для соответствующих переменных оказываются идентичными; этот случай исключается из рассмотрения как вырожденный (все параметры Ьг считаются различными). Значения параметров конкурентоспособности Ьг выражаются при выводе непрерывной модели (1) из дискретного алгоритма селекции (см. детали в [12]) через условия задачи классификации - функции откликов клеток и условные вероятностные распределения на пространстве признаков, соответствующие двум классам (гипотезам).

Как показано в Приложении (пункт 1), модель (1) имеет глобально устойчивое инвариантное многообразие

то есть полное количество клеток всегда стремится к Ис, чем и обусловлен смысл этого параметра. В указанных ограничениях, из возможных режимов конкуренции [17] в данной модели реализуется только режим с единственным победителем: в неотрицательном ортанте система имеет единственный аттрактор - устойчивое состояние равновесия

Пм = N., Пг=м = 0,

где М - номер наиболее конкурентоспособного типа клеток фм > ). Это утверждение является частным случаем известного из экологии принципа исключения Гаузе [18] и обусловлено тем, что рост численности всех типов клеток ограничен только суммарной численностью ансамбля (в терминах экологии имеет место конкуренция за один общий ресурс в отсутствие дополнительной внутривидовой конкуренции за ресурс, специфический для вида). Один из вариантов математической формализации принципа Гаузе для модели Лотки-Вольтерры произвольной размерности, применимый к модели (1) и приводящий к указанному результату, представлен в работе [19]. Тот же результат может быть получен для модели (1) и без привлечения специальных теорем, как показано в Приложении (пункт 2).

С точки зрения решаемой задачи обучения классификатора, режим с единственным победителем радикально ограничивает применимость данной стратегии обучения. Действительно, если под обученным классификатором понимается его установившееся состояние в процессе обучения (соответствующее устойчивому состоянию равновесия в непрерывной модели), то функция отклика такого классификатора будет совпадать с функцией отклика одного из типов клеток (единственного победителя), то есть с функцией отклика единственной клетки, что сводит почти на нет саму идею коллективного классификатора (коллектив в ходе обучения сокращается до единственного представителя). На практике это означает, например, неприменимость к классам с бимодальным распределением условной вероятности при наличии лишь унимодальных функций отклика в исходном ансамбле. Как было показано в [12], это ограничение частично смягчается, если обучение прерывается до достижения установившегося состояния (во время переходного процесса). Действительно, в переходном процессе в ансамбле присутствуют все типы клеток, и, в частности, для задачи с бимодальным классом удаётся достичь лучшего результата классификации, чем случайное угадывание. Такой подход, однако, нельзя признать исчерпывающим решением проблемы, поскольку результат зависит от момента прерывания обучения и плохо поддаётся анализу. Например, не существует ни оценки вероятности ошибки для обученного классификатора, ни универсального способа приблизить её к наилучшей достижимой величине (соответствующей байесовскому классификатору).

Настоящее исследование имеет целью разработку новой стратегии обучения коллективных классификаторов, свободной от указанных ограничений, что включает в себя решение следующих задач: 1) построение вместо (1) новой динамической модели с конкурентной динамикой, имеющей режим конкуренции с сосуществованием (где в установившемся состоянии могут быть отличны от нуля более одной динамической переменной), и имеющей аналитическое выражение для устойчивого состояния равновесия; 2) построение дискретного алгоритма селекции, порождающего требуемую популяционную динамику в пределе непрерывного описания; 3) построение собственно классификатора, то есть подбор функций отклика отдельных клеток и выражений для параметров конкурентоспособности типов клеток с целью обеспечения сходимости обученного классификатора в пределе к байесовскому решающему правилу; 4) реализация требуемых значений параметров конкурентоспособности в рамках алгоритма обучения на основе обучающих примеров. Указанные задачи решаются в соответствующих пунктах раздела 1. Пример успешного применения новой стратегии обучения коллективного классификатора к задаче с бимодальным классом, подобной рассмотренной в статье [12], описан в разделе 2.

1. Методика

1.1. Конкурентная динамика с сосуществованием. К модели конкурентной динамики для создания новой стратегии обучения коллективных классификаторов предъявляются два требования: во-первых, в системе должен реализоваться режим конкуренции с сосуществованием; во-вторых, должно быть записано аналитическое выражение для состояния равновесия. Следующая система удовлетворяет обоим требованиям:

1 ^ \ , , п2

I1

Щ = Ыт[ 1 -^У^Пк] -

с , -, / 1УС

Смысл обозначений - прежний, с дополнительным ограничением 0 < ^ < 1. В терминах экологии модель

п' = к- г-* гае к =

в чём можно убедиться прямой подстановкой в (4). В Приложении (пункт 3) показано, что система (4) удовлетворяет условиям теоремы, доказанной в работе [20] и обеспечивающей глобальную устойчивость этого состояния равновесия в положительном ортанте в том смысле, что из любых начальных условий, удовлетворяющих щ > 0 для всех г = 1... 8, решение сходится к состоянию равновесия (5), которое таким образом реализует режим сосуществования, что и требовалось.

Заметим, что гиперплоскость (2) теперь не является инвариантным многообразием. Вместо этого, подстановка (2) в (4) даёт все щ < 0, то есть (2) ограничивает поглощающую область в положительном ортанте. С точки зрения популяционной динамики это означает, что, если полная численность клеток в начальном состоянии не превышала Ис, то она не превысит этой величины ни в установившемся состоянии, ни в переходном процессе. В этом смысле параметр Ис может быть по-прежнему охарактеризован как «ёмкость среды». Равновесная суммарная численность клеток найдена в Приложении (пункт 4) и составляет

= МС

1.2. Алгоритм селекции, реализующий конкуренцию с сосуществованием. Рассмотрим «среду», состоящую из ячеек, каждая из которых может быть пустой или содержать клетку одного из 8 типов. Сконструируем стохастический алгоритм селекции, изменяющий на основании определённых вероятностных правил содержимое ячеек. В этом разделе щ - целочисленные численности клеток г-го типа в среде. Считаем, что один полный шаг алгоритма (см. ниже) имеет продолжительность во времени сМ. Одновременно (М является малым параметром, от которого зависят вероятности изменения численности клеток в алгоритме. Как было отмечено во Введении, в силу принципа Гаузе, для обеспечения режима сосуществования требуется внутривидовая конкуренция, которая в алгоритме селекции может быть организована путём сравнения типов случайно выбираемых пар клеток и манипуляции вероятностями размножения и уничтожения клетки в зависимости от «встречи» двух клеток одинакового или разного типа. Конкретизируем эту идею следующим образом. Считаем, что каждая клетка имеет механизмы

размножения (создания копии) и уничтожения (удаления из ансамбля), причём активизация этих механизмов зависит от парного взаимодействия клеток. А именно, в отсутствие взаимодействия (при встрече с пустой ячейкой) механизм размножения активен, а уничтожения - неактивен; при встрече с клеткой совпадающего типа дополнительно активируется механизм уничтожения (то есть оба механизма активны), а при встрече с клеткой несовпадающего типа - отключается механизм размножения (то есть оба механизма неактивны). Оба механизма носят вероятностный характер: вероятность уничтожения клетки за время dt полагается равной р- = dt, а вероятность размножения (для клетки типа i) р+ = bidt - при условии активности соответствующего механизма. Вышеописанные правила отображены в табл. 1. Описание полного шага алгоритма селекции представлено в табл. 2. При копировании клетки копия помещается в любую свободную ячейку. Если свободных ячеек нет (количество клеток достигло Nc), то копирование не происходит.

Для трёх взаимоисключающих случаев парного взаимодействия в табл. 1 и 2 введены буквенные обозначения A, B, C. Для описанного алгоритма необходима реализация случайных испытаний с вероятностями и р-. В подразделе 1.4 описан способ реализации этих испытаний с использованием заданного множества обучающих примеров. Заметим, что в случае (A) операции копирования и удаления могли бы быть объединены в одну операцию удаления с вероятностью Pi = р~ — р+1 = (1 — bi )dt (учитывая ограничение 0 <bi < 1), однако при обучении классификатора на примерах это потребовало бы реализации дополнительного случайного испытания с соответствующей вероятностью, поэтому эти операции в данном алгоритме не объединяются.

Таблица 1. Правила активации механизмов размножения и уничтожения клетки

при попарном взаимодействии

Table 1. Activation rules for cell duplication and deletion mechanisms in pairwise

cell interaction

размножение

(А) встреча одинаковых клеток да да

(В) встреча с пустой ячейкой да нет

(С) встреча разных клеток нет нет

Таблица 2. Описание одного полного шага алгоритма селекции; dt - малый параметр и условная продолжительность шага алгоритма в модельном времени Table 2. Description of one full step of the selection algorithm; dt is a small parameter

interpreted as step duration in the model time

Для каждой клетки (непустой ячейки) к

Пусть г - тип клетки к

Пусть 1 - случайно выбранная ячейка в среде

Если (А) типы клеток в к и 1 совпадают, то

Скопировать клетку к с вероятностью р+ = bidt

Удалить клетку к с вероятностью р~ = А

Если (В) ячейка 1 пуста, то

Скопировать клетку к с вероятностью р+ = bidt

Если (С) типы клеток в к и 1 различны, то ничего не делать

Конец цикла «Для»

Вероятности реализации случаев А и В составляют

РА = N, РВ = N - ^ I =1 - N .

Заметим, что для полной корректности следовало бы исключить вариант попадания случайно выбранной ячейки на саму клетку ввиду невозможности взаимодействия клетки самой с собой, и соответствующим образом скорректировать вероятности в (7); однако, полагая количество клеток всех типов большим, пренебрежём этим случаем. Для обеспечения корректности этого допущения, параметры в имитационном моделировании (раздел 2) выбраны таким образом, чтобы все численности клеток оставались вдалеке от нуля; в качестве ориентира при этом используется оценка равновесных численностей (5), однако, в силу стохастического характера дискретной модели, обнуление численности некоторого типа клеток не может быть с гарантией исключено. Обеспечивается лишь маловероятность этого события.

Вообще говоря, эволюция системы, описываемая предложенным стохастическим алгоритмом, представляет собой марковский случайный процесс с дискретным временем и дискретными состояниями, вероятности перехода между которыми выражаются через вероятности (7). Получим приближённые уравнения для динамики математических ожиданий целочисленных переменных. Математическое ожидание изменения численности г-го типа клеток щ за один полный шаг алгоритма1 (то есть за время (И) составляет

{

Считая дисперсии целочисленных переменных состояния щ малыми (что подтверждается численным моделированием марковского процесса в разделе 2), заменим переменные т в правой части их математическими ожиданиями, в результате чего, в пределе малого (М, для математических ожиданий получим динамику, идентичную уравнениям (4), что и требовалось. Заметим однако, что в дискретной модели, в отличие от непрерывной, обнуление численности любого типа клеток является необратимым: если в некоторый момент времени достигается нулевое значение щ = 0, то оно уже не может измениться. В имитационном моделировании (раздел 2) такое обнуление не наблюдалось (см. комментарий к уравнению (7) выше).

1.3. Построение коллективного классификатора. Как упоминалось во Введении, решающее правило классификатора представляет собой функцию, отображающую пространство признаков на множество гипотез. Рассмотрим двухклассовую задачу классификации с двумя гипотезами, которые будем обозначать символами + и -, а соответствующие ответы классификатора будем называть положительным и отрицательным. Для упрощения выкладок будем считать гипотезы априори равновероятными (все представленные результаты могут быть модифицированы для случая неравных априорных вероятностей гипотез). Входом классификатора является значение признака х, которое для определённости будем считать действительной величиной (результаты могут быть модифицированы для других множеств признаков). Введём функции условной плотности вероятности на пространстве признаков и1+(х) и и!-(х) для соответствующих

1В уравнении (8) для компактности не учитывается невозможность копирования клетки в случае отсутствия пустых

ячеек в среде (когда ^ 1= Жс), поскольку в выполненном нами имитационном моделировании (раздел 2) этот

случай не реализуется; при необходимости это ограничение может быть добавлено.

гипотез. Тогда оптимальным с точки зрения минимизации вероятности ошибки является наивный байесовский классификатор

Cßayesi^) —

+, если w+(x) > w-(x),

— , если w+(x) ^ w-(x).

Следуя [12], будем считать, что ответ коллективного классификатора ССопес11те (%) формируется путём сравнения суммарного отклика всех клеток Р(х) с некоторым порогом 0:

^Collective(х) —

+, если F(х) > 0, —, если F(х) ^ 0,

F (х) = ЪШ,

где /г(х) - отклик клетки г-го типа. Переменными параметрами классификатора являются численности типов клеток т, которые подстраиваются в процессе обучения за счёт конкурентной динамики, описанной в подразделах 1.1 и 1.2, и сходятся к устойчивому состоянию (5), которое, в свою очередь, определяется параметрами конкурентоспособности Ьг. Функции отклика клеток /г(х) неизменны. Построить коллективный классификатор означает задать отклики /г(х), порог 0, и установить правила формирования параметров конкурентоспособности Ьг.

Приведём пример такого построения, который позволяет приблизить коллективный классификатор (10) к байесовскому решающему правилу (9). Зададим функции ¡^(х) в виде базиса линейной интерполяции на эквидистантной сетке XI = гА:

}г(х) = шах |1 -

График одной из функций этого семейства показан на рис. 1 (далее шаг сетки А полагаем равным 1, что всегда можно обеспечить перемасштабированием х). Тогда Р (х) в (10) представляет собой кусочно-линейную функцию, причём в узлах сетки имеем Р(хг) = щ.

Параметры конкурентоспособности зададим выражением

,0

Ьг — &ВаУ" —

w+

2(w+(xi) + w-(xi))' тогда для обученного классификатора с учётом (5) имеем

F (xi) — пг — Nc h-^- — Nc h

1 1.5 2 2.5 3 3.5 4 4.5 5

X

Рис. 1. График функции отклика клетки /¿(ж) на примере г = 3

Fig. 1. Graph of cell response function fi (x) for г = 3

W+

1 - Ьг Ю+(Хг) +2Ю-(Хг)'

откуда видим, что при w+(xг) > имеем Р(хг) > Мс к/3 (и наоборот). Значит, при

Мс к

0

3

ответ коллективного классификатора (10) совпадает с байесовским решающим правилом (9) для значений признака х, попадающих в узлы сетки х%, а вне узлов сетки аппроксимирует его с точностью до ошибки линейной интерполяции.

1.4. Алгоритм обучения на примерах. В задаче обучения условные плотности вероятности -ш+(х) и и!-(х) неизвестны, а значит, выражение (12) не может быть использовано напрямую. Единственным доступным источником информации о задаче является совокупность обучающих примеров. Обучающий пример п = (х, с) представляет собой пару, состоящую из выборки значения признака х с известной априори классовой принадлежностью с € {+, -}. В алгоритм селекции (см. табл. 2 ) параметры Ь. входят через вероятности размножения р+ = Ь.сИ, значит для построения алгоритма обучения необходимо создать основанное на ансамбле обучающих примеров случайное испытание, обеспечивающее вероятность успеха *р. ~

Рассмотрим случайное испытание по алгоритму, описанному в табл. 3. Цикл завершается, как только выполняется условие ^ < /.(х), значит вероятность результата с = + на выходе из цикла может быть найдена как условная вероятность [3, глава 4]

, , ^ Р

р <с=+|? < л

Для отыскания вероятностей, входящих в эту формулу, запишем вероятностную меру на множестве обучающих примеров, дополненном независимой случайной величиной равномерно распределённой на [0,1), что подразумевает плотность вероятности = 1, по-прежнему

считая априорные вероятности гипотез (классов) равными 1/2:

{1,ш+(х)д,хд,'Е„ если с =+, 1 (16) -т-(х)йхй'%, если с = —.

Таблица 3. Процедура случайного испытания, обеспечивающего вероятность успеха

вида (17); символ Л обозначает логическую операцию И

Table 3. Procedure of random trial characterized by success probability j5+ given in ( );

symbol Л is logical AND

Входные данные: номер типа клеток г, функция /¿(х), ансамбль обучающих примеров

Повторять следующие действия

Пусть ^ - выборочное значение случайной величины2, равномерно распределённой на [0,1)

Пусть п =

Р(+) = т

Результат: если (с =+) Л (с! =+) , то испытание УСПЕШНО, иначе НЕ УСПЕШНО

2Здесь подразумевается, что max /¿(ж) = 1; это справедливо для функций (11); в противном случае следует использовать случайную величину равномерно распределённую на [0, max /¿(ж)), при этом результат (17) не изменяется.

Предполагая, что в алгоритме табл. 3 каждый раз независимо выбирается новый обучающий пример (то есть в предположении неограниченного количества доступных обучающих примеров), находим

1 f ffi(x) 1 f Р(с = + Л £ < fi(х)) = 2 J w+(x) dx J = 2 J w+(x)fi(x) dx,

1 r rfi(x) i r

P< fi(x)) = 2 J iw+(x) + W-(x)) dx J = 2 J iw+(x) + W-(x)) fi(x) dx,

и окончательно вероятность успешного исхода испытания по алгоритму в табл. 3, с учётом дополнительного независимого испытания с вероятностью р = dt/2, составляет

-+ = dt Jw+(x)fi(х) dx г 2j (w+(x) + w-(x)) fi(x) dx

Формально подставляя в выражение (17) дельта-функцию Дирака на место функции отклика

ft

используя «фильтрующее свойство» /д(х)Ь(х — xi)dx = д(х{) и сопоставляя результат с ( ), имеем р+ = &Вауе8^1 Этот результат представляет собой предельный переход, подразумевающий сгущение сетки значений Xi одновременно с увеличением числа классов и сужением функций отклика ^(х). На физическом уровне строгости используем то обстоятельство, что «фильтрующее свойство», являющееся точным в случае (18), при переходе от дельта-функции к реальной функции ¡г(х) превращается в аппроксимацию

" ^

которая является тем более точной, чем ближе к константе функция д(х) в той области значений аргумента х, где функция ^(х) «существенно отлична от нуля»3. Таким образом, если в качестве Д(х) выступают реальные функции отклика конечной ширины, например вида (11), то вероятности р+ ( ) аппроксимируют 6Вауе^£, причём тем точнее, чем плавнее изменяются функции •ы+(х) и •ы-(х) на шаге сетки Xi - что и требовалось.

Итак, предлагаемый алгоритм обучения коллективного классификатора на примерах состоит в многократном повторении шага, описанного в табл. 2, где требуемое случайное испытание с вероятностью р+ = р+ реализуется процедурой, описанной в табл. 3.

2. Результаты

В качестве примера рассмотрена задача двухклассовой классификации по одному действительному признаку х, где одна из двух условных плотностей вероятности представлена гауссовским распределением, а вторая - бимодальным распределением, полученным суперпозицией двух гауссовских функций:

1 ( (z-щ)2 (г-Ц2)2 \ 1 _ ч- г-3,

w+

2ол/2л V / ол/2л

3Строгая формализация этого утверждения требует конкретизации свойств функций /¿(ж), которые зависят от реализации классификатора; пример такой формализации в условиях, применимых к функциям вида (11), приведён в пункте 5 Приложения.

со значениями параметров ^ = 3, ц2 = 9, ц3 = 6, о = 1. Графики функций т+(х) и т-(х) показаны на верхней панели рис. 2. Дополнительными вертикальными линиями сетки отмечены значения х = хь и х = жд, являющиеся корнями уравнения <ы+(х) = ,ш-(х) и представляющие собой границы областей решений байесовского решающего правила (9). Количество типов клеток коллективного классификатора составляет = 12, отклики имеют вид ( ), где Хг = г, г = 1... 12.

Выполнено численное интегрирование дифференциальных уравнений непрерывной модели обучения (4), где параметры конкурентоспособности bi были заданы выражением (12), а также имитационное моделирование дискретного алгоритма обучения на примерах (согласно описанию в табл. 2 и 3). Ансамбль обучающих примеров был получен выборкой из обоих распределений и содержал по ^еат = 30000 примеров из каждого распределения. Значение малого параметра (условной продолжительности, приписываемой одному шагу) в алгоритме селекции сМ = 0.25. Для непрерывной и дискретной моделей параметр ёмкости среды составляет = 250000, начальное количество клеток каждого типа Пг(0) = 20000, длительность интервала времени моделирования Т = 1000, что в дискретном случае подразумевает выполнение Т/&Ъ = 4000 шагов алгоритма селекции (по табл. 2).

Полученная эволюция динамических переменных непрерывной модели и численностей типов клеток в дискретном алгоритме (для тех и других используются одинаковые обозначения Пт) показана на рис. 3. Систематическое (превышающее величину флуктуаций) различие между решениями непрерывной и дискретной моделей наблюдается в наибольшей мере для переменных

п4 и п8. Это различие объясняется наихудшей аппроксимацией идеальных значений параметров конкурентоспособности (12) (которые использованы в непрерывной модели) вероятностями (17), порождаемыми испытанием на основе обучающих примеров (табл. 3) в дискретном алгоритме, при г = 4, г = 8, чему соответствуют узлы сетки Хг = 4, Хг = 8. Отметим, что симметрия распределений (20) относительно точки ж = 6 переходит в аналогичную симметрию параметров ^ непрерывной модели (согласно выражению (12)), и (при одинаковых начальных условиях) к одинаковой динамике соответствующих переменных щ(£), что проявляется точным наложением соответствующих графиков (с номерами, симметричными относительно г = 6) на рис. 3 (кроме того, графики «1,2,10,11,12^) неразличимы из-за масштаба рисунка). В стохастической модели эта симметрия может быть нарушена за счёт конечности ансамбля обучающих примеров (которые необязательно распределены симметрично), а в пределе бесконечного ансамбля обучающих примеров можно говорить лишь о симметрии вероятностных характеристик получаемого случайного процесса.

График нормированного (на ёмкость среды) отклика ансамбля Р(ж)/Жс согласно (10), где взяты численности клеток щ = щ(Г),

0.4

0.2

/ / / / / N N \ \ ---W-

/ / / / \ \ \ \

Рис. 2. Верхняя панель: графики функций условной плотности вероятности классов

Fig. 2. Upper panel: graphs of conditional probability density functions

PO

О 20

; ;

Г ¿ = 3,9

V ¿ = 4,8

L________

i =1f== ¿ = 5,7

30

со

О

1-4

•PS £ 10

0

г = 3,9

ь— ¿ = 4,8

¿ =~6~— ¿ = 5,7 -.- -.- -.--

0 200 400 600 800 1 ООО

t

0 200 400 600 800 1 ООО

t

Рис.

( =

3. Эволюция динамических переменных во времени «¿

Fig. 3. Time evolution of the dynamical variables «¿

полученные в результате обучения по дискретному алгоритму (в конечный момент обучения t = Т), вместе с нормированным расчётным пороговым значением 0/Nc = h/3 ( ), показаны на нижней панели рис. 2. Сопоставление верхней и нижней панелей показывает, что решающее правило обученного коллективного классификатора (10), как и предсказано теорией, приближается к байесовскому решающему правилу (9): область положительного ответа обученного коллективного классификатора F(х) > 0 хорошо аппроксимирует область положительного ответа байесовского классификатора w+(x) > w-(x) (то есть х < xl U х > xr).

Получены предварительные результаты о зависимости величины флуктуаций численно-стей типов клеток в процессе обучения от величины ёмкости среды Nc (которой определяется установившееся полное количество клеток (6)). Для этого дополнительно проведено имитационное моделирование стохастического алгоритма обучения для значений Nc, изменяющихся от 10000 до 250000 (остальные условия прежние). Для одного из типов клеток (г = 11) рассчитаны среднее значение (п11) и средне-квадратическое отклонение Оц на временном ряде численности этого типа пц, полученном на шагах алгоритма с номерами от 2500 до 4000, что соответствует интервалу непрерывного времени t = 625 ... 1000, где марковский процесс условно полагается стационарным (на основании графика на рис. 3). На рис. 4 по- Рис 4 Зависимость относительной ^и™ ^тущ™

(отношение среднеквадратического отклонения к среднему) строен график зависимости относительной ве- дЛя численности пц от параметра ёмкости среды Nc личины флуктуа.ций Численности Пц (отноше- Fig. 4. Coefficlent of vanatlon (ratl0 of standard devlatlon

ния Оц/(nil)) от параметра ёмкости среды Nc. to mean) for the nn variable versus the carrylng capaclty Насколько можно судить из графика, относи- parameter Nc

Nc

тельная величина флуктуаций убывает с увеличением общей численности ансамбля, что, с одной стороны, означает возможность минимизации обусловленного флуктуациями отклонения результата обучения от оптимума, а с другой - оправдывает предположение о малости флуктуаций, сделанное при сведении дискретного алгоритма к непрерывной модели в разделе 1.2 (при переходе от уравнения (8) к модели (4)).

Заключение

Новая стратегия обучения коллективных классификаторов, в отличие от предложенной в [12], основана на режиме конкурентной динамики с сосуществованием и потому не подвержена ограничениям, связанным с принципом Гаузе. Близость обученного классификатора к байесовскому решающему правилу, оптимальному с точки зрения минимизации вероятности ошибки, ограничивается только реализацией. Все виды отклонений обученного классификатора от байесовского решающего правила вместе со способами их минимизации перечислены в табл. 4 и с принципиальной точки зрения могут быть сделаны сколь угодно малыми. В статье рассмотрен только случай специально заданных кусочно-линейных модельных функций отклика элементов (11), однако ожидается возможность распространения представленного подхода на другие наборы функций отклика, достаточно узко локализованных в пространстве признаков и составляющих подходящий базис для разложения результирующей функции отклика классификатора типа (10).

Уход от принципа Гаузе с необходимостью требует организации конкуренции внутри типа клеток дополнительно к конкуренции между типами. В рамках предложенного алгоритма селекции это реализовано за счёт попарных сравнений клеток по типу, что делает затруднительной реализацию такого алгоритма с помощью методов сортировки живых клеток [14] и означает преимущественную ориентированность алгоритма на технические системы, например типа «умной пыли». Для систем, создаваемых методами синтетической биологии, скорее достижима реализация требуемой конкурентной динамики путём управления механизмами размножения и гибели клеток в соответствии с табл. 1 с помощью химических сигналов межклеточной коммуникации [21].

Таблица 4. Причины отклонения обученного классификатора от байесовского решающего правила и пути

минимизации этих отклонений

Table 4. Origins of deviation of the trained classifier from the Bayesian classification rule and

corresponding ways to minimize this deviation

Причина отклонения Способ минимизации

Недостижение стационарного режима в ходе обучения Увеличение продолжительности обучения

Отклонения стохастического алгоритма селекции (табл. 2) от непрерывной модели (4) Увеличение ёмкости среды Мс, и как следствие - увеличение количества клеток Уменьшение малого параметра &

Отклонение от идеальной функции отклика из-за конечности базиса разложения (10) Р (х) = Е1=1 Пг1г(х) Сужение базисной функции отклика /¿(ж) с одновременным увеличением количества типов клеток в

Ошибка аппроксимации идеальных параметров конкурентоспособности (12) дискретной процедурой табл. 3 (вероятностями (17)) Сужение базисной функции отклика /¿(ж) с одновременным увеличением количества типов клеток в Увеличение количества обучающих примеров

Приложение

1. Найдём полную производную по времени в силу системы

Е щ = Е ( ь* - Е ) щ = Е ЫпАз - -1 ЬутпЛ =

г г \ С 3 ) Ч С

= Е

г] г] 3 \ г/

откуда имеем:

d

< 0, если Пг > Ис = 0, если пг = ^С > 0, если пг < Мс

что и означает инвариантность многообразия ^ ^ т = и его глобальную устойчивость.

2. Заменяя нулём левые части в ( ), для всех г имеем т = 0 или Ьг = ^ Ъ]п^;

в силу предположения об отсутствии одинаковых ^, второй вариант может реализоваться не более чем для одного значения индекса г. Это означает, что в состоянии равновесия отличной от нуля может быть не более одной переменной т, то есть имеется состояние равновесия в начале координат (все щ = 0) и ещё 8 состояний равновесия - по одному на каждой координатной оси, в точках щ = Мс8г,т для каждого т = 1... в. Далее (по предположению) ограничиваемся неотрицательным ортантом полного фазового пространства, а также динамикой только на инвариантном многообразии (2) - без ограничения общности, в силу его глобальной устойчивости.

Обозначая

Рг = , Я = ^2 Ъ

имеем

йд

а

£ ТТ = ^ - ^ = ^ Ь2'Рг

ч - д

На инвариантном многообразии ( ) имеем ^ ^ рг = 1, и кроме того, в силу исходного ограничения, все Р1 ^ 0. Значит, можно воспользоваться формализмом теории вероятностей, если формально ввести «случайную величину» Ъ, принимающую значения Ьг с «вероятностями» рг (использование вероятностной терминологии здесь чисто формально и служит для сокращения выкладок; можно было просто скопировать вывод соответствующих формул из теории вероятностей без указания на их происхождение). Используя стандартное обозначение «математического ожидания» {Ь} = ЕI ЪгРг, перепишем (21) в виде

9 = {Ь2} - {Ь}2

что совпадает с формальной «дисперсией» Ъ, а значит, имеем д ^ 0, причём д = 0 тогда и только тогда, когда «случайная величина» Ь вырождается до детерминированной, то есть когда отлична от нуля (и равна единице) ровно одна из «вероятностей» рг. В исходных обозначениях это

означает, что везде в рассматриваемой области фазового пространства (пересечение инвариантного многообразия с неотрицательным ортантом), кроме состояний равновесия, имеем

> О,

i

то есть область расслаивается на семейство гиперплоскостей

Е biUi = Q, i

которые везде, кроме состояний равновесия, пересекаются траекториями без касания, в направлении возрастания Q. Значит, никаких аттракторов, кроме состояний равновесия, система в неотрицательном ортанте не имеет, а в предположении единственности наибольшего Ьм = max bi, устойчивым из состояний равновесия является только (3), где Q достигает своего максимума.

3. В работе [20] модель Лотки-Вольтерры записана в виде

dni ~dt

Hi

Ьг + Е

0>ij Wj

г = 1... s.

3 = 1

В случае невырожденной матрицы коэффициентов А = (а^) теорема [20] утверждает, что, если состояние равновесия, обращающее в ноль круглые скобки (которое единственно в силу невырожденности А), находится в положительном ортанте, и существует такая постоянная диагональная матрица с положительными коэффициентами С, что матрица С А + (СА)Т (здесь т -операция транспонирования) является отрицательно определённой, то это состояние равновесия глобально устойчиво в положительном ортанте.

Для применения этой теоремы к системе (4) запишем матрицы А и С в следующем виде (для наглядности приводится вид матриц для размерности системы = 3):

'Ь

С =

-1 1

0

0 0

0

Ь-1

0 0

Ь-1

А=- ж

1 bi bi &2 1 b2 yb3 b3 1

1

1 (b1 ^^ = I 1 nA 1

1 t-1

1 1 b-1

тогда

^ + = - Ж

111 1 1 1 111

+

V -1 0 0

ь-1 - 1 0

0 0

ь-1 - 1,

Здесь матрица из единиц является положительно полуопределённой, диагональная матрица в силу ограничения 0 < bi < 1 имеет положительные коэффициенты и, значит, является положительно определённой, следовательно, выражение в целом является отрицательно определённой матрицей. Остальные условия теоремы также выполнены.

4. Просуммируем численности клеток в равновесном состоянии (5):

N^ =

Е

i=1

пг = Nr h

^ - 0

i=1 4 7

- 1 = Nr.

E-=j(1 - bi)-1 - S П=1(1 - bi)-1 - s + 1

= Nr (1 - h).

1

0

5. Пусть на отрезке х £ [a., bi] функции д(х) и /¿(ж) интегрируемы, и для д(х) справедлива оценка д. ^ д(х) ^ ~gi. Пусть для /¿(ж) имеем /¿(ж) >0 на интервале х £ (а.,Ь.), и /¿(ж) = 0 при х £ (а.,Ь.). Введём обозначения ф = Ф(ж) = f^, fi,(x)dx, I = Ф(Ь.). Тогда, учитывая монотонность Ф(ж) и применяя теорему о среднем, имеем

/+o rbi rl

g(x)fi(x)dx = g(x)dV(x)= #(Ф-1(ф))^ф = Ьц,

-o Jai J0

где Yi удовлетворяет д. ^ Yi ^ ~д., что может быть переписано в форме

g(x)fi(x)dx _ ]

f + 0 „ / ч , £ ]

J-oo /i(*

и представляет собой строгую формулировку приближённого выражения (19).

Список литературы

1. Айвазян С. А., Бухштабер В.М., Енюков И. С., Мешалкин Л. ^Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989. 608 с.

2. Alpaydin E. Introduction to Machine Learning. Cambridge, Massachusetts: MIT press, 2020. 712 p.

3. Гмурман В. Е. Теория вероятностей и математическая статистика. М.: ЮРАЙТ, 2019. 479 с.

4. Jameson S. C. Maintaining the norm: T-cell homeostasis // Nature Reviews Immunology. 2002. Vol. 2, no. 8. P. 547-556. DOI: 10.1038/nri853.

5. Starr T.K., Jameson S. C., Hogquist K.A. Positive and negative selection of T cells // Annual Review of Immunology. 2003. Vol. 21, no. 1. P. 139-176.

DOI: 10.1146/annurev.immunol.21.120601.141107.

6. Palmer E. The T-cell antigen receptor: a logical response to an unknown ligand // Journal of Receptors and Signal Transduction. 2006. Vol. 26, no. 5-6. P. 367-378. DOI: 10.1080/10799890600919094.

7. Surh C. D., Sprent / Homeostasis of naive and memory T cells // Immunity. 2008. Vol. 29, no. 6. P. 848-862. DOI: 10.1016/j.immuni.2008.11.002.

8. Иванченко М.В. Конкуренция в двухкомпонентной модели ансамбля иммунных т-клеток // Известия вузов. ПНД. 2010. Т. 18, № 3. С. 33-45. DOI: 10.18500/0869-6632-2010-18-3-33-45.

9. Ivanchenko M. V. Transient selection in multicellular immune networks // JETP Letters. 2011. Vol. 93, no. 1. P. 35-40. DOI: 10.1134/S0021364011010048.

10. Bolkhovskaya O. V., Zorin D. Y, Ivanchenko M. V. Assessing T cell clonal size distribution: a non-parametric approach // PLoS One. 2014. Vol. 9, no. 10. P. e108658.

DOI: 10.1371/journal.pone.0108658.

11. Dasgupta D., Yu S., Nino F. Recent advances in artificial immune systems: models and applications // Applied Soft Computing. 2011. Vol. 11, no. 2. P. 1574-1587.

DOI: 10.1016/j.asoc.2010.08.024.

12. Didovyk A., Kanakov O. I., Ivanchenko M. V. et al. Distributed classifier based on genetically engineered bacterial cell cultures // ACS Synthetic Biology. 2015. Vol. 4, no. 1. P. 72-82. DOI: 10.1021/sb500235p.

13. Kanakov O., Kotelnikov R., Alsaedi A. et al. Multi-input distributed classifiers for synthetic genetic circuits // PLoS One. 2015. Vol. 10, no. 5. P. e0125144.

DOI: 10.1371/journal.pone.0125144.

14. Schaerli Y., Isalan M. Building synthetic gene circuits from combinatorial libraries: screening and selection strategies // Molecular BioSystems. 2013. Vol. 9, no. 7. P. 1559-1567.

DOI: 10.1039/c2mb25483b.

15. Sailor M.J., Link J. R. «Smart dust»: nanostructured devices in a grain of sand // Chemical Communications. 2005. No. 11. P. 1375-1383. DOI: 10.1039/b417554a.

16. Трубецков Д.И. Феномен математической модели Лотки-Вольтерры и сходных с ней // Известия вузов. ПНД. 2011. Т. 19, № 2. С. 69-88. DOI: 10.18500/0869-6632-2011-19-2-69-88.

17. Рабинович М.И., Трубецков Д. И. Введение в теорию колебаний и волн. Москва-Ижевск: НИЦ «Регулярная и хаотическая динамика», 2000. С. 343-346.

18. Гаузе Г. Ф. Борьба за существование. Москва-Ижевск: Институт компьютерных исследований, 2002. 160 с.

19. Разжевайкин В. Н. Многокомпонентный принцип Гаузе в моделях биологических сообществ // Журнал общей биологии. 2017. Т. 78, № 5. С. 3-14.

20. Goh B. S. Global stability in many-species systems // The American Naturalist. 1977. Vol. 111, no. 977. P. 135-143. DOI: 10.1086/283144.

21. Dickschat J. S. Quorum sensing and bacterial biofilms // Natural Product Reports. 2010. Vol. 27, no. 3. P. 343-369. DOI: 10.1039/b804469b.

References

1. Aivazyan SA, Buchstaber VM, Yenyukov IS, Meshalkin LD. Applied Statistics: Classification and Reduction of Dimensionality. Moscow: Finance and statistics; 1989. 608 p. (in Russian).

2. Alpaydin E. Introduction to Machine Learning. Cambridge, Massachusetts: MIT press; 2020. 712 p.

3. Gmurman VE. Probability Theory and Mathematical Statistics. Moscow: URAIT; 2019. 479 p. (in Russian).

4. Jameson SC. Maintaining the norm: T-cell homeostasis. Nature Reviews Immunology. 2002; 2(8):547-556. DOI: 10.1038/nri853.

5. Starr TK, Jameson SC, Hogquist KA. Positive and negative selection of T cells. Annual Review of Immunology. 2003;21(1):139-176. DOI: 10.1146/annurev.immunol.21.120601.141107.

6. Palmer E. The T-cell antigen receptor: A logical response to an unknown ligand. Journal of Receptors and Signal Transduction. 2006;26(5-6):367-378. DOI: 10.1080/10799890600919094.

7. Surh CD, Sprent J. Homeostasis of naive and memory T cells. Immunity. 2008;29(6):848-862. DOI: 10.1016/j.immuni.2008.11.002.

8. Ivanchenko MV. Competition in the twocomponent model of the immune T-cell ensemble. Izvestiya VUZ. Applied Nonlinear Dynamics. 2010;18(3):33-45 (in Russian).

DOI: 10.18500/0869-6632-2010-18-3-33-45.

9. Ivanchenko MV. Transient selection in multicellular immune networks. JETP Letters. 2011;93(1): 35-40. DOI: 10.1134/S0021364011010048.

10. Bolkhovskaya OV, Zorin DY, Ivanchenko MV. Assessing T cell clonal size distribution: a non-parametric approach. PLoS One. 2014;9(10):e108658.

DOI: 10.1371/journal.pone.0108658.

11. Dasgupta D, Yu S, Nino F. Recent advances in artificial immune systems: models and applications. Applied Soft Computing. 2011;11(2):1574-1587. DOI: 10.1016/j.asoc.2010.08.024.

12. Didovyk A, Kanakov OI, Ivanchenko MV et al. Distributed classifier based on genetically engineered bacterial cell cultures. ACS Synthetic Biology. 2015;4(1):72-82.

DOI: 10.1021/sb500235p.

13. Kanakov O, Kotelnikov R, Alsaedi A et al. Multi-input distributed classifiers for synthetic genetic circuits. PLoS One. 2015;10(5):e0125144. DOI: 10.1371/journal.pone.0125144.

14. Schaerli Y, Isalan M. Building synthetic gene circuits from combinatorial libraries: screening and selection strategies. Molecular BioSystems. 2013;9(7):1559-1567. DOI: 10.1039/c2mb25483b.

15. Sailor MJ, Link JR. «Smart dust»: nanostructured devices in a grain of sand. Chemical Communications. 2005;(11):1375-1383. DOI: 10.1039/b417554a.

16. Trubetskov DI. Phenomenon of Lotka-Volterra mathematical model and similar models. Izvestiya VUZ. Applied Nonlinear Dynamics. 2011;19(2):69-88 (in Russian).

DOI: 10.18500/0869-6632-2011-19-2-69-88.

17. Rabinovich MI., Trubetskov DI. Introduction to theory of oscillations and waves. Moscow-Izhevsk: Regular and chaotic dynamics; 2000. P. 343-346 (in Russian).

18. Gauze GF. The Struggle for Existence. Baltimore: The Williams & Wilkins company; 1934. 188 p. DOI: 10.5962/bhl.title.4489.

19. Razzhevaikin VN. The multicomponent Gause principle in models of biological communities. Biology Bulletin Reviews. 2018;8(5):421-430. DOI: 10.1134/S2079086418050067.

20. Goh BS. Global stability in many-species systems. The American Naturalist. 1977;111(977): 135-143. DOI: 10.1086/283144.

21. Dickschat JS. Quorum sensing and bacterial biofilms. Natural Product Reports. 2010;27(3): 343-369. DOI: 10.1039/b804469b.

Сутягин Алексей Алексеевич - родился в Нижнем Новгороде (1992). Окончил с отличием радиофизический факультет Нижегородского государственного университета им. Н.И. Лобачевского (ННГУ) по направлению «Радиофизика» (2016). Неоднократный победитель и призёр творческих и научных конкурсов. C 2016 - аспирант радиофизического факультета ННГУ. С 2019 преподаёт на кафедре теории колебаний и автоматического регулирования ННГУ в должности ассистента. Научные интересы - конкурентная динамика, коллективные классификаторы. Является соавтором зарегистрированной программы для ЭВМ.

Россия, 603022 Нижний Новгород, проспект Гагарина, 23 Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского E-mail: alealesutyagin@gmail.com

Канаков Олег Игоревич - родился в Нижнем Новгороде (1981). Окончил с отличием радиофизический факультет Нижегородского государственного университета им. Н. И. Лобачевского (ННГУ) по направлению «Радиофизика» (2004). Защитил диссертации на соискание учёной степени кандидата физико-математических наук (2007, ННГУ) и доктора физико-математических наук (2017, ННГУ) по специальности «Радиофизика». С 2007 года преподаёт на кафедре теории колебаний и автоматического регулирования ННГУ (с 2019 -в должности профессора). Научные интересы - нелинейная динамика биологических моделей, коллективные классификаторы, локализованные решения и взаимодействие мод в нелинейных гамильтоновских решётках. Опубликовал 30 научных статей по указанным направлениям.

Россия, 603022 Нижний Новгород, проспект Гагарина, 23 Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского E-mail: okanakov@rf.unn.ru