Mathematical Model of Object Classifier based on Bayesian Approach

<jats:p>The paper claims that the primary importance in solving the classification problem is to find the conditions for dividing the General complexity into classes, determine the quality of such a bundle, and verify the classifier model. We consider a mathematical model of a non-randomized classifier of features obtained without a teacher, when the number of classes is not set a priori, but only its upper bound is set. The mathematical model is presented in the form of a statement of a minimax conditional extreme task, and it is a problem of searching for the matrix of belonging of objects to a class, and representative (reference) elements within each class. The development of the feature classifier is based on the synthesis of two-dimensional probability density in the coordinate space: classes-objects. Using generalized functions, the probabilistic problem of finding the minimum Bayesian risk is reduced to a deterministic problem on a set of non-randomized classifiers. At the same time, the use of specially introduced constraints fixes non-randomized decision rules and plunges the integer problem of nonlinear programming into a General continuous nonlinear problem. For correct synthesis of the classifier, the dispersion curve of the isotropic sample is necessary. It is necessary to use the total intra-class and inter-class variance to characterize the quality of classification. The classification problem can be interpreted as a particular problem of the theory of catastrophes. Under the conditions of limited initial data, a minimax functional was found that reflects the quality of classification for a quadratic loss function. The developed mathematical model is classified as an integer nonlinear programming problem. The model is given using polynomial constraints to the form of a General problem of nonlinear continuous programming. The necessary conditions for the bundle into classes are found. These conditions can be used as sufficient when testing the hypothesis about the existence of classes.</jats:p>

section_content: 1. Введение. Выясним цели классификации, которые могут различаться в зависимости от особенностей конкретной прикладной области знаний, и место задачи классификации в общей теории системного анализа [1] [2] [3]. Известно, что под моделью понимается некоторый материальный или мысленно представляемый объект (образ объекта), который в процессе изучения замещает объект-оригинал, сохраняя некоторые важные для данного исследования типичные его свойства. Модель -это всегда упрощенное изображение реального объекта, процесса или явления. Тогда модель можно определить как некоторое сжатое изображение исходных данных. В случае их дискретного множества такую модель можно интерпретировать как замену более мощного множества менее мощным множеством, что в общем случае соответствует задаче классификации. В связи с этим будем рассматривать классификатор как совокупность моделей (по числу классов) представления выхода некоторого источника исходных данных, где каждый класс представлен своей эталонной моделью [3, 4]. 

В рамках такой концепции системного анализа (синтеза) решение задачи классификации занимает центральное место и позволяет достичь следующих результатов:

1. Разбить (расслоить) множество объектов на подмножества (классы) схожих объектов для дальнейшей раздельной обработки данных. 

2. Установить наличие однородности (изотропности) исходных данных, если расслоение на классы невозможно (например, в случае выборки из непрерывного многомерного равномерного распределения). 

3. Сократить объем хранимых данных, оставив по одному представителю от каждого класса (кластера), то есть решить задачу сжатия данных (построить векторный квантователь). 

4. Выделить нетипичные объекты, которые не подходят ни к одному из кластеров, а именно выявить уникальные (новые по отношению к существующим) модели. 

5. Построить иерархию множества объектов. В первом и втором случаях особое внимание обращают на идентификацию числа кластеров. В третьем случае важнее обеспечить высокую степень сходства объектов внутри каждого кластера, а число классов выбирают исходя из условий функционирования системы. В четвертом случае наибольший интерес представляют отдельные объекты, не вписывающиеся ни в один из кластеров, а потому они могут описывать новые знания об интересующей проблеме. В пятом случае создают вложенные модели классификаторов, где значимость приобретает степень согласованности критериев качества классификации на различных уровнях древообразной иерархической структуры. 

Анализ предполагаемых результатов и приоритетных направлений их достижения позволяет сделать вывод, что первостепенное значение в решении задачи классификации занимают: нахождение условий разбиения генеральной совокупности на классы, определение качества такого расслоения и верификация модели классификатора, что является целью исследования. 

2. Условия правильной классификации. Известно [5] [6] [7], что разбиение множества на классы -это действие распределения объектов по классам на основе сходства объектов внутри класса и их отличия от объектов других классов. Условия правильной классификации [8]. 1. Подмножества (классы) попарно не пересекаются. 2. Объединение всех подмножеств (классов) совпадает с исходным множеством. 

Необходимо отметить, что условия правильной классификации могут характеризовать построение классификатора по обучающей выборке (на этапе обучения), но не соответствуют условиям правильной классификации по контролирующей выборке (на этапе контроля), так как могут быть применены рандомизированные правила принятия решений, и обучающее множество не тождественно контролирующему множеству. Кроме того, неизвестно, как разделить предоставленный статистический материал на обучающую и контролирующую выборки. Обозначим еще ряд нерешенных вопросов и проблем в автоматической классификации без учителя:

1. Как учесть при классификации неточность измерений признаков?

2. Насколько формализовано понятие класса? 3. Почему классы не должны пересекаться? 4. Допускает ли исходное множество расслоение на классы и сколько их?

5. При каких условиях классификатор становится векторным квантователем? [9] [10] [11]. 

Чтобы ответить хотя бы на некоторые из поставленных вопросов, разрабатываемая математическая модель должна быть достаточно общей, а значит, иметь как можно больший набор стратегий игры с природой. В этой связи рассмотрена задача поиска количественного функционала (критерия) и его параметров, отражающих качество классификации объектов без учителя. 

3. Байесовский подход при построении математической модели классификатора. Для построения математической модели классификатора применим Байесовский подход [12] [13] [14] [15], который используется во многих теориях (принятия решений, оценивания параметров, распознавания образов и т. д. (,,, ), 1,

 дискретное множество, тождественное эталонному множеству. Эти множества не известны в задаче классификации и могут быть определены после анализа решения исходной задачи. 

На рисунке 1 представлена модель процедуры оценки [12], которую в дальнейшем будем использовать для формирования математической модели классификатора объектов.

section_name: Пространство параметров

section_content: Пространство оценок

Применим формулу Байеса [12] для задачи классификации:

В основе байесовского подхода к решению задачи классификации лежит разложение дискретной двумерной плотности вероятно-сти (в пространстве эталоны -признаки) на безусловные и условные дискретные плотности:

В наиболее общем виде представим ее с помощью смеси плотностей вероятности непрерывных случайных величин на основе обобщенных функций: [13]. 

Далее определим маргинальные плотности вероятностей следующим образом:

Вывод выражения для апостериорной плотности вероятности принадлежности n-ого объекта k-ому классу приведен в приложении 1. 

Аналогично апостериорной плотности получим формулировку функции правдоподобия:

. 

Ее основные свойства приведены в приложении 2 [16, 17]. Условия нормировки для введенных плотностей показаны в приложении 3. (,,, ), 1,. 

, и следовательно, допустимо получение любой маргинальной плотности вероятности, применяемой при байесовском подходе. Таким образом, если имеется матрица X с элементами,,

, ( / ),,
section_name: Пространство наблюдений

section_content: Для упрощения записи в матричном виде маргинальные ряды представим в виде:

. 

Однако поиск неизвестной матрицы вероятностей назначений X значительно усложняет задачу классификации вследствие большого количества ограничений на ее элементы [18]. Поэтому будем искать решение в виде матрицы назначений X' с булевыми элементами. При этом сама матрица назначений X' естественно взаимосвязана с матрицей вероятностей назначений X [19, 20]. Введение булевой матрицы назначений возможно виду того, что классификатор нерандомизированный. 

Для этого определим связь условного маргинального ряда вероятностей ( / ) '

,

 необходимых для перехода от ограничений неравенств (на неотрицательность переменных) к ограничениям типа равенств; 0 -нулевая матрица размера.
section_name: _____________________________________________

section_content: Ограничение (1) означает, что матрица X -представляет собой дискретный двумерный ряд распределения вероятностей. 

Ограничения (2), наложенные на апостериорную плотность вероятности, обеспечивают классификацию каждого объекта, то есть их принадлежность одному или нескольким классам с определенной вероятностью. Тогда составляющие:

интерпретируются как условные вероятности принадлежности n-го объекта k-му классу. Если эти компоненты определяются как элементы булевого множества {0; 1}, то классификатор оказывается нерандомизированным. Ограничения (3) задают детерминированное множество решающих правил, то есть разрабатываемая математическая модель является нерандомизированным классификатором, и погружают дискретную булеву задачу в непрерывную. 

Ограничения (4) позволяют интерпретировать составляющие матрицы X как вероятности. 

Совокупность ограничений (2) и (3) обуславливает разбиение [21, 22] множества из «N» объектов на «K» классов, то есть вероятность принадлежности к k-му классу при условии наблюдения объекта с номером n. Однако условная плотность вероятности не определяет полностью основу математической модели классификаторадвумерную плотность вероятности, которая имеет большее число степеней свободы [23, 24]. В условиях равновероятного ряда появления объектов для классификации нетрудно увидеть, что ограничения (1) и (4) являются избыточными и X' однозначно определяет X. 

Очень важно отметить, что ограничения на функцию правдоподобия не вводятся, что обеспечивает возможное существование пустых кластеров. Поэтому при автоматической классификации можно задавать лишь верхнюю границу числа классов либо осуществлять полное разбиение объектов на неупорядоченные классы, так как возможное число классов всегда определяется числом объектов: 1 K N  . 

Тогда рассматриваемая математическая модель должна содержать постановку задач определения:

-сходства объектов внутри класса; -отличия объектов класса от объектов других классов; -числа классов; -оптимального разбиения множества объектов на классы; -гипотетического (представительного) объекта внутри каждого класса. 

5. Межклассовая метрика. Для того чтобы сформулировать такую задачу, необходимо ввести метрику (расстояние) между и внутри множеств, 1,,

-обладать известными свойствами метрики в смысле теории метрических пространств;

-отражать физическую сущность функции потерь при решении задачи минимизации Байесовского риска;

-иметь не высокую вычислительную сложность; -учитывать статистические свойства результатов измерений признаков;

-использовать полученный классификатор для решения последующих задач (например, применение нелинейных функционалов для синтеза разделяющих многомерных поверхностей за счет увеличения размерности пространства [25] [26] [27] ). 

Конструирование такой метрики представляет собой самостоятельную научную задачу, которой будут посвящены дальнейшие исследования. Поэтому здесь мы ограничимся математической моделью классификатора признаков в смысле экстремальной задачи с ограничениями при использовании обобщенной метрики эвклидова пространства [28] [29] [30] : Так при разбиении множества на классы цели являются противоречивыми. С одной стороны, при увеличении числа классов сходство объектов внутри класса увеличивается (расстояние между объектами одного класса уменьшается), а с другой стороны, уменьшается межклассовое различие (расстояние между представителями разных классов уменьшается). Поэтому обоснование числа классов проводится эвристически, без достаточного научного обоснования. Кроме того, множество может вообще не расслаиваться на классы, вследствие недостаточного статистического материала и (или) неправильного отбора признаков, и такие ситуации должны быть обнаружены. Поэтому концептуально выдвигается лишь гипотеза о существовании расслоения исходного множества на классы с помощью разрабатываемой математической модели. Эта гипотеза на заключительном этапе подлежит проверке (верификации), а именно: допускает ли исследуемое пространство признаков решение задачи классификации? В связи с этим рассмотрение достаточных условий правильной классификации является актуальной задачей. 

Кроме того, конструирование функционала качества классификации предполагает рассмотрение двух граничных условий: 1) кластер является единственным; 2) число классов равно объему выборки. В первом случае межклассовая дисперсия минимальная (равна нулю), а внутриклассовая дисперсия максимальная. Во втором случае наоборот: межклассовая дисперсия максимальная, а суммарная внутриклассовая дисперсия минимальная (равна нулю). Кроме того, если суммарная внутриклассовая дисперсия может быть выбрана для количественного описания сходства объектов внутри классов, то межклассовая дисперсия недостаточно описывает отличие объектов разных классов, так как она определяется лишь координатами эталонов каждого класса и не учитывает «тонкого» распределения объектов внутри класса. 

В противоположность задаче классификации в задаче векторного квантования основное внимание уделяется минимизации суммарной внутриклассовой дисперсии, а значит, все классы должны быть не пустыми, и конструирование функционала качества векторного квантователя не вызывает затруднений. Этой задаче будут посвящены последующие работы. 

Интересно рассмотрение задачи классификации с позиций теории информации [9]. Известно [9], что дифференциальная энтропия монотонно возрастает с возрастанием дисперсии генеральной совокупности и достигает своего максимального значения для установленных плотностей вероятностей случайной величины в зависимости от ее области определения. Поэтому можно высказать следующие гипотезы, что:

1. При расслоении выборки на классы ее суммарная внутриклассовая дисперсия должна быть меньше максимально возможной, то есть, когда нет расслоения при заданном числе классов. 

2. Чтобы идентифицировать расслоения, должна быть некоторая гипотетическая выборка (образец), в которой потенциально невозможно выделить кластеры (например, выборка из многомерного равномерного распределения [31, 32] );

3. Проверка предположения о наличии расслоения на классы может быть проведена путем сравнения рабочего и гипотетического множеств (например, с помощью расстояния Хаусдорфа [33], использования информационной меры Ку ́льбака -Ле йблера [34] и т. д. ). 

4. Система замкнута [1], а значит ее энтропия и, следовательно, дисперсия не зависят от способа разбиения выборки на классы, то есть: [35, 36]. При этом каждое разбиение (классификатор) будем характеризовать двумя параметрами: межклассовой дисперсией и суммарной внутриклассовой дисперсией. 

7. Дисперсии разбиений. Известен теоретико-множественный подход к постановке задачи классификации [5]. Однако его применение совместно с математическим программированием [37] невозможно. Поэтому математическую модель представим как некоторую условную экстремальную задачу в формальном матричном виде. 

Для этого конкретизируем межклассовую дисперсию. Следуя Байесовскому подходу, будем рассматривать оценки {Z'} множества эталонов {Z} при заданной функции стоимости (потерь), наблюдая множество признаков {Y}. Так как, в ходе решения задачи классификации необходимо определить: 1) априорное множество эталонов {Z}; 2) правило принятия решения о принадлежности объекта к классу: 3) апостериорное множество оценок {Z'}, то естественно положить, что оценки должны совпадать с эталонами     '  Z Z и также должны быть найдены в результате решения задачи классификации. 

Известно [9], что в случае квадратичной функции потерь, а также в достаточно широком классе других функций стоимости, оптимальная оценка есть среднее значение апостериорной плотности вероятности признаков класса. Тогда применительно к задаче детерминированной классификации с необходимыми плотностями вероятностей:

;

;

;

Тогда можно найти среднее значение на множестве оценок:

,,, '

Эталоны Z k будем искать как матрицу координат эталонов Z размера.
section_name: K N 

section_content: Тогда после подстановки оценок и их среднего, используя фильтрующее свойство  -функции, получим:

Отметим, что здесь под межклассовой дисперсией понимается не дисперсия эталонного множества, мощность которого равна, K а дисперсия рабочей выборки после замены каждого объекта всех клас-сов его эталонным значением для класса, которому он принадлежит, а значит, мощность преобразованного множества равна. N Теперь введем и рассмотрим суммарную внутриклассовую (усредненную на множестве признаков класса) дисперсию, которая в общем случае задается выражением:

. 

,,,,

Суммарную внутриклассовую дисперсию определим с помощью следующей конструкции:

Для сокращения размерности пространства решений учтем наличие связи между искомыми переменными и ограничениями задачи. Так:

С этой же целью будем искать координаты центроидов как взвешенное среднее векторов, находящихся в кластере:

Полученные выражения для дисперсий содержат явную зависимость от предполагаемого числа классов K, которая выражается числом строк в матрице назначений X'. Для исключения этой зависимости определим эту матрицу для максимально возможного числа классов размером  .
section_name: L K 

section_content: Тогда выражения для дисперсий записываются в виде:

Максимальные значения (5) и ( 6 ) используем для определения канонического вида рабочей выборки, для чего произведем нормировку матрицы признаков Y по правилу:

марная внутриклассовая дисперсия канонической рабочей выборки. Чтобы получить формализованное описание функционала (7), были проведены исследования зависимости межклассовой и суммарной внутриклассовой дисперсий от неупорядоченных разбиений путем их полного перебора на различных рабочих выборках. По сути, функционал (7) должен ввести отношение порядка [1] на множестве всех возможных неупорядоченных разбиений, определяемых числом Белла [38] и обладающих следующими свойствами:

число классов в разбиении не фиксируется и ограничено сверху числом объектов N, что позволяет избавиться от явного задания числа кластеров в задаче классификации; -условия (2) и (3) формально задают искомые разбиения (область определения функционала (7)), хотя могут описывать и упорядоченные разбиения при дальнейшем развитии задачи классификации; -полный перебор всех разбиений осуществляется формированием матриц назначений X' путем использования известного рекуррентного свойства [35] (необходимые свойства разбиений приведены в приложении 4); -для идентификации оптимального расслоения должна быть некоторая гипотетическая изотропная выборка (образец), в которой потенциально невозможно выделить кластеры;
section_name: N N 

section_name: MATHEMATICAL MODELING, NUMERICAL METHODS

section_content: -значения признаков объектов изотропной выборки ограничены сверху и снизу и образуют компактное [33] множество, чему удовлетворяет выборка из непрерывного многомерного равномерного распределения [31] (его определение приведено в приложении 5). 

Для того чтобы здесь не конкретизировать область S, приведем изотропную выборку к каноническому виду с помощью вышеприведенных масштабирующих констант S. Это должно обеспечить некоторый стандарт дисперсионной последовательности (кривой), определяемой различными разбиениями гипотетической (образцовой) изотропной выборки (рис. 2). Эта последовательность не должна зависеть от размерности признакового пространства и числа объектов классификации, если оно велико. Конечно, этот факт нуждается в строгом математическом доказательстве. Приведем лишь экспериментальное подтверждение существования такой последовательности при малом числе объектов и для двумерного признакового пространства, так как вычислительная сложность экспериментов экспоненциально возрастает с ростом числа объектов и увеличением размерности пространства признаков. В обоих случаях расчета дисперсий по (5) и (6) на графиках наблюдаются разрывы области допустимых значений функционалов для анизотропной выборки. Используем это свойство для формирования функционала качества классификации (7). 

10. Задача классификации. Так многочисленные исследования (эксперименты) показали, что при наличии классов наблюдается неоднородность выборки. Эта неоднородность проявляется в виде существенных скачков межклассовой дисперсии (суммарной внутриклассовой дисперсии) разбиений, упорядоченных по их убыванию (возрастанию). Наибольший выброс идентифицирует наилучшее разбиение на классы. Значит надо искать минимум (максимум) производной какойлибо из дисперсий на множестве всех возможных разбиений. Однако производной в классическом смысле здесь не существует, так как производная слева не равна производной справа и, кроме того, функционал определен на дискретном множестве [39, 40]. По сути, это означает, что происходит качественное изменение количественной характеристики разбиения при небольшом изменении его параметров. Тогда задачу классификации можно отнести к задачам теории катастроф. 

Важно отметить, что в случае изотропных выборок катастрофы нет, и она наблюдается, когда существует некоторая организация Аналогичный функционал может быть записан и для межклассовой дисперсии:
section_name: _____________________________________________

section_content: Поскольку дисперсионная кривая изотропной выборки уникальна, она может быть табулирована или аппроксимирована с заданной точностью с помощью некоторой функции  . 

Тогда, математическую модель можно представить как задачу нахождения матрицы назначений ' a X и вспомогательной переменной x, удовлетворяющих (10) при известных матрицах признаков объектов Y r, обобщенной метрики эвклидова пространства W и эталонной дисперсионной кривой   i f x, при ограничениях на компоненты матрицы назна- чений (2), (3). Вычисление (9) производится с помощью выражения (6). Задачи (3), ( 2 ), ( 6 ), ( 9 ) можно классифицировать как задачи целочисленного нелинейного программирования на булевом множестве решений, которое задается с помощью нелинейных уравнений. В этой задаче неявно осуществляется оптимизация по числу классов, так как на строки матрицы ' a X не накладывается никаких дополнительных ограничений, кроме булевости переменных. Это может приводить к наличию нулевых (пустых) кластеров вследствие ограничения снизу и сверху числа классов (1 K N   ), а также вследствие предлагаемой минимаксной математиче- ской модели задачи классификации. Разработке алгоритма решения поставленной задачи будут посвящены последующие работы. Решение задач ( 9 ), ( 6 ), ( 2 ), (3) определяет наилучшее разбиение множества объектов на классы, а по достигнутому значению функционала (9) можно судить о качестве классификации. 

В целом можно выделить следующие основные этапы решения задачи классификации:

1. Определение эталонной дисперсионной кривой изотропной выборки. 

2. Нормирование рабочей выборки относительно ее общей дисперсии, то есть приведение рабочей выборки к каноническому виду. 

3. Проверка гипотезы о расслоении на классы, а именно: можно выделить классы или нет? 4. Решение задачи синтеза классификатора, то есть поиск оптимального разбиения в случае истинности гипотезы о расслоении на классы. 

5. Верификация полученного решения и определение качества классификации. 

11. Заключение. В рамках общей задачи теории принятия решений при байесовском подходе задача классификации признаков объектов с точки зрения разбиения множества на подмножества в условиях правильной классификации представляет собой модель системы распознавания, где функция правдоподобия определяется в ходе решения задачи, а класс правил распознавания образован на множестве известных признаков объектов, что определяет теоретическую значимость результатов работы. Тогда задача классификации сводится к задаче определения вероятностей принадлежности исследуемых объектов к некоторым классам. При этом постулируется тождественность эталонного множества и множества оценок классов. 

В результате разработана математическая модель классификатора признаков, которая предполагает синтез двумерной плотности вероятностей в пространстве координат: классы -объекты. Использование обобщенных функций позволило свести вероятностную задачу поиска минимума байесовского риска к детерминированной задаче на В подобных условиях для корректного синтеза классификатора необходима дисперсионная кривая изотропной выборки, а также использование суммарной внутриклассовой и межклассовых дисперсий для характеристики качества классификации, что предполагает интерпретацию задачи классификации как частной задачи теории катастроф. Ограниченность исходных данных предопределила поиск минимаксного функционала, отражающего качество классификации при квадратичной функции потерь. В итоге разработанную математическую модель оказалось возможным рассматривать в форме задачи целочисленного нелинейного программирования, а последующее использование полиномиальных ограничений позволило ее преобразовать к виду общей задачи нелинейного непрерывного программирования, что обуславливает практическую значимость работы, как способа решения NP -полных комбинаторных задач. В дополнение к этому найдены необходимые условия расслоения на классы, которые могут быть использованы как достаточные при проверке гипотезы о существовании классов. 

Дальнейшие исследования в области разработки моделей классификаторов должны быть направлены на синтез динамических классификаторов [41], для чего необходимо:

разделить представленный статистический материал на обучающую и контролирующую выборки;

найти эффективный алгоритм получения решения задачи классификации в рамках представленной математической модели;

выполнить верификацию разработанной модели классификатора и по возможности проверку его адекватности;

предусмотреть процедуру обучения классификатора, как в признаковом пространстве объектов для снижения его размерности (отбора информативных признаков), так и в пространстве самих объектов для расслоения их на классы; определить, при каких условиях задачу синтеза классификатора нужно решать заново в динамике изменения признаков объектов.
section_name: X H X Y

section_content: Вывод выражения для апостериорной плотности вероятности принадлежности n-ого объекта k-ому классу:

и поэтому так же является обобщенной [16, 17]

,. . ., ;. . .,,. . ., ;,. . .,,. Abstract. The paper claims that the primary importance in solving the classification problem is to find the conditions for dividing the General complexity into classes, determine the quality of such a bundle, and verify the classifier model. We consider a mathematical model of a non-randomized classifier of features obtained without a teacher, when the number of classes is not set a priori, but only its upper bound is set. The mathematical model is presented in the form of statement of a minimax conditional extreme task, and it is a problem of searching for the matrix of belonging of objects to a class, and representative (reference) within each class. The development of the feature classifier is based on the synthesis of two-dimensional probability density in the coordinate space: classes-objects. Using generalized functions, the probabilistic problem of finding the minimum Bayesian risk is reduced to a deterministic problem on a set of non-randomized classifiers. At the same time, the use of specially introduced constraints fixes non-randomized decision rules and plunges the integer problem of nonlinear programming into a General continuous nonlinear problem. For correct synthesis of the classifier, the dispersion curve of the isotropic sample is necessary. It is necessary to use the total intra-class and inter-class variance to characterize the quality of classification. The classification problem can be interpreted as a particular problem of the theory of catastrophes. Under the conditions of limited initial data, a minimax functional was found that reflects the quality of classification for a quadratic loss function. The developed mathematical model is classified as an integer nonlinear programming problem. The model is given using polynomial constraints to the form of a General problem of nonlinear continuous programming. The necessary conditions for the bundle into classes are found. These conditions can be used as sufficient when testing the hypothesis about the existence of classes.
section_name: Литература ПРИЛОЖЕНИЕ 1.

section_content: Keywords: Non-randomized Feature Classifier, Upper Bound of the Number of Classes, Minimax, Conditional Extreme Problem, Integer Problem of Nonlinear Programming Batenkov Aleksandr -Ph. D., Dr. Sci., Professor, Professor, Department of Electronics, Radio Engineering and Communication Systems, Orel State University named after I. S. Turgenev (OSU). Research interests: statistical communication theory, models and methods of signal processing, computational algorithms. The number of publications -110. pustur@yandex. ru; 95, Komsomolskaya str., 302026, Orel, Russia; office phone: +7-906-570-16-66. 

Batenkov Kirill -Ph. D., Dr. Sci., Associate Professor, Employee, Academy of Federal Guard Service. Research interests: statistical communication theory, models and methods of signal processing, communications network quality analysis. The number of publications -152. pustur@yandex. ru; 35, Priborostroitelnaya str., 302015, Orel, Russia; office phone: 4862-54-7-63. 

Bogachev Andrey -Ph. D., Employee, Academy of Federal Guard Service. Research interests: models and methods of signal processing. The number of publications -26. pustur@yandex. ru; 35, Priborostroitelnaya str., 302015, Orel, Russia; office phone: 4862-54-7-63. 

Mishin Vladislav -Ph. D., Associate Professor, Head of a Department, Department of Electronics, Radio Engineering and Communication Systems, Orel State University named after I. S. Turgenev (OSU). Research interests: computational algorithms. The number of publications -106. pustur@yandex. ru; 95, Komsomolskaya str., 302026, Orel, Russia; office phone: +7-906-570-16-66.
section_name: Определение непрерывного многомерного равномерного распределения [31]. Пусть