О выборе числовых мер оценки погрешности данных и ошибок приближения восстанавливаемых функций в алгоритмах регуляризации нейросетевых моделей налогового контроля

О выборе числовых мер оценки погрешности данных и ошибок приближения восстанавливаемых функций в алгоритмах регуляризации нейросетевых моделей налогового контроля

On the chose of numeric estimation measures of data inaccuracy and approximation error of recaptured functions in tax control neuro-network models regularization mechanisms

УДК 336.225.67:004.94

К. Н. Юсупов

заведующий кафедрой Башкирского государственного университета (г Уфа), доктор экономических наук, профессор, академик РАЕН

450000, Республика Башкортостан, г Уфа, ул. Карла Маркса, д. 3/4; e-mail: nation-economika@mail.ru

K. N. Yusupov

450000, Republic of Bashkortostan, Ufa, ul. Karla Marxa, 3/4; e-mail: nation-economika@mail.ru

Изложена идея новой компьютерной технологии предварительной (камеральной) налоговой проверки предприятий-налогоплательщиков, на основе нейросетевых экономико-математических моделей. Использование этих моделей создает основу для повышения достоверности и объективности налогового контроля в налоговых органах.

The article presents an idea of neuro-network economic and mathematic models-based new computer technology of preliminary (cameral) tax inspection of tax-payer companies. Implementation of such models creates a basis for tax institutions tax control authenticity and objectivity increase.

Ключевые слова: нейросетевая модель, байесовский подход, метод вложенных математических моделей, нейросетевая субмодель, метод обобщенного перекрестного подтверждения

Keywords: neuro-network model, Bayesian approach, embedded mathematical models method, neuro-network sub-model, generalized switch-back attestation

Предмет исследования, результаты которого представлены в данной статье, — вопросы регуляризации нейросетевых моделей (НСМ) в задачах ранжирования объектов налогового контроля юридических лиц с точки зрения нарушений налогового законодательства и, соответственно, расчета ожидаемых доначислений. Характерной особенностью задач такого типа является сильное «зашумление» данных, которое усугубляется дефицитом наблюдений [1]. Как показано в работах С. А. Шумского, в столь сложных условиях моделирование НСМ подлежит регуляризации с целью устранения в ней чрезмерной чувствительности выхода к небольшим изменениям входных данных [2].

В опубликованных нами ранее статьях была сформулирована концепция обеспечения состоятельности

Г\

L А (Îl

А. Н. Бирюков

преподаватель Стерлитамакского филиала Башкирского государственного университета (г. Уфа), кандидат экономических наук 453101, Республика Башкортостан, г Стерлитамак, ул. Островского, д. 2; e-mail: guzsa@ufamts.ru

A. N. Birukov

453101, Russian Federation, Republic of Bashkortostan, Sterlitamak, ul. Ostrovskogo, 2 e-mail: guzsa@ufamts.ru

<

O.

0 ©

1

< s

I

ж

Ш ICK <

I -Û

ш

о s

J-!û m

алгоритмов регуляризации НСМ с сильным зашумле-нием данных и описана идея применения байесовского подхода к управлению оценкой погрешности аппроксимации в НСМ [3; 4].

В данной статье описывается концепция регуляризации НСМ и используемый для ее реализации метод вложенных математических моделей (ВММ), детализированный в замкнутой форме и апробированный на реальных данных налоговых деклараций торговых предприятий.

Прежде всего, нами была поставлена цель обучения НСМ обратной задаче восстановления многомерной нелинейной параметризованной функции и проблем ее регуляризации. Согласно предлагаемому подходу к построению устойчивых НСМ налогового контроля, требуется восстановить некоторую многоме рную, а в общем случае — нелинейную функцию У (X), где , х2,...,х],..., хп (входных) переменных, У — эндогенная (объясняющая) переменная, для простоты считающаяся скалярной.

Функция У несет в себе информацию, прямую или косвенную, о величине налогооблагаемой базы. Причем, если НСМ строится на кластере примерно однородных по выбранной числовой мере объектов налогообложения, то относительные отклонения (этаеонных) расчетных У (X) и декларированных У(X) значений функции У (см. формулу 15) содержат важную информацию для камеральных налоговых проверок. В качестве У могут использоваться такие показатели, как выручка, налог на добавленную стоимость и линейные свертки (агрегаты) из экономических показателей, включаемых в декларации.

о ©

НСМ может быть записана в виде:

Y(X)= F(X, W), X е X(п) с R"

где W — матрица параметров (синаптических весов связи между нейронами) НСМ, элементы которой представляют собой конкретные вещественные числа, а Rn — я-мерное пространство вещественных чис ел.

Оператор НСМ, отображающий пространство X на пространство У при эталонно заданных параметрах W, является композицией двух операторов — проецирования входных сигналов нейронов и нелинейной аппроксимации результатов проецирования:

F = F о F,

Fi(X) - Sp = £

wx — 0

pj ip p ,

1=1

F2 (Sp )- Yp = f (Sp ) ,

где wpj — элемент матрицы W, т. е. синаптический вес р-го нейрона по j-му входу; Sp — функция состояния р-го нейрона; &p — порог его возбуждения; f(Sp) — активационная (передаточная) функция.

Нелинейная функция f(Sp) в промежуточных слоях НСМ выбиралась нами из класса непрерывно дифференцируемых (согласно байесовскому подходу из ранее опубликованных статей [4]). Как известно, в режиме обучения сети матрица синаптических весов W модифицируется (адаптируется) к подаваемым на вход обучающим примерам-кортежам (y., Х^, i = 1, N, где N — объем обучающей выборки (здесь и далее конкретные числовые реализации случайных величин X, Y обозначаются малыми латинскими буквами). Нами использовался известный алгоритм обратного распространения ошибки Back Propagation (BP) для обучения сети, в котором веса wp, исправляются итерационно с помощью градиентного метода, в котором минимизируется квадратичный функционал Е:

W* : ¡wp, — n

dE .

dWpj'

E(W) = 2£(YpN — dp,)2 ^ pj

^ minE(W), k = 0,1, 2, ...}.

W J

где — длина шага обучения на й-той итерации; Ур^ — расчетное значение р-го нейрона в выходном М-ом слое при подаче на его входы ¿-го обучающего примера; — идеальное (экспериментальное) значение выхода в ¿-том примере. С. Хайкин отмечает, что при уменьшении длины шага обучения, например, пропорционально 1/й, итерационная процедура (5) приводит к нахождению локального минимума ошибки аппроксимации Еи соответственно нахождению оптимальных весов W* [5].

В итоге, в режиме обучения используется композиция трех операторов: и по (5).

Для того чтобы более наглядно изложить предлагаемый подход к регуляризации НСМ, перейдем к ее описанию в терминах функционального анализа [6; 7]. НСМ можно представить в виде операторного уравнения:

Az = u,

где и — наблюдаемые на выходе сети хар актеристики изучаемого объекта (процесса); Z = Z(X, Ж) — восстанавливаемые НСМ параметризованные многомерные нелинейные функции; А(-) — оператор связи «вход-выход» сети, который можно представить в виде:

{Е = ° в режиме расчета с заданной

матрицей W,

Е = Е ° ° Е3 в режиме обучения сети;

Z = Z(X, W)е Z, u е U.

Как видно из (1-6) оператор А(-) является нелинейным вследствие нелинейности активационных функций /(•) в (3).

Пусть пространство Z является подмножеством в пространстве непрерывных дифференцируемых по своим аргументам функций:

Z с C 1(Q); О = {а, < x, <

w

< В},

] = 1, п ; р = 1, т ,

где а,, Ъ!, В — заданные положительные числа.

Алгоритм НСМ (1-8) и смысл ее функционирования, по С. Хайкину, допускают введение в модель априорной информации вида (9) [5]. Тогда, согласно представлению (6-9) НСМ реализует две подзадачи:

а) прямую подзадачу аппроксимации элементов по известным после обучения сети характериссикам процесса 2 е Z с помощью оператора А(х, Ж) в (1)-(4); задача поставлена корректно;

б) обратную задачу аппроксимации для режима обучения сети, в которой заданы кортежи , у^ , зафиксированы архитектура сети, активационные функции f(s) в промежуточных слоях и в выходном слое, и правило обучения сети, например алгоритм обратного распространения (BP), а искомыми элем ентами является параметризованная функция Z(х{, w) по алгоритму (1)-(6).

В общем случае, постановка этой задачи является некорректной, поскольку по известному следствию — совокупности элементов {Ц"г}, I = 1, N — требуется найти причину, т. е. восстановить элементы Z(X, Ж). Как известно [6; 7], такие задачи относятся к классу некорректно поставленных, по Адамару, и в условиях зашумления данных, отягченного их дефицитом, требуют специальных процедур регуляризации [2].

В решении обратной задачи (6) участвует разнородная информация об изучаемом явлении: его НСМ А(-), некоторые общие свойства искомого решения 2 е М, оценка погрешности данных 5. Если эта информация не согласована, т. е. р^ (Аг, й) и А(-) задаются независимо, то может возникнуть ситуация несостоятельности задачи регуляризации:

Ро = ^рии

Связанная с этой ситуацией потеря устойчивости НСМ подробно анализировалась в наших статьях [3; 4]. Следовательно, для практической регуляризации, по указанию А. Н.Тихонова, необходимо разработать три алгоритма:

1)алгоритм I обеспечения состоятельности задачи регуляризации, исключающий ситуацию (10);

2) алгоритм II построения подходящей числовой меры оценки погрешности 5 для данных и инструмент управления этой погрешностью;

3) алгоритм III построения числовой меры оценки качества НСМ и инструмента управления этим качеством [6].

Алгоритм I необходим для обеспечения состоятельности задачи регуляризации. Постулируется, что в некоторых пределах интенсивности шума и объема сильно зашумленных вектор-столбцов данных

Хц, У¿, I = 1» N , ] = 1, п ,

где Хф уЬ — соответствующие значения компоненты вектора входов НС X и выхода НС У в ¿-том наблюдении, независимо от закона распределения шума, существует непрерывная зависимость меры р0 по (10), характеризующей качество аппроксимации в НСМ, от меры оценки погрешности данных 5:

Ро = Ф(8)-

Нами предлагается следующая концепция разработки методов и алгоритмов обеспечения состоятельности задач регуляризации: уменьшение числовых мер ошибок эксперимента 8 и ошибок аппроксимации р0 должно производиться взаимосвязанно с использованием (11), причем числовая мера 8 должна быть связана с процедурой управления «сглаживанием» и структурированием данных в аспекте улучшения качества будущего обучения НС, а числовая мера р0 — с управлением качеством аппроксимации восстанавливаемой функции Y (X) и, соответственно, с прогностическими свойствами сети.

Управление качеством данных по мере 8 предлагается осуществлять на основе вспомогательных нейросетевых субмоделей (НССМ), в которых реализуются следующие итерационные процедуры структурирования данных:

• оптимальная кластеризация;

• оптимальная очистка данных в образованных кластерах;

• «ремонт» сильно зашумленных вектор-столбцов данных с помощью НССМ.

Указанные процедуры, разработанные И. И. Пран-гишвили [8] с использованием общесистемных законов энтропийного равновесия, подавления дисфункций структурируемой системы и фоновой закономерности, достаточно подробно были описаны Р. В. Гатауллиным [9].

Алгоритм II построения числовой меры оценки погрешности данных на основе байесовского подхода. Кратко изложение формализма байесовского подхода к сравнению моделей содержится в нашей статье [4]. В общем виде алгоритм II, предлагаемый в настоящей работе, можно сформулировать следующим образом: в качестве числовой меры 8 погрешности данных выбирается обобщенный (векторный) мультипликативный критерий Ф, оцениваемый согласно алгоритму I в НССМ путем осреднения в ансамбле НС и определенный на тестовом множестве данных:

Ф(У (X,W))= E  S  R , (X, Y)еП*

где Е = ||г/ - у||/|у|| — ошибка обобщения НСМ, которая имеет смысл относительной нормы ошибок аппроксимации на тестовом множестве наблюдений, не используемых при обучении НСМ в евклидовой метрике Еп; Б = |г/а- \ха - х^ЕП — мера сжимающих свойств НСМ (аналог константы Липшица связи «вход-выход» НС); Е = 1 - (гу)2 — мера отклонения коэффициента детерминации от его идеального значения, равного 1 [2]. Ошибка обобщения

Е характеризует прогностические свойства НС: чем меньше Е, тем ближе расчетные значения у к экспериментальным у на новых наблюдениях. Частный критерий 5 характеризует устойчивость НСМ к вариациям независимых переменных х: чем ^меньше 5, тем меньше «разбегание» траектории У(X) на новых наблюдениях после обучения НС. Заметим, что при малых 5, т. е. при сильных сжимающих свойствах НС-отображения (6), в режиме обучения НС, т. е. в обратной задаче поиска параметров , НСМ оператор А(-) ведет себя как вполне непрерывный (компактный) оператор [6], что является индикатором некорректности обратной задачи. Критерий Б характеризует качество аппроксимации «зашитой» в данных истинной зависимости У(Х), т .е. гиперпов ерхности с помощью нейросетевого отображения У (X).

Таким образом, обобщенный критерий качества НСМ Ф оценивает не только точность и прогностические свойства НСМ, но и ее устойчивость к вариации данных.

Осреднение в ансамбле гипотез (йд) о порождении данных [4] проводится как вычисление среднего арифметического

А

У.ф„

ф =

q=1

Q

Ya Y

iel,N X„ - X,

P

Pll

i*: Д; =

Y - Y

100% > e , i = 1, N ,

N * = X i

Pq =

N* N

P =

Q

X Pq

q=1_

Q

где Q — число вспомогательных НССМ в байесовском ансамбле.

Алгоритм вычисления критерия 5 заключается в следующем: номера вектор-строк а и в приравниваются в панельных данных, образуемых налоговыми декларациями, к соседним номерам вектор-строк, т. е. близко расположенным точкам по времени (а = I, в = Ь + 1, I = 1, N). Для соседних точек ¿и Ь + 1 вычисляется |Уа - Ур|. Критерий 5 равен:

И наконец, последний алгоритм III построения числовой меры оценки качества НСМ р0 и инструмента управления этим качеством. Здесь конструирование меры р0 осуществлено на основе байесовского подхода [2; 4], т. е. использованы усредненные оценки на ансамбле априорных гипотез о порождении данных {hq}, как и в процедурах предобработки данных. В качестве р0 взято среднее значение вероятности P получения в НСМ «плохих» точек, в которых относительная ошибка расчета А; превышает экспертно заданный уровень е:

В качестве инструментов управления числовой мерой Р по (15)—(16) выбраны:

• байесовская регуляризация на ансамбле сетей, различающихся архитектурой, видом активацион-ных функций, числом нейронов в скрытых слоях (см. ниже);

г =1

Исходные данные панельного типа для построения НСМ

Таблица 1

Сквозной номер наблюдения i Код предприятия РГ Номер квартала (временного интервала) ti X1 X2 X3 X4 X5 X6 Y

1 1.1 5715,7 58 459 49 47 179,6 5676,8 3762,1 3762,1 62 106,6

2 1.1 5645,7 13 226 49 34 079,2 12018 7432,9 7432,9 182 534

349 3.13 216,93 7257,7 42 3123,2 699,23 1108,6 1108,6 8644,98

о ö

к <

• оптимизация параметров обучения сети (шага градиентного спуска, коэффициента «тяжелого веса»,

начальных весов W(0)).

Рассмотрим пример построения НСМ для налогового контроля с регуляризацией на основе алгоритма I, алгоритма II и алгоритма III. В данном случае для расчетов использовались реальные данные из налоговых деклараций торговых предприятий, закодированных числами [1]. В качестве моделируемой «обобщенной производственной функции» кластера примерно однородных налогоплательщиков была выбрана функция выручки Y(X). Для образованного по алгориJ му I кластера Z1 наблюдений компоненты вектора X независимых переменных имели следующий экономический смысл: X1 — сумма основных средств; X2 — себестоимость товаров, продукции, услуг предприятия; X3 — среднесписочная численность работающих, чел.; X4 — сумма оборотных активов; X5 — среднегодовая стоимость облагаемого налогом имущества предприятия; X6 — коммерческие расходы. Исходные данные приведены в табл. 1 (все значения Y и X,, j = 1, 6 , кроме X3, приведены в тыс. руб.). Код предприятия обозначен двузначным числом: первая цифра соответствует номеру образованного кластера данных, а вторая — номеру предприятия.

В соответствии с байесовским подходом к регуляризации обучения и обеспечения состоятельности алгоритма регуляризации из работ С. А. Шумского [2] и А. Н. Бирюкова [4] была выбрана мета-гипотеза Н иаприорные гипотезы {hq} о порождении данных, т. е. о виде аJ проксимации восстанавливаемой зависимости Y (X): Н — многослойный персептрон (H = {hq},

q = 1, Q); h1 — структура MLP с одним скрытым слоем и сигмоидной активационной функцией вида:

f (s) =

1

1 + exp

a > 0;

h2 — структура MLP с двумя скрытыми слоями и активационной функцией (17) в них; h3 — структура с двумя скрытыми слоями и активационной функцией (17) в первом слое и гауссовой во втором слое

f (s) = exp

—s

, b > 0;

h4 — структура MLP с одним скрытым слоем и функцией (18) в нем; h5 — структура MLP с двумя скрытыми слоями и активационной функцией в них; h6 — структура MLP с двумя скрытыми слоями и ак-тивационной функцией (17) в первом слое и (18) во втором слое.

Нами, в качестве управления оценкой погрешности данных 5 в алгоритме предобработки данных, бы-

ли выбраны оптимальные итерационные процедуры кластеризации, очистки образованных кластеров от аномальных точек и «ремонта» наиболее сильно за-шумленного вектор-столбца {х;2} согласно алгоритму I [3; 4]. В качестве оценки погрешности данных использован мультипликативный критерий (12) с его осреднением на ансамбле гипотез {йд} по (13). Данные вычислительных экспериментов, представленные в табл. 1 и на рис. 1, заимствованы из статьи А. Н. Бирюкова [3]. Используемые обозначения: й — номер итерации в процедуре очистки кластера от аномальных точек [9]; п1, п2 — количество нейронов в скрытых слоях; А — относительная погрешность по (15); А — число «плохих» точек, которые на каждой й-той итерации находятся по условию (15) (соответствующие е(к) приведены в последней строке табл. 2);

— число примеров на й-той итерации, оставшихся после предыдущей итерации.

Анализ расчетов показывает, что выбранные инструменты регуляризации по методу ВММ весьма эффективны: мера оценки погрешности данных Ф меняется от 0,000028 до 0,021, т. е. в 750 раз! Причем минимум Ф достигается уже на третьей итерации. Четко проявляется дефицит наблюдений: на четвертой итерации, где Ы(4) = 145, т. е. уменьшилось на 23,28% по уравнению с нулевой итерацией, критерии Е, Б, Б и Ф заметно ухудшаются. Характерно, что на второй итерации изменяется характер сжатия нейросете-вого отображения (Б начинает расти, и после й > 4 возможно появление неустойчивости сети — ошибка входа будет «растягиваться» к выходу).

Сводная характеристика каждой итерации очистки первого кластера может быть представлена в виде табл. 2.

Проанализируем, как ведет себя регуляризация согласно байесовскому подходу процедуры обучения и аппроксимации сети. В качестве инструмента управления оценкой погрешности аппроксимации использовалось два инструментария:

• параметрическая оптимизация параметров обучения;

• осреднение на байесовском ансамбле гипотез {Нд} по критерию вероятности получения «плохих» точек расчета (15)-(16).

В расчетах использовалась программа <^еигоБо-Мюпв — 4.0» (демоверсия).

Построенные рабочие модели были проверены на адекватность по критерию Р. Экспертно задаваемый уровень ошибки е примем равным 100%. Критическое значение доверительной вероятности Р° г зададим равным 0,75. Значения доверительной вероятности, т. е. отношения числа «плохих» точек к общему числу наблюдений для НСМ типа q, приведены в табл. 2. Среднее значение Р на ансамбле равно 0,8677, что вполне приемлемо для сильно зашумленных данных.

Сводная характеристика каждой интеграции очистки первого кластера

0,25 0,20 0,15 0,10 0,05 0

Й 0 1 2 3 4

Е 0,5895 0,5735 0,1317 0,0905 0,3181

Б 0,5126 1,2113 0,1324 0,3704 0,0889

г 0,9279 0,6177 0,9695 0,9974 0,9352

И 0,1390 0,6185 0,0601 0,0053 0,1254

Ф 0,0420 0,4297 0,0010 0,0002 0,0035

П1 3 2 4 3 2

п2 4 5 3 3 4

А 47 12 5 2 17

N 201 154 142 137 135

е 100% 100% 100% 100% 100%

Е,В, Ф

' ----

Е

В

3

12 10 8 6 4 2 0

Таблица 2 <

о ©

к <

о

Рис. 1. Зависимость частных критериев ошибки обобщения Е, устойчивости детерминированности И

и обобщенного критерия Ф от номера итерации Й

Таблица 3

Результаты выполнения процедуры ОПП

Тип НСМ НСМ1 НСМ2 НСМ3 НСМ4 НСМ5 НСМ6

Ра 0,8571 0,8889 0,8836 0,7989 0,8889 0,8889

Таким образом, из данных, представленных в табл. 3, следует, что все шесть типов НСМ прошли байесовскую процедуру перекрестного подтверждения и на их основе можно синтезировать оптимальный план выездных налоговых проверок1.

Литература

1. Букаев Г. И., БубликН. Д., Горбатков С. А., Сатаров Р. Ф. Модернизация системы налогового контроля на основе нейросетевых информационных технологий. М.: Наука, 2001.

2. Шумский С. А. Байесова регуляризация обучения: Лекции для школы-семинара «Современные проблемы информатики» (23-25 января 2002 г., Москва). М.: МИФИ, 2002.

3. Бирюков А. Н. Концепция и метод вложенных математических моделей для регуляризации задач нейросетево-го моделирования экономических объектов с сильным

1 Этот вопрос послужит предметом отдельной публикации.

зашумлением данных // Экономика и управление. 2009. № 10.

4. Бирюков А. Н. Обобщение метода вложенных математических моделей на основе байесовского подхода к регуляризации задач нейросетевого моделирования налогового и финансового контроля // Экономика и управление. 2010. № 1.

5. Хайкин С. Нейронные сети: полный курс / Пер. с англ. 2-е изд. М.: Издательский дом «Вильямс», 2006.

6. Тихонов А. Н., Кальнер В. Д., Гласко В. Б. Математическое моделирование технологических процессов и метод обратных задач в машиностроении. М.: Машиностроение, 1990.

7. Тихонов А. Н., Арсенин В. Я. Методы решения некорректных задач. М.: Наука. Физмалит, 1979.

8. Прангишвили И. И. Системный анализ и общесистемные закономерности. М.: СИНТЕГ, 2000.

9. Гатауллин Р. В., Горбатков С. А., Бирюков А. Н., Глущенко О. И. Моделирование бюджетных процессов на муниципальном уровне на основе нейросетей. Уфа: Восточный ун-т, 2008.