“Correct entropy”in the analysis of complex systems: what is the consequence of rejecting the postulate of equal a priori probabilities?

Entropy can clearly reflect the probability of the macrostate of a system only in case of validity of the basic postulate of statistical mechanics—the postulate of equal a priori probabilities of microstates. We have proved that for most non-physical macrosystems it loses its power, and the role of entropy has to be performedby a more general property, which has been found out in this study and called entropic divergence. In accordance with the principle of continuity, it includes the Boltzmann entropy.  The properties of entropic divergence were considered through proving a number of theorems. This property has generally been found to have a minimal effect on the equilibrium state of the system.  The conditional minimum of entropic divergence was disclosed as an example of formalism through which we have derived exponential and marginal hyperbolic distributions that take into account unequal a priori probabilities. The multiplicative form of the combined distribution allows consideration of the process of interaction between two or more macrosystems as the realization of a complex macroexperience. We have disclosed the possibility of using the research findings for analysing adaptive statistical interaction of aggregate macrosystems. The termsused in the studyfacilitate the development of quantitative methods of such analysis. We have given an example of the possibility of using this approach to compute the exponent in the power-law (hyperbolic) distributions.

section_content: Энтропия в статистической физике -функция, пропорциональная логарифму статистического веса макросостояния системы. Условный максимум энтропии соответствует макросостоянию c наибольшим разнообразием вариантов его воплощения -наибольшим числом отличимых микросостояний, воссоздающих это макросостояние. Именно в такой конфигурации система проявляет себя с максимальной частотой. Эта идея лежит в основе вариационного энтропийного принципа. 

Однако, родившись в недрах статистической физики, этот принцип вскоре перекочевал и в области, от нее весьма далекие. Правомерно ли?
section_name: Введение

section_content: Физики-теоретики с большим недоверием относятся к идее использования принципа максимума энтропии для анализа нефизических систем, хотя многие примеры его удачного использования в экономических, гуманитарных, технических и других областях уже трудно игнорировать. У «нефизиков» он стал особенно популярным с появлением формализма Джейнса [1], позволяющего вычислять условный максимум энтропии как интегральный критерий наиболее вероятной конфигурации макросистемы. 

Скепсис ученых, воспитанных на идеях Больцмана и Гиббса, понять не сложно. В статистической механике рассматриваются системы, априорно однородные по вероятности. Здесь отдельно взятый элемент имеет равную исходную вероятность заселения любой ячейки фазового пространства, что в итоге обуславливает (Теорема 1, доказанная в разделе 8) равновероятность всех микросостояний системы. Такое ограничение, как условие априорной равной вероятности микросостояний, является основным постулатом статистической физики [2] [3] [4] [5]. 

Но подобная роскошь не свойственна большинству из упомянутых выше «нефизических» макросистем. Здесь использование гипотезы априорной равной вероятности часто бывает просто неправомерным. Причины несимметричности условий размещения элементов в ячейках могут быть разными. Чаще всего это связано с наличием еще одного или нескольких существующих параллельно распределений, оказывающих влияние на рассматриваемый процесс. 

Феномен несимметричности априорных условий, а значит, и неравенства априорных вероятностей, большинством авторов, как правило, просто не рассматривается. При исследовании сложных статистических систем (например, в экономике, при выводе закона распределения доходов в обществе [6, 7] ) применяются в основном традиционные энтропийные схемы, без изменений заимствованные из статистической механики. В равной степени подобное замечание можно отнести и к другим имеющимся попыткам энтропийного Математика и кибернетика -прикладные аспекты моделирования систем: транспортных [8], экологических [9], социальных [10]. 

Стремление к обоснованному использованию энтропийного принципа для систем подобного рода требует обобщения традиционной формы статистической энтропии. Такая «исправленная» функция должна учитывать не только равномерный (как энтропия Больцмана), но и -произвольный характер распределения априорной вероятности.
section_name: Анализ литературных данных и постановка проблемы

section_content: Цель данной работы: -найти и обосновать более общую в сравнении со статистической энтропией функцию для анализа расширенного круга макросистем (не ограниченного требованием гипотезы априорной равной вероятности);

-наметить новые возможности в решении актуальных задач теории сложных систем, появляющиеся при использовании такой обобщенной энтропийной функции. 

Для достижения этих целей необходимо было решить следующие задачи:

-получить выражения для расчета вероятности макросостояния системы с учетом такого объекта, как функция априорных вероятностей индивидуального состояния элементов системы;

-определить вид так называемой энтропийной дивергенции -функции, обобщающей статистическую энтропию для более широкого круга систем, не ограниченного основным допущением статистической механики (постулатом априорной равной вероятности микросостояний); -привести доказательства ряда утверждений о свойствах энтропийной дивергенции;

-на основе нового формализма для общего случая не равных априорных вероятностей получить измененный вид экспоненциального и предельно гиперболического законов распределения;

-показать возможности практического использования полученных результатов для развития теории сложных систем.
section_name: Цель и задачи исследования

section_content: Термины «сложная система», «макросистема» не относятся к разряду устоявшихся. В данной статье будем рассматривать их как равноценные, близкие с еще одним названием -«статистическая система». В физической энциклопедии [11] она определена как совокупность большого числа частиц (атомов, молекул и т. д. ), изучаемых методами статистической физики. 

Однако для интересующих нас «нефизических макросистем» заимствование таких терминов, как молекула, энергия, изображающая точка, фазовое пространство выглядит не очень естественным. Целесообразно использовать иные понятия, которые могли бы отвечать более широкому кругу задач. Автор осознает, что нужно избегать введения новых терминов, но для рассматриваемых систем существует слишком разный спектр названий. Как правило, эти названия резервируются в пределах одной области (экономики, биологии, социологии и пр. ). Естественно, это мешает формализации подходов к анализу сложных систем в целом. 

Желая отойти от «молекул» и «энергии», можно заметить следующее. Почти все рассматриваемые макросистемы представляют собой объекты, у которых на ограниченном множестве «носителей» распределено ограниченное множество «ресурсов» [12, 13]. Так, среди молекул газа распределена энергия, а среди галактик -их масса. Среди городов распределяются жители, среди людей -материальные блага, среди претендентов на выборах -голоса избирателей и т. д. Поэтому термины «носители» и «ресурсы» удобно использовать для анализа некоторой абстрактной макросистемы, которая могла бы относиться к самому широкому кругу задач. 

Не сразу это видно, но часто оба термина можно рассматривать как «взаимозаменяемые» (люди ищут деньги, но и капитал «ищет» людей). Все зависит от соотношения минимальных порций разумного дробления упомянутых множеств. Например, в социальной географии «носителями» являются города, а их население -«ресурсами». В то же время жителей этих городов можно считать «носителями» таких «ресурсов», как квадратные метры жилья. 

Пусть макросистема состоит из N «носителей», среди которых неравномерно распределено количество E «ресурсов». Отдельно взятый носитель обладает индивидуальной порцией ресурса ε. Эта величина характеризует индивидуальное состояние носителя (аналог «изображающей точки» в статистической механике). Множество всех возможных его состояний образует пространство индивидуальных состояний (аналог «фазового пространства»). Если оно дискретно, то индивидуальное состояние представляет собой ячейку данного пространства. В общем случае, указанное пространство может быть многомерным (одновременно имеется несколько ресурсов), тогда индивидуальное состояние является векторной величиной, которая определяется координатами индивидуального состояния,,. . . ε χ ξ (аналог -«фазовые координаты»). Далее, без ущерба для общности, будем рассматривать одномерное и дискретное пространство индивидуальных состояний. Для этого разобьем диапазон изменения координаты ε на M равных (это удобное, но не обязательное требование) интервалов малого размера ∆ε каждый, с равными в пределах интервала (рис. 1) значениями 1 2 M,,. . . 

∆ε -выбранный фиксированный размер ячейки; M εмаксимальное значение координаты в пространстве индивидуальных состояний (к слову сказать, как и сам характер распределения, величина M ε также является результатом эволюции макросистемы, и способ ее определения должен также носить вариационный характер [13] ).
section_name: Терминология

section_content: Микросостояние системы -возможная комбинация индивидуальных состояний полного множества элементов системы. 

Макросостояние системы -множество отличимых микросостояний, воссоздающих одни и те же контролируемые макроскопические характеристики системы.
section_name: Рис. 1. Распределение «носителей» и «ресурсов» в одномерном дискретном пространстве индивидуальных состояний

section_content: Вероятностная трактовка энтропии у некоторых авторов не всегда сопровождается корректным введением вероятностной меры. Определяя Если рассмотреть такой сложный опыт, как совместное размещение двух элементов, то множество вероятностей для каждой двойной комбинацииесть прямое (декартово) произведение

значений вероятности возможных комбинаций, то есть -все восемь значений вероятности микросостояний:
section_name: Вероятности микросостояния и макросостояния системы

section_content: Группы равновероятных микросостояний, составленные из троек с повторяющимся сочетанием индексов, воссоздают одно и то же макросостояние (тут их четыре). Количество микросостояний, входящих в эти группы, есть статистический вес макросостояния:

Вероятность макросостояния соответственно равна сумме вероятностей микросостояний в группе:

Легко проверить, что все они нормируются на единицу:

В данном примере множество статистических весов { } ). Следуя той же логике, можно убедиться, что число комбинаций реализации такого варианта распределения, то есть статистический вес соответствующего макросостояния, равен значению полиномиального (точнее, «M-номиального») коэффициента N-й степени:

Вероятность этого макросостояния соответственно равна:

На основе данных выводов, сформулируем два очевидных определения:

Вероятность микросостояния системы ( )
section_name:      

section_content: Вероятность макросостояния системы (выражения (4), или ( 5 )) -есть сумма вероятностей множества всех различимых микросостояний, способных воссоздать данное макросостояние.
section_name: Заметим, что это определение справедливо для сложного опыта по размещению элементов лишь в случае независимых исходов, о чем было сказано в разделе 5.

section_content: Говоря о мгновенном состоянии статистической системы с большим числом взаимодействующих элементов, можно оперировать только вероятностными понятиями. Здесь наряду с индивидуальными априорными вероятностями i p и вероятностями микросостояний i M n i i 1 p = ∏, выделяется интегральная характеристика си- стемы -вероятность ее макросостояния (4). Энтропия -функция, отражающая эту величину. Однако, как будет показано ниже, -отражающая не полностью.
section_name: Энтропия как функция вероятности макросостояния системы

section_content: Этот раздел немного выпадает из контекста статьи, но он помогает отойти от устоявшегося взгляда на статистическую энтропию Больцмана как функцию, применимую исключительно лишь к физическим системам. В физике ее формула имеет вид: Стоит заметить, что произведение kT выражает совершенно определенное количество энергии. Этоделенная на число молекул разность тепла при изобарическом и изохорическом процессах нагревания идеального газа (полезная работа). Но, не смотря на такую «узкую специализацию» величины kT, многие физические процессы самого разного характера принято связывать именно с этой парой. Почти всегда с помощью kT нормируют порции энергии в различных статистических распределениях, вместо использования для этого реального среднего значения E N. Таким образом, универсальность k носит скорее конвенциальный, а не физический характер.
section_name: 1. О размерности энтропии

section_content: Хотя энтропию Больцмана считают функцией вероятности макросостояния системы, но записывается она (6) через статистический вес W, который часто называют термодинамической вероятностью. Однако, W не нормируется и в классическом пони-мании вероятностью не является. Нормированной величиной является вероятность макросостояния Q. Чтобы убедиться в этом, достаточно просуммировать выражения (4) и (5) по общему количеству макросостояний:

По большому счету, искомая функция вероятности макросостояния системы и должна зависеть от вероятности макросостояния Q, а не от статистического веса W. Хотя, это замечание не является принципиальным для энтропии Больцмана, полученной при условии равной априорной вероятности микросостояний (т. к. постоянный множитель N 1 M в формуле (8) может быть вынесен перед знаком суммы). Но, как видно из выражения (7), в более общем случае неравной априорной вероятности заменять вероятность макросостояния Q на статистический вес W уже нельзя принципиально.
section_name: 2. Статистический вес или вероятность макросостояния?

section_content: Вынесенное в заголовок статьи не очень серьезное название «правильная энтропия», на самом деле является серьезным намерением убедить читателя поменять его точку зрения на энтропию как на «всепогодную» характеристику макросостояния системы. Соответственно, и скорректировать представление об энтропийном вариационном принципе как универсальном критерии ее равновесной конфигурации. Пересмотр отвечает принципу преемственности, без отрицания существующих результатов. К такой ревизии с необходимостью ведет всего один обобщающий шаг. Это отказ от повсеместно господствующего постулата равной априорной вероятности, перекочевавшего в теорию систем из недр статистической механики. 

Отказ от постулата ведет к тому, что вместо выражения (5)

А, учитывая (3), видна его связь с энтропией Больцмана S ln W = :

Введя обозначение: Тогда:

). Выделяя скобкой положительную величину, имеем:

Это выражение и представляет собой энтропийную дивергенцию как статистическое расстояние между

Или, с учетом (12), можно записать:

Здесь индекс энтропийной дивергенции для равных априорных вероятностей изменен: nd -означает «no different». 

Из этого частного случая видно, что энтропийная дивергенция (14), представляет собой разность между максимально возможным значением энтропии lnM -и ее текущим значением S N. Следовательно, стремление энтропии к максимуму -соответствует стремлению энтропийной дивергенции к минимуму. 

Стало очевидным, что в общем случае, когда постулат равенства априорных вероятностей утрачивает силу, статистический анализ систем не может быть ориентирован лишь на энтропийный критерий. Необходим более общий критерий, который, включая, в том числе, энтропию, может учитывать еще и несимметричные априорные условия размещении элементов внутри системы. Этим критерием является энтропийная дивергенция. Ее введение соответствует принципу преемственности, не отрицает ничего ранее достигнутого в науке.
section_name: Не энтропия, а энтропийная дивергенция

section_content: Утверждение 1 (теорема) Необходимым и достаточным условием выполнения основного постулата статистической механики о равной вероятности микросостояний системы является равенство априорных вероятностей размещения ее элементов в пространстве индивидуальных состояний. 

Доказательство. Необходимость условия доказывается от обратного. Пусть равная вероятность всех микросостояний ( )

Доказательство. Если распределение априорных вероятностей задается множеством { }
section_name: Некоторые формальные утверждения

section_content: Отсюда получим условия экстремума: i i n ln ln p 1 N = --α, или:

Положительное значение второй производной показывает, что это -условие минимума функции lnQ -, а значит, оно соответствует условию максимума вероятности макросостояния Q. Константу С определим из нормировки: ≥. Доказательство истинности утверждения с необходимостью следует из определения энтропийной дивергенции (11). Так как вероятность макросостояния

Ясно, что все утверждения в равной степени относятся и к частному случаю, когда i p const 1 M = =, т. е. когда имеет силу постулат равной априорной вероятности. В последнем случае, в обозначении энтропий-ной дивергенции d D необходимо изменить индекс так, как принято в конце предыдущего раздела: nd D.
section_name: Для этого потребуем

section_content: Популярный формализм Джейнса [1], часто применяемый для построения равновесных распределений, является на самом деле использованием классического метода множителей Лагранжа для поиска условного максимума энтропии. В качестве условий могут выступать различные ограничения, задаваемые с помощью уравнений связи. 

Новый формализм содержит процедуру вычисления уже иного критерия -условного минимума энтропийной дивергенции. Ниже даны примеры его использования для вывода двух законов распределения, скорректированных с учетом неравных априорных вероятностей.
section_name: Распределения, полученные на основе нового критерия

section_content: где согласно формуле ( 12 ):

Это требование приводит к равенству:

Обозначив константу 1 e C --α =, найдем его решение как известное экспоненциальное распределение, но учитывающее теперь еще и априорную вероятность i p :

Можно показать, что, это выражение приводится к виду:
section_name: 1. Экспоненциальный закон распределения

section_content: В разделе 4 было сказано, что сложная статистическая система, как правило, представляет собой конечное множество «носителей», где распределено ограниченное множество «ресурсов». Причем, их названия условны, и часто статус этих множеств можно менять местам. Кроме того, можно говорить об их различной «активности» [13]. Более активным является то множество, процесс релаксации которого проходит быстрее. Ранее, по умолчанию рассматривался именно такой случай, когда активность «носителей» выше. Для него найдено соответствующее равновесное распределение 1 2 M n,n,. . . n, которое описывается экспоненциальной зависимостью (23). 

Но есть и противоположные случаи, когда большей активностью обладает множество, условно названное «ресурсами». Это, на первый взгляд, парадоксальное утверждение легче воспринимается после некоторых примеров. В частности, если капитал рассматривать лишь как совокупность «ресурсов», он существенно активнее своих «носителей» -людей. Или еще ярче пример из социальной географии, где население как множество «ресурсов» -более активно, чем их «носители» -города. В этих примерах, как установлено эмпирически, наблюдается уже не экспоненциальное распределение, а -гиперболическое (степенное). В первом случае оно называется законом Парето, во втором -законом Ауэрбаха. 

На основе формализма Джейнса можно найти условный максимум энтропии распределения количе-

Это требование приводит к равенству:

Далее, определив константы C и α так, как это сделано в работе [12], получим окончательный вид предельно гиперболического закона распределения при условии, что априорные вероятности i p в общем случае не равны:

Априорная вероятность * * p p( ) = ε относится к ячейке с координатами j * ε = ε, где * ε -координата экстремума (мода), а * n -значение экстремума функции (24), названной в [12] предельно гиперболическим законом распределения. Будет справедливым упомянуть работу [15], знакомство с которой подтолкнуло автора начать исследования, приведшие к распределению (27). 

Подставляя это выражение, например, в ( 23 ) и (26) получим формулы для выходного сигнала системы «С» как реакцию на сигнал от системы «А». 

Соответственно из (23) получим комбинированное экспоненциальное распределение:

или из (26) -комбинированное предельно гиперболическое распределение:

Таким образом, введение априорной вероятности позволяет прослеживать адаптивное взаимодействие двух и более макросистем, рассматривая их как одну большую метасистему, способную включать обратные связи. 

Можно предположить, что свойства метасистемы могут изучаться подобно тому, как в теории автоматического управления, анализируются характеристики следящих систем, состоящих из взаимодействующих динамических звеньев. В результате такого взаимодействия макросистем, объединенных в единую метасистему, аналогичным образом могут появляться и колебательные эффекты, и резонансные явления, и явления неустойчивости. Возможно, такое взаимовлияние макросистем как раз и является причиной нарушения статистической устойчивости, о чем обстоятельно говорится в [16]. 

С другой стороны, определенное сочетание свойств у взаимодействующих макросистем может привести к неожиданному эффекту уменьшения энтропии. Действительно это можно проверить, если замкнуть, например, две системы «А» и «С» положительной обратной связью с положительными показателями степени А 0 η >, С 0 η > и вычислить комбинированное распределение, многократно используя (29) или (30). В макросистеме, которая с другой макросистемой замкнута положительной обратной связью, может поощряться ускоренный рост вероятности в одной из ячеек распределения (очевидно, модальной) вплоть до вероятности, равной единице. Но такая самоорганизация означала бы -возникновение устойчивой структуры. 

Если на этапе ранних представлений условие экстремума энтропии привело к заключению о тепловой смерти Вселенной, то обобщающее требование экстремума энтропийной дивергенции указывает на возможность появлении внутри взаимодействующих систем самопроизвольного порядка.
section_name: 2. Предельно гиперболический закон распределения

section_content: Автор фрактальной геометрии Бенуа Мандельброт [17] первый заметил, что в реальных системах господствуют именно степенные (гиперболические) законы распределения:

где почти всегда 0 η ≥.
section_name: 2. Как формируется показатель степени степенного распределения

section_content: Степенной вид имеют эмпирические законы Парето, Ципфа, Юла, Лотке, Бредфорда, Кудрина. Гиперболический (степенной) вид с «тяжелым хвостом» имеют распределения размеров усталостных микротрещин в твердых материалах [18] и распределение масштабов турбулентных вихрей в атмосфере [19]. Он проявляется в таких далеких друг от друга областях как продажи в Интернете (правило Криса Андерсона) [20], астрономия [21], музыка [22], экология [23]. В статье [24] рассмотрено более десятка различных подходов, объясняющих данный феномен. Большое разнообразие теорий свидетельствует лишь о том, что пока нет единой точки зрения относительно механизма формирования степенного (гиперболического) закона распределения в сложных системах. Но в статьях [12, 13] Теперь, располагая выводами, полученными в разделах 9. 1 и 9. 2, можем предположить, что отличный от единицы показатель степени формируется у многих эмпирических степенных распределений как комбинация двух и более взаимодействующих процессов. Например, в законе Ципфа первичным может быть распределение ключевых подлежащих, которые в основном несут всю смысловую нагрузку. Далее, как вторичное, формируется распределение из вспомогательных слов, появление которых зависит от первичного распределения. По схеме, описанной выше, их комбинация порождает показатель степени, равный 1+ η. 

Аналогичным образом может быть объяснен обратный квадрат в законе Лотки (распределение ученых по числу опубликованных ими работ). Так, если первичным (процесс «А») выступает распределение количества ученых по числу освоенных ими направлений исследований, а пропорционально ему формируется априорная вероятность вторичного (процесс «С») распределения количества публикуемых работ на эти темы, то из (30) как раз и может следовать закон обратного квадрата. 

В отношении закона Парето часто применяется высказывание «богатый становится еще богаче». Это зна-чит, что наличие средств деформирует априорные вероятности получения новых средств. Вышеприведенный алгоритм формализует действие этого правила.
section_name: Математика и кибернетика -прикладные аспекты

section_content: Использование термодинамических подходов, в частности, энтропийного принципа для анализа широкого круга нефизических макросистем ограничено рядом факторов. Прежде всего, наличием взаимовлияния двух и более макросистем, и невозможностью выделения рассматриваемой системы как изолированной. Влияние одной системы на распределение внутри другой проявляется через деформации априорных условий формирования этого распределения. Нарушение условий симметрии при заселении ячеек в итоге означает отказ от господствующего в термодинамике и статистической физике постулата равных априорных вероятностей микросостояний (Теорема 1). 

Когда постулат равных априорных вероятностей утрачивает силу, энтропия Больцмана S ln W = (и другие производные ее формы) уже не может исполнять роль функции, характеризующей вероятность макросостояния системы. С такой задачей может справиться лишь более общая функция, которая получена в настоящей работе, и была названа здесь энтропийной дивергенцией d D. В соответствии с принципом преемственности она включает в себя энтропию как составляющую (11). 

В отношении свойств энтропийной дивергенции приведено формальное доказательство ряда утверждений. Показано, что для определения равновесного состояния системы следует руководствоваться в общем случае уже не требованием условного максимума энтропии max S, а требованием условного минимума энтропийной дивергенции ( )
section_name: Выводы

section_content: . Этот вывод -есть расширенной формулировкой традиционного экстремального энтропийного принципа применительно к более широкому кругу систем, не ограниченных требованием априорной равной вероятности микросостояний. 

Измененный формализм, основанный на требовании условного минимума энтропийной дивергенции, позволяет легко вычислять равновесные распределения (например, (24), (27)), учитывающие априорные вероятности, как результат влияния другой системы. Такое взаимодействие может быть учтено в виде выражений (29), (30). Мультипликативная форма комбинированного распределения позволяет рассматривать процесс взаимодействие двух и более макросистем как реализацию сложного опыта. Объединение макросистем, связанных по такому типу адаптивным статистическим взаимодействием, можно анализировать с позиции единой метасистемы. Выражения, приведенные выше, позволяет развивать количественные приемы такого анализа. В качестве примера продемонстрирована возможность использования этого подхода для вычисления показателя степени в степенных (гиперболических) распределениях.
section_name: D