Эргодическая теорема для полумарковских процессов

ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ

Эргодическая теорема для полумарковских процессов Ахмед-заде Ф.А.

Ахмед-заде Фарах Агиль гызы /Ahmad-zada Farah Aqil - докторант, Институт систем управления имени академика Гусейнова Э. НАНА, г. Баку

Аннотация: целью данной работы является выяснение условий, при которых полумарковский процесс является эргодическим. В данной статье мы проводим аналитический обзор ряда эргодических теорем Марковских процессов и приводим теорему для полумарковских процессов.

Abstract: the purpose of the work is to define the conditions under which the semi-markov process is ergodic. In this paper we conduct the analytical review of a series of ergodic theorems of Markov processes andformulate the theorem for semi-markov processes.

Ключевые слова: эргодичность, стационарное распределение, финальная вероятность. Keywords: ergodicity, stationary distribution, final probability.

[1] Напомним определение и основные свойства марковских процессов. Случайный процесс является марковским, если он обладает следующим свойством. Для каждого момента времени t. вероятность любого состояния какой-либо

системы (или ее элемента) в будущем (при t > tt) зависит только от ее состояния в настоящем (при ' '' ) и не зависит от того, когда и каким образом система пришла в это состояние (т.е. как развивался процесс в прошлом). Если - случайный процесс, то для марковского процесса справедливо следующее соотношение:

р <х„ /X(tl) = Xl,x(h) = X2,....,X(U = хпА } = P$(tn)<xnIX(tn_1) = xn_1 . Вообще, для марковских процессов представляет интерес вероятность из [3,101]

Это вероятность того, что в момент времени п система находится в состоянии j независимо от того, в каком состоянии находилась в предыдущий момент времени. Желательно, чтобы при п —> со система асимптотически приближалась к стационарному состоянию, т.е. в этом случае слева существует предельный вектор, а справа -предельная переходная матрица, в которой вероятности не зависят от состояния i. Выражение (*) называется свойством эргодичности. Оно является важным при длительном протекании процесса, когда вероятности перестают зависеть от времени.

C целью выяснения условий, при которых цепь является эргодической, приведем ряд эргодических теорем. Теорема 1.[2, 277] (о существовании финальных вероятностей).

Для возвратной неприводимой непериодической цепи Маркова с матрицей переходных вероятностей ТС — ( р}- ) , существуют пределы, ljm п р..(п) = — • где = | (п) • ¿, 7 - 1,..., / . (ri) есть вероятность первого возвращения

в состояние Е . через п шагов, [ij - среднее число шагов до первого возвращения в это состояние.

Обратимся теперь к теореме, содержащей способ нахождения финальных вероятностей. Теорема 2.[2,279] (о существовании финальных вероятностей).

Для непериодической возвратной положительной цепи Маркова с состояниями E0, E, E2,... финальные вероятности qj = lim п >у ptJ (п) однозначно определяются условиями:

ZCC ^ 100

о 4j =1 ъ = о qkPk j = o,i,...

(Набор чисел, удовлетворяющих этим условиям, называется стационарным распределением). Теорема 3.[3,36]

Для того, чтобы однородная неразложимая сжимающая цепь Маркова имела стационарное распределение, достаточно существования s е Т, конечного множества Е0 €Е Е, действительного числа s > 0 и набора

неотрицательных чисел X0, X,..., таких, что :

у

j> о

У Psx < +оо, i е E„.

ij j ' о

j

fi 0

Полумарковские процессы.

Следуя [5, 48], дадим определение полумарковских процессов.

Известно, что однородная регулярная цепь Маркова с дискретным множеством состояний Е = 6^1,2,... задается производящей матрицей (1 = е Е , в которой ц = -ц = - V , к ц

Эволюция цепи Маркова происходит следующим образом: в 7 - м состоянии система находится случайное время в., распределенное по показательному закону с параметром , а затем переходит в ] -ое состояние с вероятностью рц — £/;/ / £/;. /,_/ е £ . В 1954-1955 гг. независимо и почти одновременно Леви, Смит, Такач предложили рассматривать стохастические системы, эволюционирующие аналогично цепям Маркова, в которых, однако, время пребывания в / -м состоянии 0. имеет произвольные функции распределения

Р (х) .Такие системы получили название полумарковских.

Следуя [6], траектория процесса формируется следующим образом. Пусть задано начальное распределение

Р, ТТ

, ^ 1г.0 Пусть 10 - величина, разыгранная в соответствии с этим распределением, т.е. конкретное

значение, которое принимает СВ имеющая данное распределение. Далее разыгрываем величины

(^ т) О. (О

(реализации) | '. соответствующие распределению . Пусть результатом такого разыгрывания является

пара тогда полагаем, что реализация процесса ^ ^ - в промежутке времени [0; ) принимает значение .

Затем разыгрываем значения вектора '± 2 * в соответствии с распределением ^ ^ . Пусть при этом они оказались

(/-,,) ¿(Л /

равными ~ ~ , тогда реализация процесса ь 4 ' в интервале времени 11,1 -' принимается равной 1 и т. д.

т

Типичная траектория процесса

представлена на рис. 1.

Рис. 1

Возникает вопрос, верны ли указанные выше теоремы для полумарковских процессов.

Рассмотрим множество дискретных состояний А = некоторого процесса. Введем матрицу

переходных вероятностей р = = 1,« и матрицу () = |, где - случайное время, которое проводит процесс

в состоянии а.

При каких условиях, накладываемых на матрицы Р и р , процесс будет эргодическим?

Теорема 4. Если р^ > 0, п - конечное и (/,. - имеют невырожденное распределение, тогда описанный

полумарковский процесс является эргодическим.

Доказательство этой теоремы можно получить, используя определение Марковских процессов и основные теоремы эргодичности.

Литература

1. Ицкович А.А., Кабков П.К. Учебное пособие ВСМ. ч. 2 (1) 05.2006.

2. Под редакцией Ю.Д. Максимова «Вероятностные разделы математики». С.П.: Иван Федоров, 2001. с.277.

3. Саати Т. «Элементы теории массового обслуживания и ее приложения». М.: Советское радио,1965. с.101.

4. Матвеев В.Г., Ушаков В.Г. «Системы массового обслуживания» - Издательство Московского университета ,1984. с.36.

5. КоролюкВ.С., Броди С.М., Турбин А.Ф. «Полумарковские процессы и их применение», 1976. с.48.

6. Маталыцкий М.А., Тихоненко О.М., Косарева Е.В. «Анализ и применения систем и сетей массового обслуживания», Гродно ГрГУ им. Я. Купалы, 2013 URL: ebooks.grsu.by/sistemi_i_seti/20-polumarkovskie-protsessy.htm (Дата обращения: 12.06.2014).