Управление с прогнозирующей моделью системами с марковскими скачками по критерию «Mean-variance» при ограничениях

2012

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА Управление, вычислительная техника и информатика

№ 4

УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ СИСТЕМАМИ

УДК 519.865.5

В.В. Домбровский, Т.Ю. Объедко

УПРАВЛЕНИЕ С ПРОГНОЗИРУЮЩЕЙ МОДЕЛЬЮ СИСТЕМАМИ С МАРКОВСКИМИ СКАЧКАМИ ПО КРИТЕРИЮ «MEAN-VARIANCE» ПРИ ОГРАНИЧЕНИЯХ

Рассматривается задача управления с прогнозирующей моделью по критерию «mean-variance» для дискретных систем с мультипликативными шумами и скачкообразно меняющимися параметрами. Параметры уравнений меняются в соответствии с эволюцией однородной марковской цепи с конечным пространством состояний и известной матрицей переходных вероятностей. Определена стратегия управления с учетом явных ограничений на управляющие переменные.

Ключевые слова: управление с прогнозирующей моделью, «mean-variance»-критерий, марковские скачки, ограничения.

Моделями с марковскими скачкообразными параметрами описывается широкий класс реальных систем [1]. В этих моделях предполагается, что смена структуры системы осуществляется в соответствии с эволюцией наблюдаемой или скрытой марковской цепи с конечным пространством состояний.

Решению различных задач управления и оценивания для таких систем посвящено значительное количество работ [2-12].

В работах нобелевского лауреата по экономике Г. Марковица [13] при решении однопериодной (статической) задачи оптимизации инвестиционного портфеля (ИП) был предложен критерий «mean-variance» («среднее - вариация»). Этот критерий представляет собой соотношение (trade-off) между вариацией и математическим ожиданием выхода системы. В динамической постановке задача управления по критерию «mean - variance» в непрерывном и дискретном времени на примере оптимизации ИП рассматривалась в [14-16]. С учетом марковских скачков параметров уравнений данная задача решена в работах [11, 12]. В этих работах задача минимизации критерия решается в конечной точке горизонта управления. При этом не контролируются значения вариации и математического ожидания выхода системы в промежуточных точках траектории. В работах [6, 7] сформулирована и решена задача управления системами с марковскими скачками и мультипликативными шумами на конечном горизонте с учетом значений дисперсии и математического ожидания выхода вдоль всей траектории управления. В упомянутых выше работах [6, 7,

11, 12, 14-16] не учитываются ограничения на переменные управления. Однако во многих практических задачах, в том числе при оптимизации ИП, необходимо учитывать жесткие ограничения на управляющие воздействия.

Эффективным подходом к синтезу систем управления с ограничениями, получившим широкое признание и применение в практике управления сложными тех-

нологическими процессами, является метод управления с прогнозирующей моделью (управление со скользящим горизонтом) [17]. Применению данного метода к управлению дискретными системами с марковскими скачками посвящены работы [3, 5]. В [5] предлагается метод синтеза стратегий управления при «мягких» вероятностных ограничениях. В работе [3] рассматривается задача управления по квадратичному критерию при «жестких» ограничениях на управляющие переменные.

В настоящей работе рассматривается задача синтеза стратегий управления с прогнозированием для систем с марковскими скачками и мультипликативными шумами по критерию «шеап-уапапсе». Получены уравнения синтеза оптимальных стратегий управления с учетом «жестких» ограничений на управляющие переменные.

1. Постановка задачи

Пусть объект управления описывается уравнением

х(к +1) = Лх(к) +

Б0[а

і=1

и

где х(к) - пх-мерный вектор состояния, и(к) - «„-мерный вектор управления, .), 3 = 1,2,...,п, - независимые между собой дискретные белые шумы с нулевым средним и единичной дисперсией, а(к), к = 0,1,2______, - однородная дискретная марков-

ская цепь с конечным множеством состояний {1,2,_,у}, известной матрицей переходных вероятностей

Р = [Р.], г,3 е {1,2,...,V}, Р},= Р{(к у1) = а. |а(к) = а}, £} = 1,

3=1

и известным начальным распределением

р, = Р{а(о) = г}, г = 1,2,...,V; £р, = 1.

г=1

Предполагается, что состояние марковской цепи а(к) в момент времени к доступно наблюдению. Последовательности м3(к) и а(к) независимы. А, В3[а(к),к], 3 = 0,_,п, - матрицы соответствующих размерностей.

Пусть скалярный выход системы

у

где Ь(к) - вектор-строка соответствующей размерности.

На управляющие воздействия накладываются ограничения

мт1П

где £(к) - матрица соответствующей размерности.

Для управления системой (1) при ограничениях (3) синтезируем стратегии с прогнозирующей моделью по следующему правилу. На каждом шаге к минимизируем «теап-уапапсе»-критерий со скользящим горизонтом управления:

т

3(к + т/к) = £р1 (к,г)М{(у(к + г)-М{у(к + г)/х(к),а(к)}2 /х(к),а(к)} -

г =1

-р2 (к, г)М {у(к + г) / х(к), а( к)} +

+М {иТ

на траекториях системы (1) по последовательности прогнозирующих управлений и(к/к),... ,и(к+т-1/к), зависящих от состояния системы в момент времени к, при ограничениях (3), р1 (к,/) > 0, р2(к,/) > 0 - весовые коэффициенты, Я(к,/) > 0 - весовая матрица соответствующей размерности, т - горизонт прогноза, к - текущий момент времени. В качестве управления в момент времени к берем и(к) = и(к/к). Чтобы получить управление и(к+1) на следующем шаге, процедура повторяется для следующего момента к+1 и т.д.

Весовые коэффициенты р1(к,/)>0, р2(к,/)>0 можно рассматривать как коэффициенты склонности к риску, задающие соотношение между ожидаемым выходом системы и соответствующим риском (вариацией) в момент времени к.

Замечание 1. В критерии (4) присутствуют слагаемые, содержащие квадратичные формы от управлений. В общем случае наличие этих слагаемых гарантирует существование решения задачи управления.

2. Синтез стратегий управления с прогнозированием

Цепь Маркова с дискретным временем допускает следующее представление в пространстве состояний [9]:

0

где 0(к) = [5(а(к),1),...,5(а(к);у)]т, 5(а(ку) - функция Кронекера,] = 1,2,...^; и(к) -мартингал разность с характеристиками

М {

С

С учетом (5) систему (1) можно представить в следующем виде:

х(к +1) = Лх(к) +

В0 [0

и

і=1

где В і [0

2=1

Здесь 0,(к), і = 1,2, ...,у, - компоненты вектора 0(к), {В/1-1},і = 0,...,п, і = 1,...,у, -множество значений матрицы ВД0(к),к].

Критерий (4) будет иметь вид

т

,/

і=1

-р2(к ,і) М {у(к+і)/х(к ),0(к)}+ М {ыТ (к+і-1/к) у к ,і-1)и(к+і-1/к)/х(к ),0(к)},

Теорема. Вектор прогнозирующих управлений П(к) = [иТ(к/к),...,иТ(к+т-1/к)]Т, минимизирующий критерий (4) при ограничениях вида (3), на каждом шаге к определяется из решения задачи квадратичного программирования с критерием вида

У

при ограничениях

ит1П

где

S(k) = diag(S(k),..., S(k + m -1)),

Umin (k ) = [«L(k ),..., <m(k + m - 1)]T,

Umax (k) = [«Lax (kX- Umax (k + m - 1)]Т :

H(k), F(k) - блочные матрицы вида

H„

H

_ Hmi(k ) Hm2(k ) - Hmm (k ).

F(k) =[F1(k) F2(k) ••• Fm (k)],

Ht (k ) = R(k, t -1) +

блоки которых равны

+£ £ ((к + /) )Т ) [«Над {Р У (к)} - Е «Над (0(к)} (Р )Т ] Етд 0, (т - /) Д(г) (к + 0 +

п V т

+££

q=1 r=1

j=1 q=1

Htf (k) = ¿X (50q) (k +1) ) ) [Pf-t diag {0(k)} -

q=1 r=1

-Pf diag{0(k)}(Pt ) 4 (Лг )f-ta(m - f )50r)(k + f ), f > t;

Hf (k) = Hj (k), t > f ;

ft

^ (k) = б2(ш -1)£ Ер0(k)50q) (k +1) ;

q=i

Q1 (t ) = Q1 (t -1) Л + LT (к + m -1 )pj (к, m -1 ) L(k + m -1 ),(t = 1, m) ;

Qj(0) = L (k + m)p1(k,m)L(k + m) ;

Q2 (t ) = Q2(t -1) Л + L( k + m -1 )p2 (k, m -1 ), (t = 1, m) ;

Q2(0) = L(k + m)p2(k, m);

Eq =[0,...,0,1,0,...,0], q = jV.

Оптимальное управление

u(k ) = [ °.. - V ] U (k >,

где Іп - единичная матрица размерности пи, 0п - квадратная нулевая матрица размерности пи.

Замечание 2. Заметим, что условие Я(к,і)>0 гарантирует, что матрица Н(к) будет положительно определенная и, следовательно, решение задачи квадратичного программирования с критерием (4) существует и единственное.

Доказательство. Введем обозначение

3+, = М {[Р! (к,1)[у(к +1) -М{у(к +1)/х(к), 0(к)}]2 --р2 (к, 1)у(к +1) + иТ (к/ к)К (к, 0)и(к /к)^ / х(к), 0(к)} +

+М {[р1 (к, 2)[у(к + 2) - М{у(к + 2) / х(к), 0(к)}]2 --р2 (к, 2) у(к + 2) + иТ (к +1/ к) К (к, 1)и(к +1/ к) ^ / х(к), 0(к)} +... +

+М {[р1 (к, 5)[у(к + 5) -М{у(к + s)/ х(к), 0(к)}]2 -

-р2 (к, 5) у (к + 5) + иТ (к + 5 -1/ к) К (к, 5 - 1)и(к + 5 -1/ к) ^ / х(к), 0(к)}. Очевидно, что

Л+5+1 = М {[р1

и 3

Рассмотрим

3+1 = М{[р1(к,1)[у(к +1) -М{у(к +1)/х(к),0(к)}]2 -

-р2

Подставив в (26) вместо у(к+1) его выражение через х(к) из (2) и (8), вместо

0(к+1) его выражение через 0(к) из (5) и взяв условное математическое ожидание, будем иметь

3+1 = иТ (к/к)££ (50г)(к + 1))Т [£ЯС(к + 1)ЕГТ ]ЬТ (к + 1)р1 (к, 1) X

г=1 g=1

К V V

хЬ(к +1) 4 ) (к + 1)и (к / к) + иТ (к / к )£££ (В(г) (к + 1))Т Е^^ [ Р0(к )0Т (к) РТ +

5=1 Г=1 g =1

+С (к + 1)]£Т £ (к + 1)Р1 (к, 1) 1{ к +1) В ) (к +1) и( к / к) -

V

-р2 (к, 1) ¿(к +1) Ах(к) - р2 (к, 1) 1(к +1)£ [ ЕгР0(к )Щ(г) (к + 1)и (к / к) +

г=1

+иТ (к / к) К(к ,0)и(к / к), где С(к+1) = М{и(к+1)иТ(к+1)/0(к)}.

Предположим далее, что для некоторого q верно

Т

д V V

•4+ д = £ иТ (к + / -1/к)££(г)(к + /)) ) £ Р1-С (к +1 )(Рг-гУ /] X

/ =1 Г=1 g=1 I =1

д

£ (Лг-і )Т !Т (к + /)р1 (к, і)Цк + і)Лг-ів0£) (к + і)и (к + і -1/ к) +

І=і

Т

д п V V

£иТ (к + і -1/к){£££()(к + і)) Е^ [Р0(к)0Т (к)(Р )Т +

і=1 5=1 Г=1 £=1

1 Ы-1^/1г . 7\/пі-ІчТтттТ

+£Рг-гС

I=1

х£ (А-/ )Т ^ (к + г )р1 (к, г) ¿(к + г) А-/В5 ) (к + /) + К (к, / )}и (к + / -1/ к) +

г=/

д-1 _д _ | т _/_

+2£ £ иТ (к+/-1/к) ]££( )(к+/)) [ Eg £ рсс с (к+/)(Рг-у I ] х

/ =1 у=/+1 [ Г=1 g=1 I=1

х(АС-/ )Т £ (Аг-С )ТР (к + г)р1(к, г)Цк + г)Аг- 7В(^)(к + у)! и (к + ] -1/к) -

г=У

" д

£р2 (к ,г) ¿(к+г )Аг-1 .г=1

Ах(к)-££р2(к,г)¿(к+г)Аг / £ЕГР/0(кВг)(к+/)и(к+/-1/к),

/=1 г=/ г=1

где С(к+1) = М{и(к+/)иТ(к+/)/0(к)}.

Покажем, что данная формула верна и для д+1. Действительно, из (24) следует,

что

•4+ д+1 = М {[р1

-р2 (к, д +1) у(к + д +1) + иТ (к + д / к) К (к, д)и (к + д / к) ^ / х(к), 0(к)} + •+д.

Подставим в (28) вместо у(к+д+1) его рекуррентное выражение через х(к) из (8) и (2), вместо Зк+д его выражение из (27), взяв условное математическое ожидание и преобразовав выражение, получим

д+1 V V Т /

•к+д =£иТ (к + / -1/к)££()(к + /)) [Е^£Р/-1 С(к + /)(Р'-г)гЕТ]X

/ =1 Г=1 g=1 I=1

д+1

х£ (Аг-/ )Т ¿Т (к + г)р1 (к, г)Ь(к + г)Аг-/В,^) (к + /)и(к + / -1/к) +

г=/

д+1 | _у _у т _/

+£иТ (к+/-1/к)[ £££(Г) (к+/)) Еg [Р/0(к)0Т (к)(Р/ )Т +£р/-1С(к+1)(Р/-1 )Т ]ЕТ X

/=1 [^=1 Г=1 g=1 1=1

д+1 1

X £ (Аг-/ )Т £ (к + г )Р1 (к, г) ¿(к + г) А-/в( ) (к + /) + К(к, /) [ и (к + / -1/ к) +

г=/ 1

д д+1 Г _у _у т _/_

+2£ £ иТ (к + / -1/к) |££(в0Г )(к + /)) [ Eg £ РС С (к + /)(Р-г)г ЕтТ Т

/ =1 С=/+1 [г=1 g=1 I=1

д+1 [

х

г=у 1

д+1

£р2 (к ,г) ¿(к+г )Аг-1 .г=1

д+1 д+1 V

Ах(к)-££р2 (к ,г) ¿(к+г) Аг-/ £ ЕГР' 0(к )В0Г) (к+/)и(к+/-1/к).

/=1 г=/ г=1

Формула (29) совпадает с (27), если в (27) д заменить на д+1, а значит, согласно принципу математической индукции, формула (27) верна для всех д = 1,2,.,т. Вводя рекуррентные соотношения (19) - (21), из (25) и (27) следует, что

т V V т

• (к + т / к) = £ иТ (к + / -1/к)££(г)(к + /)) х

/=1 г=1 g=1

/

х[ Eg £ Р/-1 С (к +1)(Р/-1 )ТЕТГ ]01(т - /) В0g) (к + /)и (к + / -1/ к) +

I=1

+£«+ (k + i - 1/k) jXXX (()(k + i)) ) [P0(k)0+ (k)(P )+ +

І=1 [ 5=1 Г=1 g=1

+£ Pi-IC(k + l)(Pi-I)+ ]E++ Q (m - i)Bg) (k + i) + R(k, i) Iu(k + І -1/k) +

I=1 m-1 m

+2X £ «+ (k + i-1/k)]SS(B0r)(k + i)) [)g£P;-C(k + I)(Pi-,)rI

i =1 j=i+1 [ Г=1 g=1 I=1

х(АС /) й(т - c)B0g)(к + С)| и (к + у -1/к) - 02(т - 1)Ах(к) -

т V

-£ 02

/=1 г=1

Из определения 0(к) следует, что

0

Для вычисления матрицы С(к+г) = М{и(к+г)иТ(к+г)/0(к)}, используя уравнения (6), (7) и (31), нетрудно показать, что

С (к+г) = М {(к+г )иТ (к+г) / 0(к)} =

= diag{0

Рассмотрим подробнее выражения, входящие в критерий (30). Используя (31), (32), получим

Рг 0

l=1

г

£[Рг-lC

l=1

г

£[Pj-lC

l =1

С учетом (33) - (35) выражение (30) примет вид

T

m v v

J(k + m/k) = £uT (k+г - 1/k)XE(()(k+г)) x

г=1 r=1 g=1

xEg [diag{P*0(k)>- Рг diag{0(k)>(Рг )T ]ETr Q1 (m -/)£0g) (k+t)u(k+1 -1/k) +

m Г n v t 1

+£uT (k+г -1/k)j ££(() (k+г)) Er diag{P*0(k) IETQ1 (m - 1)Б^) (k + г) +

m-1 m

+R

i=1 C=i+1 [ Г=1 g=1

X Eg [ PC-i diag(P! 0(k)}-PC diag{0(k )|(P!)+ ]E+ (AJ->)+ Q (m - j )B0g) (k + j )}x

m v

xu

i=1 Г=1

Выражение (36) можно записать в матричном виде:

J

где матрицы H(k), F(k) имеют вид (13) - (18). Таким образом, имеем задачу минимизации критерия (37) при ограничениях (3), которая эквивалентна задаче квадратичного программирования с критерием (11) при ограничениях (12). Теорема доказана.

Заключение

В данной работе предложен метод синтеза стратегий прогнозирующего управления по критерию «mean-variance» для дискретных систем с мультипликативными шумами и скачкообразно меняющимися параметрами. Данный подход позволяет в явном виде учесть ограничения на управления. Алгоритм синтеза прогнозирующей стратегии включает решение последовательности задач квадратичного программирования. Синтезированы стратегии управления с учетом явных ограничений на управляющие воздействия.

ЛИТЕРАТУРА

1. Пакшин П.В. Дискретные системы со случайными параметрами и структурой. М: Физ-матлит, 1994.

2. Пакшин П.В., Ретинский Д.М. Робастная стабилизация систем случайной структуры с переключаемой статической обратной связью по выходу // Автоматика и телемеханика. 2005. № 7. C. 135-147.

3. Домбровский В.В., Объедко Т.Ю. Управление с прогнозированием системами с марковскими скачками при ограничениях и применение к оптимизации инвестиционного портфеля // Автоматика и телемеханика. 2011. № 5. С. 96-112.

4. Смагин В.И., Поползухина Е.В. Синтез следящих систем управления для объектов со случайными скачкообразными параметрами и мультипликативными возмущениями // Вестник Томского государственного университета. 2000. № 271. С. 171-175.

5. Blackmore L., Bektassov A., Ono M., Williams B.C. Robust optimal predictive control of jump Markov linear systems using particles // Hybrid Systems: Comput. and Control /

A. Bemporad, A. Bicchi, G. Buttazzo, eds. New York: Springer-Verlag, 2007. V. 4416. Lecture Notes in Computer Science. P. 104-117.

6. Costa O.L.V., Oklmura R.T. Discrete-time mean-variance optimal control of linear systems with Markovian jumps and multiplicative noise // Intern. J. Control. 2009. V. 82. No. 2. P. 256-267.

7. Costa O.L.V., OUve^ra A. Optimal mean-variance control for discrete-time linear systems with Markovian jumps and multiplicative noises // Automatica. 2012. V. 48. No. 2. P. 304-315.

8. Dragan V., Morozan T. The linear quadratic optimization problems for a class of linear stochastic systems with multiplicative white noise and Markovian jumping // IEEE Transactions Automatic Control. 2004. V. 49. No. 5. P. 665-675.

9. ElUott R.J., Aggoun L., Moore J.B. Hidden Markov Models: Estimation and Control. Berlin: Springer-Verlag, 1995.

10. Li X., ZhouX.Y. Indefinite stochastic LQ control with Markovian jumps in a finite time horizon // Communications in Information and Systems. 2002. No. 2. P. 265-282.

11. Ym G., Zhou X.Y. Markowitz mean-variance portfolio selection with regime switching: from discrete-time models to their continuous-time limits // IEEE Transactions Automat. Control. March 2004. V. 39. No. 3. P. 349-360.

12. Zhou X.Y., Ym G. Markowitz’s mean-variance portfolio selection with regime-switching: a continuous-time model // SIAM Journal on Control and Optimization. 2003. V. 42. No. 4. P. 1466-1482.

13. MarcowitzH.M. Portfolio selection // J. Finance. 1952. V. 7. No. 1. P. 77-91.

14. Bajeux-Besnainou I., Portait R. Dynamic asset allocation in a mean-variance framework // Management Science. 1998. V. 44. No. 11. Part 2. P. S79-S95.

15. LiD., Ng W.-L. Optimal dynamic portfolio selection: multi-period mean-variance formulation // Mathematical Finance. 2000. No. 10. P. 387-406.

16. Zhou X.Y., Li D. Continuous-time mean-variance portfolio selection: a stochastic LQ framework // Applied Mathematics & Optimization. 2000. No. 42. P. 19-33.

17. Rawlings J. Tutorial: Model predictive control technology // Proc. Amer. Control Conf. San Diego. California. June 1999. P. 662-676.

Домбровский Владимир Валентинович Объедко Татьяна Юрьевна Томский государственный университет

E-mail: dombrovs@ef.tsu.ru; tani4kin@mail.ru Поступила в редакцию 17 сентября 2012 г.

Dombrovskii Vladimir V., Obyedko Tatyana Y. (Tomsk State University). Mean-variance MPC for linear systems with Markovian jumps under constraints.

Keywords: model predictive control, «mean-variance» criterion, Markovian jumps, constrains.

We consider the following Markov jump linear system with multiplicative noise

x(k +1) = Ax(k) -

u

B0[a

_ j=1

where x(k) is the nx - dimensional vector of state, u(k) is the nu - dimensional vector of control; a(k), k = 0,1,2., denotes a time-invariant Markov chain taking values in a finite set of observable states {1,2,.. ,,v} with transition probability matrix

P = [ j , i, j e {1,2,...,v}, Pv= P{a(k +1) = aj |a(k) = a,},}} = 1,

j=1

V

and initial distribution pt = P{a(o) = i}, i = 1,2,...,v; ^pt = 1; ffj(k) are independent zero-mean

i=1

random variables with unit variance and independent of the Markov chain a(k), k = 0,1,2.; A,

B,[a(k),k],j = 1,.,n, - the matrixes of corresponding dimensions, Bj[a(k),k] e {Bj1'1},j = 0,.,n, i = 1,.,v. Let y(k) = L(k)x(k) be the scalar output of the system (1), where L(k) is the vector of corresponding dimension.

The following constraints are imposed on control actions

umin

where S(k) is the matrix of corresponding dimension.

For control of system (1) we synthesize the strategies with a predictive control model. At each step k we minimize the «mean-variance» criterion with a noving control horizon

m

J(k + m / k) = ^p1(k,i)M {(y(k + i) - M {y(k + i)/ x(k), a(k)})2 / x(k), a(k)} -i=1

-p2(k, i)M {y(k + i)/x(k), a(k)} + M {uT (k + i -1/ k )R(k, i - 1)u(k + i -1/ k)/x(k), a(k)},

on trajectories of system (1) over the sequence of predictive controls u(k/k),..., u(k+m-1/k), which depend on system’s state at moment k, under constraints (2), R(k,i)>0 is the weigh matrix of corresponding dimension, p!(k,i)>0, p2(k,i) >0 are weigh coefficients, m is the prediction horizon, k is the current moment. The synthesis of predictive control strategies is reduced to the solving of a sequence of quadratic programming tasks.