Метод оптимизации квазилинейных стохастических систем в приложении к задаче оптимальной стабилизации спутника с упругой штангой

ISSN 2079-3316 ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ №2(25), 2015, с. 3-17

УДК 517.977

Д. С. Румянцев, К. А. Царьков

Метод оптимизации квазилинейных стохастических систем в приложении к задаче оптимальной стабилизации спутника с упругой штангой

Аннотация. В работе приводятся теоретические результаты, полученные авторами для решения задач синтеза оптимальных стратегий управления квазилинейными динамическими стохастическими системами диффузионного типа с информационными ограничениями. Ограничения выражаются в том, что каждая компонента вектора стратегии управления зависит от своего заранее заданного набора точно измеряемых компонент вектора состояния. Эти результаты применяются для решения задачи успокоения колебаний спутника с одной упругой штангой на околоземной орбите. В качестве штанги может выступать радиоантенна или балка гравитационной стабилизации. В задаче о спутнике рассмотрены различные варианты информированности, по которым можно судить, какие динамические характеристики стоит измерять, а от измерения каких можно отказаться.

Ключевые слова и фразы: спутник с упругой штангой, стохастическое оптимальное управление, неполная обратная связь.

Введение

Рассматривается задача синтеза оптимальных стратегий управления квазилинейными динамическими стохастическими системами при наличии информационных ограничений. Под квазилинейной системой понимается линейная система, дополнительно включающая в себя линейные по состоянию и управлению слагаемые в коэффициентах при шуме. Для решения задачи используется процедура градиентного спуска в функциональном пространстве. Полученные результаты применяются к задаче оптимальной стабилизации спутника

Работа выполнена при частичной финансовой поддержке РФФИ (грант № 13-0801120).

© Д. С. Румянцев!, К. А. ЦАРЬКОВ! , 2015

© Институт проблем управления имени В. А. Трапезникова РАН , 2015 © Московский авиационный институт (НИУ)(, 2015 © Программные системы: теория и приложения, 2015

с упругой штангой. Подробное изложение указанных теоретических результатов приведено в работе [1].

Здесь приведены только те сведения, которые необходимы для решения задачи стабилизации спутника. В работе даны: общее описание квазилинейных стохастических управляемых систем, информационные ограничения, конечные формулы и конструктивный алгоритм решения задач синтеза оптимальных стратегий управления такими системами. Задача стабилизации спутника с упругой штангой освещена подробно.

1. Общая постановка задачи

Процесс управления описывается системой уравнений Ито [2]

¿х{Ь) = /(Ъ, х(Ъ), и(Ъ, х(Ь)))(И + д(Ъ, х{Ь), и(Ъ, х{Ь)))(1и){1), ( 1 ^{¿о) = хо,

где Ь € Т = [¿о;¿г] - время; х € Дп - вектор состояния системы; и)() - ^-мерный стандартный винеровский процесс; и € Дт - вектор управления; {Ь, х) ^ и{Ь, х) : Т х Дп ^ Дт - стратегия управления. Функция {Ь, х, и) ^ /{Ь, х,и) : Т х Дп х Дт ^ Дп линейна по х,и и имеет вид

(2) ] {г,х,и)= А{г)х + в{г)и.

Столбцы д^), I = , матричной функции {Ь,х,и) ^ д{Ь,х,и) : Т х Дп х Дт ^ Кпхм также линейны по х,и и имеют вид

(3) д1 {г,х,и) = с(1){г)х + д (1){г)и + с(1){г).

Здесь г ^ А{г) : Т ^ Кпхп, t ^ В{Ь) : Т ^ Япхт, t ^ С(1) {г) : Т ^ Кпхп, г ^ Д(1){г) : Т ^ Кпхт, г ^ С(1){г) : Т ^ Дп - ограниченные борелевские функции на интервале Т. Случайный вектор хо распределён по вероятности с плотностью х ^ Ро{х) : Дп ^ Д1 и соответствующими ей математическим ожиданием то € Дп и ковариационной матрицей Ко € Дпхп. Функция ро принадлежит множеству С'2{Вп) дважды непрерывно дифференцируемых плотностей распределения на Дп и считается заданной.

Введём в рассмотрение функцию управления Ь ^ и*{Ь) = и{Ь, •) : Т ^ V, где V - множество, задающее информационные ограничения,

(, х) =

которые состоят в зависимости каждой компоненты вектора управления и от своего априори назначаемого набора компонент вектора состояния х.

Пример информационных ограничений. Пусть управляемая динамическая система имеет вектор состояния х = (х1, Х2, хз, Х4, х^)т и вектор управления и = (и\, и^, из, и4)т. Требуется синтезировать стратегию управления в виде

( и\(г, ,х2, ,х4, )\

и2(Ь, , ,хз,х4, ) из ,х\, , ,х4, ) \ и4(Ь, х1, х2, , х4, ) ) Все компоненты вектора и зависят от координаты х4, ни одна компонента не зависит от х5 и каждая по-своему зависит от х1, х2 хз.

Пусть для рассматриваемого здесь процесса (1) плотность распределения вероятности (Ь, х) ^ р(Ь, х) : Т х Кп ^ К1 существует, принадлежит пространству С!'2(Т х Кп) и удовлетворяет уравнению Фоккера-Планка-Колмогорова (ФПК) [2]:

др(1 ,х) д д2

—д1— = -¿^ дх- ,х,и)р(г,х)] + дх дх-,х,и)р(г,х)Ъ

г=1 г 1,3=1 г ^

где а^ = 5^ ди д^/2, с начальным условием

г=1

(4) р(г о, х) = ро(х).

Через V обозначим множество допустимых процессов управления г = (р* (•), и* (•)), удовлетворяющих условиям:

(А.1) управление и*(•) является управлением с информационными ограничениями;

(А.2) при заданном управлении и*(•) функция Ь ^ р*(Ь) = р(Ь, •) : Т ^ С'2(Вп) такова, что плотность р является решением уравнения ФПК с начальным условием (4).

Для процесса г еР определим функционал качества управления г ^ 7(г) : V ^ К1 вида

41

(5) 7 ы = Л ™ •х х»* •х) *х * +1 ГШ* !,х> *х,

«о Л"

функции (t,х,и) ^ fc(t,х,и) : Т х Rn х Rm ^ R1, х ^ Fс(х) : Rn ^ R1 которого представляют собой неотрицательные квадратичные формы

f c(t, х, и) = 1xTD(t)x + итS(t)x + 1uTE(t)u, F С(х) = 1xTQx,

где t ^ D(t) : Т ^ Rnxn, t ^ S (t) : Т ^ Rmxn, t ^ E (t) : Т ^ Rmxm _ ограниченные борелевские функции на Т, Q G Rnxn, и выполнено условие E (t) > Eo > 0, t G Т. Здесь и далее матрицы квадратичных форм считаются симметрическими. Цель управления состоит в минимизации критерия (5) на множестве V.

2. Оптимальное управление

Синтез оптимальной стратегии управления будем осуществлять в виде

при помощи градиентного подхода, подробно изложенного в [1].

Для этого воспользуемся функциями времени m, К, Р, L, A, M, удовлетворяющими перечисленным ниже условиям.

1. Функции m, К являются решением системы уравнений

dm ли пг —— = Аиш — BL, dt

^К = АиК + КАиТ + + р (д(1)К&1)Т + [с« +(5«m] [С« +(5(0т]Т) ,

Аи = А-ВР, G= G(l)-F(1)Р, С= С(l)-F(l)L, с начальными

где условиями

(9) т(Ь о) = тоо, К (г о) = Ко.

2. Функции X, М являются решением системы уравнений

(10) ^ = ХТВЬ - 1ЬТЕЬ - 1 Ус^мс(1), у ' Л 2 2^ '

1=1

dX

— = -Аи X + STL + РTEL + MBL -Уо(1) МС(1), d

i=i

dM = -МАи - АиТМ -D + STP + PTS-

-РTEP - J2 G(l)T MG(l), i=i

с условиями, заданными при = 1,

(13) ф 1) = 0, х(г 1) = 0, м (г l) = Q.

Значение критерия качества для любой стратегии управления вида (6) может быть вычислено по формуле

J = 2tr (М0К0) + ^toJMQTOO + Xjmo + 70,

где М0 = М(10), Х0 = Х^0), 70 = ^(Ь0). Здесь и далее за ^ обозначен оператор следа квадратной матрицы.

Функции Р и Ь в стратегии управления (6) представим в виде

/

Sl

S 2

s n+2

sn

V S

L

\ Sm

Принимая совокупность элементов матриц Р и L за вектор неизвестных, получим оптимизационную задачу J(s) ^ min, где J зависит от s = (si,..., s^), N = m(n + 1), неявно. Оптимальные значения параметров s будем определять при помощи градиентной процедуры. Для этого выберем некоторое начальное значение s(0) и затем на каждом k-ом шаге (k = 0,1,2,...) будем определять следующее приближение s(fc+1), улучшающее значение критерия качества J по формуле

д I

8?+1)

r = l,N, teT,

s

где число в > 0 — шаг градиентной процедуры, а функция I такова, что

ti

A J = J I(s(t) + A s(t))dt,

to

A J - величина приращения критерия при изменении s на A s (см. [1]).

Формулы вычисления производных dl/ds ют вид

, г = 1, N, име-

S = S

dl

ds r

= tr (РГТ [(E + в)Р - BTM - П - S] K) \s=s(k) +

s = s

+ (P'm + L'r)T ([(E + в)Ь - BTX - A] + + [(E + в)Р - BTM - П - S] m) \s=s(fc) ,

где Р,', Ь'г — производные функций Р, Ь вида (15), (16) по вг,

V т V т V т

п=^2 р(1) мс(1), л=^2 р(1) мс(1), р(1) мр(о.

1=1 1=1 I=1

Использование последней формулы требует на каждой итерации вычисления значений матричных функций т, К, у, X, М. Для этого необходимо решить две задачи Коши: в прямом (7)-(9) и обратном (10)—(13) времени. Решение задач Коши предлагается производить при помощи численных процедур, поэтому все функции времени будем задавать их значениями в точках разбиения интервала Т = \ро, ^ 1 ]. Множество этих точек обозначим через Т.

Итеративное вычисление элементов матриц Р, Ь стратегии управления выполняется до тех пор, пока не будет достигнута требуемая точность приближения, определяемая при помощи величины

/ N \r=1

di/9s Ism =

t ет

ч 1/2 2 \

Таким образом, алгоритм синтеза оптимальной стратегии управления имеет следующий вид:

Шаг 1. Произвольным образом или из дополнительных соображений задать в — шаг градиентной процедуры, е — требуемую максимальную погрешность приближения, з(0)(1), £ € Т — начальную точку приближения вектора параметров в(-), и положить номер

итерации к = 0, количество успешных итераций г = 0. Вычислительный опыт показывает, что в качестве начальной точки целесообразно брать точку з(0)(1) = 0.

Шаг 2. Решить (численно) задачи Коши сперва в прямом, а затем и в обратном времени для системы уравнений (7), (8), (10)—(12) с условиями (9), (13), используя матрицы Р(к) Ь(к)^), имеющие вид (15), (16) при в = в (к).

Шаг 3. Вычислить значение критерия 1

по формуле ( ).

Если к = 0, перейти к шагу 5. В противном случае проверить выполнение условия 1(к) < 1(к-1): если условие выполнено, увеличить % на единицу и перейти к шагу 4, иначе положить % = 0, в(к) = в(к-1), уменьшить вдвое, уменьшить на единицу и перейти к шагу 6.

Шаг 4. Если г = 2, увеличить в вдвое, положить г = 0.

Шаг 5. Для всех г = \,Ы вычислить д1/двг(1), Ь € Т, при в = в (к) по формуле (18).

Шаг 6. Проверить выполнение условия

\\д!/д3у < £;

если условие выполнено, искомое значение 1 положить равным в (к) и закончить расчёт, иначе положить в = з^(1)-в^д!/двгг =

I, Ы, Ь €Т, и перейти к шагу 7.

Шаг 7. Увеличить к на единицу и перейти к шагу 2.

3. Задача оптимального управления спутником с упругой штангой

Рассмотрим плоское движение абсолютно жёсткого спутника [3] (рис. 1) с моментом инерции 1С и массой тс под действием возмущающего момента Ь. В точке О на расстоянии Ь от центра масс С спутника жёстко закреплено начало прямолинейного однородного стержня длиной I с погонной плотностью р, модулем Юнга Е, коэффициентом внутреннего трения по Фойгту к и моментом инерции поперечного сечения 1. На конце стержня в точке О1 зафиксировано абсолютно жёсткое тело С1 с массой т-1 и моментом инерции 11.

Орбитальная система координат Оуг связана со спутником; а — угол отклонения спутника от орбитальной системы, т.е. ошибка системы стабилизации; и — управляющий момент газореактивной системы; Ь — время; ус — ускорение возмущённого движения центра масс С

спутника; у(г, Ь) — прогиб стержня; У1^) = у(1, ¿); а\ — угол поворота тела С относительно оси Ог; Nо, Ьо и N1, Ь\ — соответственно сила и момент сил реакции стержня в точках О и 01. Точка обозначает производную по времени.

Считается, что величина Е.1, характеризующая упругость стержня, значительно больше погонной плотности р, а величина прогиба у(г, 1) по всей длине стержня изменяется достаточно медленно. Величины а.(1),ус(1), у(г, Ь),а1(Ь) считаются малыми.

Возмущающий момент Ь характеризуется соотношением [4]

Ь = -Па,

где коэффициент П определяется угловой скоростью обращения по орбите и моментами инерции спутника относительно оси О и оси, проходящей через С параллельно О .

Величина и, играющая роль управления, пропорциональна тяге газореактивного двигателя. Цель управления заключается в успокоении упругих колебаний, возникающих в стержне, и стабилизации спутника в орбитальной системе координат за заданное время Т.

При сделанных предположениях уравнения движения спутника имеют вид [5]

Зса = и — На — 2Е.

1 (1 + 7) ( ал + На1) + ^ 1 + 7) (У1 + Ш

тсус = 6Е1

1 2

—

31 а\ = — 31а — 2Е. т1 ух = —т1 ус + т1(Ь + 1)а — 6Е1

2 3

-

1 2

Нетрудно видеть, что данная система уравнений распадается на две подсистемы. Одна подсистема представляется 6-ю линейными уравнениями 1-го порядка с вектором неизвестных х =

1 Н

ша = -¡-и--—а — 2. с .с

а1 = Ш«,

Е.1 \ч '1 + 3Ь

X 7' 1

+ 1 [1+ 2Ъ Т

ГУ1 ,

1 Н Е.

—-и + —а + 2——

.с .с .с

1 ( 3 Ь Зс

у(1 + 7 — 2 7 ) (а1 + )+

+ !

у 1 = Уу1,

т> Ь + 1 (Ь + 1)Н

Уу1 = -—и----а—

.с .с

2

Е.

т1

1(3т1 (Ь + 1)т1 { 3Ь\ 3\.

т( -л + (—7Г-[ 1 + т) + 3 ^+^)+

3 2 т1 ( + ) т1 2 2

+ И тй + 1 + т + 1 К* + Нуу11

а другая имеет вид

Ус = 6-

12

I3'

Изменение величины ускорения ус не влияет на достижение цели

а = ш

а

«1

с

управления, поэтому вторая подсистема далее не рассматривается. Дополнительно предполагается, что коэффициенты при компонентах вектора х в правых частях уравнений первой подсистемы имеют случайные составляющие, а начальные условия определяются случайным вектором хо с математическим ожиданием то и ковариационной матрицей Ко.

Исходные характеристики взяты равными: 1С = 0.7 кг-м2, тс = 35 кг, Ъ = 0.1 м, П = 0.1 Н-м, 1=1 м, к = 0.01 с, р = 0.645 кг/м, Е = 2.8 • 1010 Па, 7 = 3.5 • 10-9 м4, т1 = 3 кг, = 0.07 кг-м2. Время стабилизации Т = 3 с.

Таким образом, управляемая динамическая система принимает

вид

А

¿х(ь) = (Ах(г) + Ви(ь, х(г))) А + Сх(г) ¿т(г), т(0) = т0, К(0) = К0, г € [0, 3],

(

С

0 1 0 0 0 0

-0.143 0 -364 3.64 -1008 -10.08

0 0 0 1 0 0

0.143 0 -5236 - 52.36 -7392 -73.92

0 0 0 0 0 1

-0.157 0 -613.2 - 6.132 -1534.4 -15.344

( 0 0 0 0 0 0

0.001 0- 10 0.1 14 - 0.14

0 0 0 0 0 0

- 0.001 0- 160 1.6 -110 1.1 ,

0 0 0 0 0 0

\ 0.03 0- 20 0.2 -30 0.3

В = (0, 1.429, 0, -1.429, 0, 1.571)т, т0 = (0, 0, 0, 0, 0, 0)т, К0 = ^(0.0001, 0.05, 0.00625, 2.5, 0.00017, 0.067).

Требуется минимизировать квадратичный функционал

3

7 =lJ J (хт Ох + ит Еи) р(Ь ,х)йх&,

о Д6

О = ^(1000, 2, 120, 0.4, 800, 15), Е = 0.05.

Таблица 1. Результаты расчётов

Номер Информационные Оптимальное значение

варианта ограничения критерия

1 и(г) 505.975

2 и(Ь, хх, х3, х5) 11.221

3 и(Ь, х2, х4, хв) 4.253

4 и(Ъ, хх,... , хв) 1.766

При использовании предложенного градиентного метода была построена оптимальная стратегия управления для данной задачи. Результаты расчётов представлены в таблице 1.

Отметим, что матричная функция Ь в оптимальной стратегии для данной задачи тождественно равна нулю, так как по условию Р(Ь) = С(Ь) = то = 0. Поэтому при полном отсутствии информации о состоянии управляющие воздействия не производятся, и движение спутника совпадает со свободным движением.

Сравнение оптимальных значений критерия для различных вариантов информированности позволяет заключить, что нет необходимости измерять или идентифицировать все имеющиеся координаты. Для получения качественных результатов достаточно проводить измерения углов а, а\ и величины отклонения у\.

На графиках (рис. 2-5) представлены результаты моделирования процесса управления для заданного начального положения хо = (-0.006, -0.139, 0.019, -1.305, -0.004, 0.206)т.

Рис. 2. График а

Рис. 3. График «1

Рис. 4. График у1

Рис. 5. График и

График и(Ъ) (рис. 5) показывает, что в случае достаточной информированности о состоянии (варианты 3, 4) успокоение колебаний

можно произвести за счёт приложения значительных краткосрочных управляющих воздействий в начальный период времени процесса управления.

4. Заключение

Сформулирован градиентный метод поиска оптимальных стратегий управления квазилинейными динамическими стохастическими системами с информационными ограничениями. С его помощью получено оптимальное решение задачи стабилизации спутника с упругой штангой в условиях случайных внешних воздействий. Оптимальная стратегия управления тягой газореактивного двигателя позволяет за заданное время стабилизировать спутник в орбитальной системе координат.

Если зафиксировать линейную структуру управления с учётом информационных ограничений, то рассмотренная здесь задача оптимального управления стохастической системой с информационными ограничениями может быть сведена к задаче управления коэффициентами линейного регулятора в детерминированной системе для математического ожидания и ковариационной матрицы вектора состояния. В этом случае представленный в данной работе градиентный метод для исходной системы по существу совпадёт с хорошо известными градиентными процедурами типа метода И. А. Крылова и Ф. Л. Черноусько для указанной детерминированной системы.

Отметим также, что заменив в задаче о спутнике случайные внешние воздействия некоторыми заданными неслучайными возмущениями, можно построить оптимальный регулятор при помощи обычных методов теории оптимального управления детерминированными системами. Однако, он не будет в общем случае оптимальной стратегией управления для исходной стохастической задачи, т.к. его использование не обеспечивает оптимальность с точки зрения критерия качества управления в среднем по вероятности.

Список литературы

[1] К. А. Царьков, М. М. Хрусталёв, Д. С. Румянцев, «Градиентный метод оптимизации стратегий управления квазилинейными стохастическими системами при наличии информационных ограничений», Труды ВСПУ-2014 (ИПУ РАН, 19.06.2014), с. 2383-2392 t 4, 6, 8.

[2] В. С. Пугачёв, И. Н. Синицын. Стохастические дифференциальные системы. Анализ и фильтрация, Наука, М., 1990 \ 4, 5.

[3] Д. К. Андрейченко, К. П. Андрейченко. «К теории стабилизации спутников с упругими стержнями», Изв. РАН. ТиСУ, 2004, №6, с. 150-163 Г 9.

[4] В. И. Гурман. Вырожденные задачи оптимального управления, Наука, М., 1997 t 10.

[5] Д. С. Румянцев, М. М. Хрусталёв. «Синтез стратегий оптимального управления гибким спутником при информационных ограничениях», Вестник МАИ, 15:2 (2008), с. 147-154 t 10.

Рекомендовал к публикации д.т.н. В. И. Гурман

Об авторах:

Дмитрий Станиславович Румянцев С.н.с. лаборатории 45 Института проблем управления им. В.А. Трапезникова РАН, к.ф.-м.н.; область научных интересов — теория оптимального управления стохастическими системами с информационными ограничениями.

e-mail: z2070@mail.ru

Кирилл Александрович Царьков

Математик лаборатории 45 Института проблем управления им. В.А. Трапезникова РАН; область научных интересов — теория оптимального управления стохастическими системами с информационными ограничениями.

e-mail: k6472@mail.ru

Пример ссылки на эту публикацию:

Д. С. Румянцев, К. А. Царьков. «Метод оптимизации квазилинейных стохастических систем в приложении к задаче оптимальной стабилизации спутника с упругой штангой», Программные системы: теория и приложения, 2015, 6:2(25), с. 3-17.

ир|_ http://psta.psd.ras. ru/read/psta2015_2_3- 17.pdf

Dmitry Rumyantsev, Kirill Tsar'kov. An Optimization Method for Quasi-linear Stochastic Systems in Application to the Flexible Satellite Optimal Stabilization Problem.

Abstract. This paper presents theoretical results derived by authors for a quasi-linear stochastic control problem with incomplete information. The information constraints manifest themselves in that each component of the control strategy vector depends on a preliminary assigned set of precisely measured state vector components. The results are used to the flexible satellite stabilization problem. The flexible satellite is a perfectly rigid artificial Earth satellite with an elastic rod represented by a radio antenna or gravitational stabilization girder. The paper contains the solutions of satellite stabilization problem in various cases of information constraints. These results allow one to choose a suitable set of the satellite dynamical parameters to be measured. (In Russian).

Key Words and Phrases: flexible satellite, stochastic optimal control, incomplete information.

References

[1] K. A. Tsar'kov, M. M. Khrustalëv, D. S. Rumyantsev, "Gradient method to optimize management strategies quasilinear stochastic systems under information constraints", Trudy VSPU-2014 (IPU RAN, 19.06.2014), pp. 2383-2392.

[2] V. S. Pugachev, I. N. Sinitsyn. Stochastic differential systems. Analysis and filtering, Jonh Wiley, Chichester-New York, 1987, 549 p.

[3] D. K. Andreychenko, K. P. Andreychenko. "On the theory of stabilization of satellites having elastic rods", Journal of Computer and Systems Sciences International, 43:6 (2004), pp. 973-986.

[4] V.I. Gurman. Singular optimal control problem, Nauka, M., 1997.

[5] D.S. Rumyantsev, M.M. Khrustalev. "Synthesis of optimal control strategies flexible companion at information constraints", Vestnik MAI, 15:2 (2008), pp. 147-154.

Sample citation of this publication:

Dmitry Rumyantsev, Kirill Tsar'kov. "An Optimization Method for Quasilinear Stochastic Systems in Application to the Flexible Satellite Optimal Stabilization Problem", Program systems: theory and applications, 2015, 6:2(25), pp. 3—17. (In Russian.) URL http://psta.psiras.ru/read/psta2015_2_3-17.pdf

© D. S. Rumyantsev!1, K. A. Tsar'kov!2, 2015

© ICS V. A. Trapeznikov of RAS!1, 2015

© Moscow Aviation Institute (National Research University)(2, 2015

© Program systems: Theory and Applications, 2015