Сравнительный анализ эффективности проекционного метода нелокального улучшения управления

4. Управляемые системы и методы оптимизации

УДК 517.977

© И. Д. Бурлаков

СРАВНИТЕЛЬНЫЙ АНАЛИЗ ЭФФЕКТИВНОСТИ ПРОЕКЦИОННОГО МЕТОДА НЕЛОКАЛЬНОГО УЛУЧШЕНИЯ

УПРАВЛЕНИЯ1

В статье рассматривается проекционный метод нелокального улучшения и приводится результат численного эксперимента по анализу эффективности этого метода в нелинейной задаче оптимального управления.

Ключевые слова: задача оптимального управления, нелокальное улучшение, вычислительный эксперимент, сравнительный анализ, проекционный метод, функция Понтрягина, численный метод.

QLD.Burlakov

COMPARATIVE ANALYSIS OF THE EFFECTIVENESS OF THE

PROJECTION METHOD OF NONLOCAL IMPROVEMENTS OF

CONTROL

A projection method for nonlocal improvement and results of numerical experiment in effectiveness analysis of this method in the nonlinear optimal control problem is considered.

Keywords: optimal control problem, nonlocal improvement, numerical experiment, comparative analysis, projection method, the Pontryagin function, numerical method.

Введение

Приближенные методы решения задач оптимального управления продолжают развиваться по разным направлениям в работах многих исследователей (А.В. Аргучинцев, А.С. Булдаев, В.И. Гурман, В.А. Дыхта, В.И. Зубов, В.Б. Колмановский, В.Ф. Кротов, В.А. Срочко, А.И. Тятюшкин, Р.П. Федоренко, Ф.Л. Черноусько и другие). В частности, В. Ф. Кротов в работе [9] описал общий метод глобального улучшения управлений, близкий к так называемым нелокальным методам улучшения

1 Работа выполнена при финансовой поддержке РФФИ

42

в дифференциальных системах, разрабатываемых в работах В. А. Срочко и А. С. Булдаева [2, 3, 4, 7].

Методы нелокального улучшения в отличие от локальных методов (например, метода условного градиента) не рассматривают операции слабого или игольчатого варьирования управления на каждой итерации с параметрическим поиском (который является довольно трудоемким) в достаточно малой окрестности улучшения. Основой методов нелокального улучшения в различных классах задач оптимального управления являются формулы приращения целевых функционалов без остаточных членов разложения. В результате последовательного решения задач улучшения управления генерируется релаксационная последовательность управлений, обладающая возможным свойством улучшать неоптимальные управления, удовлетворяющие принципу максимума, включая особые управления.

В статье проводится сравнительный анализ эффективности проекционного метода нелокального улучшения на тестовых задачах.

1. Постановка задачи

Рассматривается следующий класс задач оптимального управления:

*

tGT = [t0,t1l

к

Ф

где х(7)еТ?" - вектор состояния, н (7) е ]{' - вектор управления. В качестве допустимых управлений рассматривается множество V кусочно-непрерывных на функций со значениями в выпуклом

компактном множестве II а Яг. Промежуток управления - [/п, ] и

начальное состояние х0 заданы. Задача (1) - (3) является задачей оптимального управления со свободным правым концом. Предполагаются выполненными следующие условия: 1) функция (р(х) непрерывно-дифференцируема на Я", вектор-

функция р(х,и,{), и их производные Рх(х,и,{), Ри(х,и,{),

/Х(х,и,{}, /(( (х,и,/') непрерывны по совокупности аргументов (х,

на множестве Я" х II х Т;

2) функция ./ (х, / ^ удовлетворяет условию Липшица по х в Я" х17 хТ с константой Л > 0

||/ (х, u,t)-f (у, и, *)|| < Ь ||х - у\\. Эти условия гарантируют существование и единственность решения х(7,у), / е [/п,/| ] системы (1) - (2) для любого допустимого управления

Решать поставленную задачу (1) - (3) будем при помощи модифицированного проекционного метода нелокального улучшения управлений с дифференциально-алгебраической сопряженной системой [2, 3, 4].

Сначала рассмотрим саму дифференциально-алгебраическую сопряженную систему [3, 4]:

р

=

(р(хк))-(р(х° )) = (срх (х° )) + д, Ах)} , (7) где = — Е(х, и,?) - хорошо известная

функция Понтрягина, Нх(р,х,и,^, " производные

соответствующих функций по х . и0 (7) е V - допустимое начальное значение управление, х° - решение уравнения (1) для этого начального управления,

Величины г и £/ всегда можно выразить из соответствующих

алгебраических уравнений (6) и (7) (возможно и не единственным образом) [3, 4] и, таким образом, система (4) - (5) всегда может быть сведена к вспомогательной дифференциальной сопряженной системе.

Следует заметить, что если в задаче (1) - (3) /, /' линейны по х, то из

[3, 4] следует, что = 0, а если <р линейна, то с/ = 0 . В нелинейном случае, если в некоторый момент времени ^ е Т х°(7) = х(7), то полагаем г (7) = 0. Если при этом / = . то с/ = 0 .

Далее для допустимого управления и еГ и фиксированного параметра а > О рассмотрим проекционное отображение:

иа (р, х, = Ри (и + аНи (р, х, и, *)), [¿0, ^ ],

где Ри - оператор проектирования на множество II в евклидовой норме, Ни (р, х, //, / ^ - производная функции Понтрягина по управлению.

Дифференциальный принцип максимума (ДПМ) в задаче (1) - (3) для управления и е V с помощью отображения и ' представляется в виде:

и

где р (V, и, у) - сопряженная переменная. Для выполнения ДПМ

достаточно проверить условие (8) хотя бы для одного а > 0 .

Для заданных ос > О и / еК определим отображение м?" с помощью соотношения

м>а (р,х,X,8) = Ри (и0 (Г) + а(Ни (р,х,и0 (*)+ Г е^,^].

Параметр проектирования а > 0 рассматривается в качестве параметра возмущения . Уравнение (1) в данном случае примет вид:

х

Итерационный процесс при фиксированном а > 0 и заданном и0 е К имеет вид

и *+1 (г) = Ри (п° (/) +.ОсНи (/ (/),**(/)у, / ) + ,5 (/)), / е [/„ , ] , где на начальной итерации (нулевой итерации) задается начальное приближение и0 е V . л (7) определяется из уравнения

Я и0, и*), и* ),*#*(*), -

-Я и0,«*), (*)>*) =

хк (7), /У1 (7) являются решениями системы (9) и дифференциально-

алгебраической сопряженной системы (4) - (7) на к итерации, соответственно. В случае линейной по управлению задаче (1) - (3) = ГеГ. [3, 4].

Вычисляя л (7). г (7) и q мы можем применить некоторые условия [5, 6]. Сначала опишем условия для нахождения 5 (7) :

45

1. Если все компоненты ик (7) = н ' (7), то алгебраическое уравнение

(10) выполняется тождественно. В этом случае компоненты л (7) могут принимать произвольное значение, тогда, выбираем значения всех компонент 5 (7), исходя из непрерывности, т.е. полагая равным значению

5 (7) в соседнем левом узле. При этом, если 1 = (начальный момент), то

слева нет узла, а значит, выбираем любое значение, например ^(70) = 0, для всех компонентов;

2. Если, хотя бы одна компонента вектора ик (7] Ф и0 (7]. то именно для этой компоненты однозначно определяется соответствующая компонента л (7) из формулы (10), один из вариантов такого определения:

А ,лН(р,х,и,1) , . ч / ч \

где Ав(()Я(р,х,и^) = Н(ри°У),х^У),ик (*),-

Н^р^УУ^х^У^У^),^ и Аик^) = ик . Причем все

остальные компоненты нужно положить равными по непрерывности значениям в левом соседнем узле. Но если при этом t = t0, то полагаем, что эти остальные элементы равны нулю.

Теперь покажем условия для определения г (7) и С). Но для начала

перепишем дифференциально-алгебраическую сопряженную систему (4) - (7) в итерационном виде:

РШ « = -Нх

(нх(рк(1)У(1)У(1)^)+г(1)У(1)-х\1)), (13) <р (хк (/, ))-<р(х° к )) = (<рх (х° (0) + 9, * )-х°М). (14) где рк (7) = р(^У У^ , х^ (7) = . Таким образом, вычисляя

г (7) и С) из уравнений (11) - (14) необходимо учитывать следующие условия:

1. Если все компоненты хк (V) = х° (V), то алгебраическое уравнение

(13) выполняется тождественно. В этом случае компоненты /' (/] могут принимать произвольное значение, тогда, выбираем значения всех компонент г (/] , исходя из непрерывности, т.е. полагая равным значению

в соседнем правом узле. При этом, если X — (конечный момент), то справа нет узла, следовательно, выбираем любое значение, например г ) = 0 для всех компонентов. Также если в этот конечный момент

выполняется хк = х° уравнение (14) обращается в тождество, поэтому задаем, например, q = 0 для всех компонентов;

2. Если, хотя бы одна компонента вектора хк (/] ^ х" (/].

соответствующая компонента г (/] однозначно определяется именно для этой компоненты из формулы (13), один из вариантов определения:

(0= ''-Л4р(<УУ),*(<У)У(04

где Ах{()Н (р, х, и,1) = Н (рк , хк , и0 , 0 -

Н(рк(0,х° и ¿±хк(0 = хк [0~х° {0  пРичем все

остальные компоненты нужно положить равными по непрерывности значениям в правом соседнем узле. Но если при этом ^ = ^ , то полагаем, что эти остальные компоненты равны нулю. Аналогичное, соответствует для q из уравнения (14).

2. Вычислительный эксперимент

Для сравнительного анализа рассматриваемого метода проведем вычислительный эксперимент. Вначале опишем общие параметры.

Вычисленные значения управляемых, фазовых и сопряженных переменных будем запоминать в узлах равномерной сетки с шагом

дискретизации А/ = 10 3 на отрезке [/п, ]. В промежутках между

соседними узлами сетки значение управления принимаем постоянным и равным значению управления в левом узле. Численный расчет задачи проводим до первого улучшения. Далее строим новую задачу, и повторяем итерационный алгоритм. В качестве критерия остановки

выбираем условие

ф

£ , где £ > 0 - заданная

точность (в примере £ =10 4). Эффективность методов также зависит и от алгоритмов, используемых для решения вспомогательных задач, например, интегрирование дифференциальных систем. По этой причине, численное решение фазовых и сопряженных задач Коши будем осуществлять методом Рунге-Кутта-Вернера пятого или шестого порядка точности с помощью библиотеки IMSL языка Fortran PowerStation 4.0 [1].

При вычислении s(t), /' (/J и q принимаем условия, описанные выше,

только внеся некоторое изменение: мы фиксируем один из rt (/J равным

нулю и проводим дальнейшее вычисление по обычным правилам. В качестве результата выбираем наилучшее решение

Пример 1. Оптимальная ориентация летательного аппарата в пространстве [8].

*i(0 = *3>

Х2 (0 = Х4>

<

Х3 (V) = -х4 +их sin и2 х4 (t) = х3+щ cos и2 х1 (О) = 10, х2 (О) = 0, х3 (О) = 10, х4 (О) = 0, iepU],

4

Ф (и) = tx +1000^ xf (tx) ^ min.

i=1

Проведем расчет с помощью проекционного метода нелокального улучшения и сравним с результатами, полученными в [8]. Для решения задачи введем необходимые конструкции.

Функция Понтрягина для заданной задачи записывается следующим образом:

Н(р,х, и, t) = рх х3 + р2х4 + +р3 (г/j sinw2 -х4) + р4(х3 cosw2) .

Градиенты:

HXl=o, нХ2= о, Нхъ =р+р4, НХ4=р2-р3,

Н = рз sin и2 + р4 COS и2 , Ни! = рзЩ COS и2 - P4UJ sin и2.

Дифференциально-алгебраическая сопряженная система запишется в следующем виде:

p1(t) = 0, p1(t1) = -2000xl(t1)-q1, 48

Л(0 = О> Р2(^) = -2000х2^)-д2, Рз (0 = ~Р\ ~Рл> Рз ) = "2000х3 ) - д3, Рз (О = ~Р2 +Рз' Рз (¿1) = "2000х3 )-д4. В исходной задаче /, /' линейны по х, значит /' = 0 . / = 1,4. Для нахождения с/ используем формулу:

-р-ИО).

полученную из (14), вместе с правилами описанными выше.

Итерационный процесс при фиксированном ос > О и заданном е V имеет вид

и*+1 (0 = Ри (и0 (/)+«#„ (рк (ОУ + Я(0).

где находится по правилу выше. В качестве начального

приближения выбиралось управление и0 (/] = 0 .

В таблице 1 приводятся результаты, полученные рассматриваемым

-«—г *

методом (ПМНУ) и методами из работы [8] (Ф обозначает наилучшее значение функционала).

Таблица . Сравнительный анализ эффективности

Метод Ф Кол-во задач Коши

1 10.285456 47422

2 10.288656 100048

ПМНУ 10.290443 33907

Проекционный метод для данной задачи показал меньшую трудоемкость по количеству решенных задач Коши, хотя и уступил по точности решения. На следующих рисунках представлен рассчитанный оптимальный процесс (итоговые управление и фазовые траектории):

0 2,058 4,116 6,174 8,232 10,29

Рисунок 1. Фазовая траектория х1 (/]

х2 ......хЗ---х4

Рисунок 2. Фазовая траектория

Рисунок 3. Управление ип (/) Итоговое управление их (/) = 1. / е [0, ] не представлено.

Пример 2. Оптимальное управление потоком хладагента в химическом реакторе [10, с. 405 - 407]

Рассматривается задача стабилизации химического реактора, представляющая собой аппарат с мешалкой и подведенным каналом поступления хладагента:

0.78

Ф(м)= J (x2(t) + x22(t))dt ->inf,

о

25xt

jq (/) = -2(х1 + 0.25) + (х2 + 0.5) eXl+2 - (jq + 0.25)и, xl (o) = 0.05,

25x1

JC2 (/) = 0.5 - JC2 - (jc2 + 0.5) eXl+2, x2 (o) = 0, x1(0.78) = 0, x2(0.78) = 0, w(0G["1,1], tG [0,0.78]. Функции X! (/). x2 (/) описывают соответственно отклонения

температуры и концентрации. Управление u(t) характеризует поток

хладагента, регулирующего необратимую экзотермическую реакцию.

В [10] Kirk D. Е производит редукцию к задаче конечномерной оптимизации за счет дискретизации по функциям состояния и управления, замены производных конечными разностями по схеме Эйлера. Число моментов дискретизации не указано. В результате в [10] им были получены следующие результаты: х1 (0.78) = -6 .167x10 ,

х2 (о.78) = —0.631 х 10 6, Ф* «0.00220.

Приведем решаемую задачу к виду (1) - (3), т.е. со свободным правым концом, следуя методу штрафов, при достаточно большом фиксированном штрафном коэффициенте М > 0 :

Фм = M(xf (0.78) + х22 (0.78)) + х3 (0.78) ^ inf,

25xt

jq (/) = -2(х1 + 0.25) + (х2 + 0.5)еч+2 -(хх + 0.25)и, х1 (о) = 0.05,

х2 (/) = 0.5 - х2 - (х2 + 0.5) eXl+2, х2 (о) = 0, i3 (t) = X2 + х2, х3 (о) = 0

Xj (0.78) = 0, х2 (0.78) = 0, u(t)G[-1,1], te [0,0.78].

Функция Понтрягина для данной задачи записывается следующим образом:

Н(р,х,и^) =

= Рх

25 х1 х,+2

-2

и

+Р2

0.5-х2-(х2+0.5)е

25 х, '1+2

-р3[х'+х22].

Градиенты:

Я. =

ч50(х7+0.5) ^ .

, =

(//)- (/Л -(^-«

25х,

НХ1 ={р1-р2)е^2-р2+2р3х2, (яД = 2а. ЯХз =0,

(яД =0,Яи=-А(х1+0.25).

Запишем получившуюся модифицированную сопряженную систему, вычислив г (V) и С) по методу с условиями описанными выше:

а=(А -а) ; ч2 +(2+«)л -

~2р3Х1 -

50(х2+0.5)(23-Х,);|

25х1 Л

е 1

(а-Л) ,

рх (0.78) = -2Мх1 (0.78) -М><(0.78) ,

25хд :,+2

где

р2 = (р2 ~ Р\ ) + Р2 - 2РзХ2 - РзУ (0 , р2 (0.78) = -2Мх2 (0.78)-Му (0.78), Д=0, р3 (0.78) = -1.

Будем решать с помощью проекционного метода нелокального улучшения

иш (/) = Ри („*(/).+,аНи (/),**(/) У (/), /)),

/еГ,

где функции х^ (/), /У1 (/) находятся в результате интегрирования фазовой и модифицированной сопряженной системы на текущем приближении. 5^) = 0 так как задача линейна по управлению. В

качестве начального приближения выбиралось управление и0 (/) = 1.

Проведем расчет ПМНУ для разных значений параметра а > 0 и штрафного коэффициента М > 0. Наилучшее расчетное значение

функционала Ф , вычисленное по методу ПМНУ, наблюдалось для параметров а = 0.13, М = 2.

Значения а > 0 и М> 0 Значение Ф ^

а = 0.13, М = 2 0.00200330 -9.62x10"4 1.24x10"3

Для сравнения проведем расчет также стандартным методом проекции градиента (МПГ) при М = 2, н " (/) = 1. где в схеме параметрической

оптимизации применим метод золотого сечения с погрешностью 10 3. Получаем следующий результат (0.78) = 8.79 х 10 4,

х2(0.78) = 7.17х1(Г4, Ф*« 0.00200.

Рассчитывая же методом условного градиента (МУГ), с аналогичной погрешностью параметрической оптимизации, приходим к следующим

результатам (0.78) = -5.77х 10~4, х2(0.78) = 2.07x10 \

Ф* » 0.00200.

Метод Значение Ф ^

МПГ 0.00200084 8.79 х10~4 7.17х10~4

МУГ 0.00199673 -5.77x10"4 2.07x10"3

Для более удобного анализа приведем все решения в одной таблице:

аблица 2. Сравнительный анализ эффективности

Метод Значение Ф хДО.78) х2(0.78) Число задач Коши

МПГ 0.002000 8.79 х Ю^4 7.17x10^ 101

МУГ 0.001997 -5.77 х10~4 2.07 х10~3 96

ПМНУ 0.002003 -9.62 х 10~4 1.24х10_3 90

Методом Клгк Б. Е 0.00220 -6.16х10"6 -0.63 х 10~6

Скорость сходимости ПМНУ для различных значений М > 0 зависела

от выбора значений параметра ОС >0 . Например, для М = 2 сходимость

наблюдалась при а, е (0; 0.4). где при очень маленьких шагах скорость

сходимости была медленной. Лучшая скорость по количеству решенных

задач Коши наблюдалась для а, е (0.10; 0.14). При увеличении

штрафного параметра, приходилось уменьшать а, . При этом скорость сходимости также падала.

На следующих рисунках представлен расчетный оптимальный процесс

(итоговое управление //(V) и фазовые траектории Л", (/). х2(1)):

Рисунок 4. Фазовые траектории

1

Рисунок 5. Управление 54

Заключение

В рамках рассматриваемых расчетных задач рассматриваемый проекционный метод нелокального улучшения управления в целом показал лучшую эффективность по количеству расчетных задач Коши по сравнению с градиентными процедурами и другими методами, при приемлемой точности решения. При этом, в отличие от градиентных методов, требующих трудоемкую настройку процедур локального варьирования управления, настройка сходимости нелокального проекционного метода осуществляется только выбором одного настроечного параметра а > О .

Литература

1. Бартеньев О. В. Фортран для профессионалов. Математическая библиотека IMSL. Часть 3 // О. В. Бартеньев. - Москва: Диалог-МИФИ, 2001.-368 с.

2. Булдаев А. С. Методы возмущений в задачах улучшения и оптимизации управляемых систем / А. С. Булдаев. - Улан-Удэ : Издательство Бурятского госуниверситета, 2008. - 260 с.

3. Булдаев А. С. Модификация метода проекций для улучшения нелинейных управленй / А. С. Булдаев, О. В. Моржин // Вестник Бурятского госуниверситета. - 2010. - Вып. 9: Математика, информатика. - С. 10-17.

4. Булдаев А. С. Улучшения управлений в нелинейных системах на основе краевых задач / А. С. Булдаев, О. В. Моржин // Известия Иркутского госуниверситета. Серия «Математика». - 2009. - Т. 2, № 1. -С. 94- 106.

5. Булдаев А. С. Условия улучшения и оптимальности в задачах оптимизации нелинейных управляемых систем / А. С. Булдаев, Г. Анхбаяр // Вестник Бурятского госуниверситета. - 2014. - Вып. 9(2): Математика, информатикаю. - С. 3 - 9.

6. Бурлаков И. Д. Анализ эффективности метода нелокального улучшения в задачах оптимального управления / И. Д. Бурлаков // Вестник Бурятского госуниверситета. - 2014. - Вып. 9(2): Математика, информатика. - С. 10-19.

7. Срочко В. А. Итерационные методы решения задач оптимального управления / В. А. Срочко. - Москва: Наука, 2000. - 160 с.

8. Горнов А. Ю. Вычислительные технологии решения задач оптимального управления / А. Ю. Горнов - Новосибирск: Наука, 2005. -279 с.

9. Krotov V. F. Global methods in optimal control theory / V. F. Krotov. - New York : Marcel Dekker, 1996. - 408 p.

10. Kirk D. Е. Optimal control theory. An introduction / D. E. Kirk. - New York: Dover Publ., 2004. - 472 p.

References

1. Barten'ev О. V. Fortran dlya professionalov. Matematicheskaya biblioteka IMSL. CHast' 3 // О. V. Barten'ev. - Moskva: Dialog-MIFI, 2001. -368 p.

2. Buldaev A. S. Metody vozmushchenij v zadachah uluchsheniya i optimizacii upravlyaemyh sistem / A. S. Buldaev. - Ulan-Ude: Izdatel'stvo Buryatskogo gosuniversiteta, 2008. - 260 p.

3. Buldaev A. S. Modifikaciya metoda proekcij dlya uluchsheniya nelinejnyh upravlenj / A. S. Buldaev, О. V. Morzhin // Vestnik Buryatskogo gosuniversiteta. - 2010. - Vyp. 9: Matematika, informatika. - P. 10 - 17.

4. Buldaev A. S. Uluchsheniya upravlenij v nelinejnyh sistemah na osnove kraevyh zadach / A. S. Buldaev, О. V. Morzhin // Izvestiya Irkutskogo gosuniversiteta. Seriya «Matematika». - 2009. - T. 2, № 1. - P. 94 - 106.

5. Buldaev A. S. Usloviya uluchsheniya i optimal'nosti v zadachah optimizacii nelinej-nyh upravlyaemyh sistem / A. S. Buldaev, G. Anhbayar // Vestnik Buryatskogo gosuniversiteta. - 2014. - Vyp. 9(2): Matematika, informatika. - P. 3 - 9.

6. Burlakov I. D. Analiz ehffektivnosti metoda nelokal'nogo uluchsheniya v zadachah op-timal'nogo upravleniya / I. D. Burlakov // Vestnik Buryatskogo gosuniversiteta. - 2014. - Vyp. 9(2): Matematika, informatika. - P. 10 - 19.

7. Srochko V. A. Iteracionnye metody resheniya zadach optimal'nogo upravleniya / V. A. Srochko. - Moskva: Nauka, 2000. - 160 p.

8. Gornov A. Yu. Vichislitelnii tekhnologii reshenya zadach optimalnogo upravlenya / A. Yu. Gornov. - Novosibirsk: Nauka, 2009. - 279 p.

9. Krotov V. F. Global methods in optimal control theory / V. F. Krotov. - New York : Marcel Dekker, 1996. - 408 p.

10. Kirk D. E. Optimal control theory. An introduction / D. E. Kirk. - New York: Dover Publ., 2004. - 472 p.

Бурлаков Иван Дмитриевич, аспирант кафедры прикладной математики Бурятского государственного университета, e-mail: ivan.bulakov.91@mail.ru

Burlakov Ivan Dmitrievich, Research Assistant, Department of Applied mathematics, Buryat State University, e-mail: ivan.bulakov.91@mail.ru