An Efficient Global Optimization Method Based on Multi-Unit Extremum Seeking

RESUME Les problemes d'optimisation industrielle, telle que la maximisation de la production de produits chimiques et petrochimiques, montrent generalement plusieurs points optimaux locaux. Le developpement de methode pour la selection du point optimal global a toujours fait l’objet de nombreuses recherches. Plusieurs techniques deterministes et stochastiques ont ete explorees a cette fin. Les techniques stochastiques ne garantissent pas toujours la convergence vers la solution globale, mais sont efficaces pour les dimensions superieures. D'autre part, les methodes deterministes se rendent a l'optimum global, mais le defi est d'employer un cloisonnement efficace de l'espace afin de reduire le nombre d'evaluations fonctionnelles. Cette these propose une approche originale en matiere d’optimisation globale, numerique et deterministe basee sur des techniques d'optimisation locale en temps reel et en particulier, sur des techniques sans modele appele les systemes de commande extremale. Pour les problemes sans contrainte, les systemes de commande extremale represente le probleme d'optimisation comme un controle du gradient. La facon dont le gradient est estime constitue la difference principale entre les differentes alternatives qui sont proposees dans la litterature scientifique. Pour les methodes de perturbation, un signal d'excitation temporelle est utilise afin de calculer le gradient. Une alternative existe dans le cadre d'optimisation multi-unite ou le gradient est estime par la difference finie de la sortie de deux unites identiques, mais dont les donnees d’entre se distinguent par un decalage. Le point de depart de cette recherche a ete motivee par les systemes de commandes extremales locales. Ces commandes sont basees sur une perturbation qui peut etre utilisee comme un outil pour l'optimisation globale des polynomes scalaires du quatrieme ordre avec un optimum global. L'objectif de cette these est d'etendre ce concept et de developper une technique d'optimisation globale deterministe pour une classe generale de systemes multi-variables, statiques, non lineaires et continus. Dans cette these, il est d'abord demontre que si le decalage est reduit a zero pour une optimisation multi-unite scalaire, le systeme converge vers l'optimum global. Le resultat est egalement etendu aux problemes scalaires avec contraintes qui sont caracterises par des regions non-convexes. Dans ce cas, une strategie de commande de “Switching” est utilisee pour faire face aux contraintes. ----------ABSTRACT Industrial optimization problems, e.g., maximizing production in chemical and petrochemical facilities, typically exhibit multiple local optimal points and so choosing the global one has always attracted many researchers. Many deterministic and stochastic techniques have been explored towards this end. The stochastic techniques do not always guarantee convergence to the global solution, but fare well computationally for higher dimensions. On the other hand, the deterministic methods get to the global optimum, while the challenge therein is to employ an efficient partitioning of the space in order to reduce the number of functional evaluations. This thesis proposes an original approach to numerical deterministic global optimization based on real-time local optimization techniques (in particular, model-free techniques termed the extremum-seeking schemes). For unconstrained problems, extremum-seeking schemes recast the optimization problem as the control of the gradient. The way the gradient is estimated forms the main difference between different alternatives that are proposed in the literature. In perturbation methods, a temporal excitation signal is used in order to compute the gradient. As an alternative, in the multi-unit optimization framework, the gradient is estimated as the finite difference of the outputs of two identical units driven with the inputs that differ by an offset. The starting point of this research was motivated by the perturbation-based extremum seeking schemes which can be used as a tool for global optimization of scalar fourth order polynomials, with one local and one global optimum. The objective of this thesis is to extend this concept and develop a deterministic global optimization technique for a general class of multi-variable, static, nonlinear and continuous systems. In this thesis, it is first shown that in the scalar multi-unit optimization framework, if the offset is reduced to zero, the scheme converges to the global optimum. The result is also extended to scalar constrained problems, with possible non-convex feasible regions, where a switching control strategy is employed to deal with the constraints. The next step consists of extending the algorithm to more than one variable. For two-input systems, univariate global optimization was repeated on the circumference of a circle of reducing radius. With three variables, the two-variable optimization mentioned above is repeated on the surface of a sphere of reducing radius. Time-scale separation between the various layers