title: Numerische Methoden der Optimalen Versuchsplanung auf Basis Quadratisch Approximierter Konfidenzgebiete
title: Numerical Methods of Optimum Experimental Design Based on a Second-Order Approximation of Confidence Regions
title: Numerical Methods of Optimum Experimental Design Based on a Second-Order Approximation of Confidence Regions
Creators: name: Nattermann, Max
Publisher: name: Philipps-Universität Marburg
Year: 2015
Subjects: DoE
Optimale Versuchsplanung
Konfidenzgebiete
Parameterschätzung
Optimum Experimental Design
Sensitivitätsanalyse
Sensitivity Analysis
Confidence Regions
Parameter Estimation
Robustification
Mathematik
Robuste Versuchsplanung

description: A successful application of
      model-based simulation and optimization of dynamic processes
      requires an exact calibration of the underlying mathematical
      models. Here, a fundamental task is the estimation of unknown
      and nature given model coefficients by means of real
      observations. After an appropriate numerical treatment of the
      differential systems, the parameters can be estimated as the
      solution of a finite dimensional nonlinear constrained
      parameter estimation problem. Due to the fact that the
      measurements always contain defects, the resulting parameter
      estimate cannot be seen as an ultimate solution and a
      sensitivity analysis is required to quantify the statistical
      accuracy. The goal of the design of optimal experiments is
      the identification of those measurement times and
      experimental conditions which allow a parameter estimate with
      a maximized statistical accuracy. Also the design of optimal
      experiments problem can be formulated as an optimization
      problem, where the objective function is given by a suitable
      quality criterion based on the sensitivity analysis of the
      parameter estimation problem. In this thesis, we develop a
      quadratic sensitivity analysis to enable a better assessment
      of the statistical accuracy of a parameter estimate in the
      case of highly nonlinear model functions. The newly
      introduced sensitivity analysis is based on a quadratically
      approximated confidence region which is an expansion of the
      commonly used linearized confidence region. The quadratically
      approximated confidence region is analyzed extensively and
      adequate bounds are established. It is shown that exact
      bounds of the quadratic components can be obtained by solving
      symmetric eigenvalue problems. One main result of this thesis
      is that the quadratic part is essentially bounded by two
      Lipschitz constants, which also characterize the Gauss-Newton
      convergence properties. This bound can also be used for an
      approximation error of the validity of the linearized
      confidence regions. Furthermore, we compute a quadratic
      approximation of the covariance matrix, which delivers
      another possibility for the statistical assessment of the
      solution of a parameter estimation problem. The good
      approximation properties of the newly introduced sensitivity
      analysis are illustrated in several numerical examples. In
      order to robustify the design of optimal experiments, we
      develop a new objective function - the Q-criterion - based on
      the introduced sensitivity analysis. Next to the trace of the
      linear approximation of the covariance matrix, the
      Q-criterion consists of the above-mentioned Lipschitz
      constants. Here, we especially focus on a numerical
      computation of an adequate approximation of the constants.
      The robustness properties of the new objective function in
      terms of parameter uncertainties is investigated and compared
      to a worst-case formulation of the design of optimal
      experiments problem. It is revealed that the Q-criterion
      covers the worst-case approach of the design of optimal
      experiments problem based on the A-criterion. Moreover, the
      properties of the new objective function are considered in
      several examples. Here, it becomes evident that the
      Q-criterion leads to a drastic improve of the Gauss-Newton
      convergence rate at the following parameter estimation.
      Furthermore, in this thesis we consider efficient and
      numerically stable methods of parameter estimation and the
      design of optimal experiments for the treatment of multiple
      experiment parameter estimation problems. In terms of
      parameter estimation and sensitivity analysis, we propose a
      parallel computation of the Gauss-Newton increments and the
      covariance matrix based on orthogonal decompositions.
      Concerning the design of optimal experiments, we develop a
      parallel approach to compute the trace of the covariance
      matrix and its derivative.
description: Der erfolgreiche Einsatz
      modellbasierter Simulationen und Prozess-Optimierungen von
      dynamischen Prozessen erfordert eine präzise Kalibrierung der
      zugrundeliegenden mathematischen Modelle. Eine grundlegende
      Schwierigkeit ist dabei die Identifikation von unbekannten
      und naturgegebenen Modellkoeffizienten anhand von realen
      Beobachtungen. Nach einer geeigneten numerischen Behandlung
      des Differentialgleichungssystems können diese Parameter als
      Lösung eines endlich dimensionalen, nichtlinearen und
      beschränkten Optimierungsproblems geschätzt werden. Da die
      Messwerte stets mit Messfehlern behaftet sind, kann die
      resultierende Schätzung nicht als endgültig angesehen werden
      und es bedarf einer Sensitivitätsanlyse, um den Einfluss der
      Messfehler auf die Parameterschätzung zu quantifizieren. Das
      Ziel der optimalen Versuchsplanung ist die Identifikation
      derjenigen Messzeitpunkte und experimentellen Bedingungen,
      welche eine Parameterschätzung mit einer maximalen
      statistischen Güte erlauben. Auch das Versuchsplanungsproblem
      kann als beschränktes Optimierungsproblem formuliert werden,
      dessen Zielfunktion auf einem geeigneten Gütekriterium auf
      Basis der Sensitivitätsanalyse des Parameterschätzproblems
      basiert. Zur besseren Einschätzung der statistischen Güte der
      Parameterschätzungen bei hochgradig nichtlinearen
      Modellfunktionen wird in dieser Arbeit eine quadratische
      Sensitivitätsanalyse entwickelt. Basis der neu eingeführten
      Sensitivitätsanalyse ist ein quadratisch approximiertes
      Konfidenzgebiet, welches eine Erweiterung der üblicherweise
      verwendeten linearisierten Konfidenzgebiete darstellt. Das
      neu definierte Konfidenzgebiet wird ausführlich analysiert
      und geeignete Schranken werden hergeleitet. Dabei wird
      gezeigt, dass exakte Schranken für die quadratischen Anteile
      des Konfidenzgebietes auf die Lösungen von symmetrischen
      Eigenwertproblemen zurückgeführt werden können. Ein weiteres
      grundlegendes Resultat ist, dass der quadratische Anteil im
      Wesentlichen durch zwei Lipschitzkonstanten beschränkt ist,
      welche auch die Konvergenzeigenschaften des
      Gauß-Newton-Verfahrens charakterisieren. Diese Schranke kann
      auch als Fehlerabschätzung für die Gültigkeit der
      linearisierten Konfidenzgebiete herangezogen werden.
      Zusätzlich wird eine quadratische Approximation der
      Kovarianzmatrix berechnet, welche eine weitere Möglichkeit
      zur Einschätzung der statistischen Güte von Lösungen von
      Parameterschätzproblemen darstellt. Auch hier werden
      Parameterabhängigkeiten des Modells bis zur zweiten Ordnung
      berücksichtigt. Die guten Approximationseigenschaften der neu
      eingeführten Sensitivitätsanalyse werden an mehreren
      Beispielen demonstriert. Zur Robustifizierung der optimalen
      Versuchsplanung wird in dieser Arbeit eine neue Zielfunktion
      - das Q-Kriterium - auf Basis der eingeführten
      Sensitivitätsanalyse entwickelt. Neben der Spur der linearen
      Approximation der Kovarianzmatrix sind die bereits erwähnten
      Lipschitzkonstanten wesentliche Bestandteile des
      Q-Kriteriums. Hierbei wird insbesondere auf die numerische
      Berechnung bzw. eine geeignete Approximation der
      Lipschitzkonstanten eingegangen. Die Robustheit der neuen
      Zielfunktion gegenüber Unsicherheiten in den Parameterwerten
      wird untersucht und mit einer Worst-Case-Formulierung des
      Versuchsplanungsproblems unter Verwendung des A-Kriteriums
      verglichen. Dabei stellt sich heraus, dass die Verwendung des
      Q-Kriteriums die Worst-Case-Robustifizierung der optimalen
      Versuchsplanung unter Verwendung des A-Kriteriums bereits
      beinhaltet. Die Eigenschaften der neuen Zielfunktion der
      optimalen Versuchsplanung werden an diversen Beispielen
      untersucht. Hier zeigt sich insbesondere, dass bei der
      anschließenden Parameterschätzung die Anzahl der benötigten
      Gauß-Newton-Iterationsschritte deutlich reduziert werden
      kann. Des Weiteren werden in dieser Arbeit effiziente und
      numerisch stabile Berechnungsmethoden der Parameterschätzung
      und der optimalen Versuchsplanung für Parameterschätzprobleme
      mit einer Mehrfachexperimentstruktur betrachtet. Für die
      Parameterschätzung und Sensitivitätsanalyse werden eine
      parallele Berechnung der Gauß-Newton-Inkremente sowie der
      Kovarianzmatrix auf Basis von orthogonalen Zerlegungen
      vorgeschlagen. Schließlich wird für die optimale
      Versuchsplanung eine parallele Vorgehensweise zur Berechnung
      der Spur der Kovarianzmatrix bzw. deren Ableitung
      entwickelt.