From Deep Mixture Models towards Distributional Regression - Exploring Complex Multivariate Data
Creators: name: Kock, Lucas
Publisher: name: Humboldt-Universität zu Berlin
Year: 2024
Subjects: subject: Mischmodelle
subject: Regression
subject: Multivariate Statistik
subject: Clusteranalyse
subject: Mixture models
subject: regression
subject: multivariate statistics
subject: clustering
subject: 519 Wahrscheinlichkeiten und angewandte Mathematik
subject: QH 240
subject: QH 253
subject: QH 462

description: Diese Dissertation stellt drei sich ergänzende Fortschritte in der statistischen Modellierung multivariater Daten vor und behandelt Herausforderungen im Bereich des modellbasierten Clusterings für hochdimensionale Daten, der Analyse longitudinaler Daten sowie der multivariaten Verteilungsregression. Der erste Forschungszweig konzentriert sich auf tiefe Gaußsche Mischmodelle, eine leistungsfähige Erweiterung herkömmlicher Gaußscher Mischmodelle. Wir erforschen Bayessche Inferenz mit Sparsamkeitsprioris zur Regularisierung der Schätzung tiefer Mischmodelle und stellen ein innovatives tiefes Mischmodell von Faktormodellen vor, das in der Lage ist, hochdimensionale Probleme zu bewältigen. Der zweite Forschungsstrang erweitert tiefe Mischmodelle von Clustering zu Regression. Unter Verwendung des tiefen Mischmodells von Faktormodellen als Prior für Zufallseffekte stellen wir einen innovativen Ansatz vor: tiefe Mischmodelle von linearen gemischten Modellen, der lineare gemischte Modelle so erweitert, dass er den Komplexitäten longitudinaler Daten mit vielen Beobachtungen pro Subjekt und komplexen zeitlichen Trends gerecht wird. Dieser Forschungszweig überwindet Beschränkungen gegenwärtiger Modelle und präsentiert eine anpassungsfähige Lösung für hochdimensionale Szenarien. Der dritte Forschungszweig setzt sich mit der Herausforderung auseinander, wahrhaft multivariate Verteilungen im Kontext von Generalisierten Additiven Modellen für Ort, Skala und Form zu modellieren. Wir präsentieren einen innovativen Ansatz, der Copula-Regression nutzt, um die Abhängigkeitsstruktur mittels einer Gauß-Copula zu modellieren. Dies ermöglicht die gemeinsame Modellierung hochdimensionaler Vektoren mit flexiblen marginalen Verteilungen. Hier erleichtert bayessche Inferenz die effiziente Schätzung des stark parametrisierten Modells und führt zu einem äußerst flexiblen Ansatz im Vergleich zu bestehenden Modellen.
description: This thesis introduces three complementary advancements in statistical modeling for multivariate data, addressing challenges in model-based clustering for high-dimensional data, longitudinal data analysis, and multivariate distributional regression. The first research strand focuses on deep Gaussian mixture models, a powerful extension of ordinary Gaussian mixture models. We explore the application of Bayesian inference with sparsity priors to regularize the estimation of deep mixtures, presenting a novel Bayesian deep mixtures of factor analyzers model capable of handling high-dimensional problems. The inclusion of sparsity-inducing priors in the model contributes to improved clustering results. A scalable natural gradient variational inference algorithm is developed to enhance computational efficiency. The second research strand extends deep mixture models from clustering towards regression. Leveraging the deep mixtures of factor analyzers model as a prior for random effects, we introduce a novel framework, deep mixtures of linear mixed models that extends mixtures of linear mixed models to accommodate the complexities of longitudinal data with many observations per subject and intricate temporal trends. We describe an efficient variational inference approach. This research addresses the limitations of current models and provides a flexible solution for high-dimensional settings. The third research strand tackles the challenge of modeling truly multivariate distributions in the context of Generalized Additive Models for Location, Scale, and Shape. We propose a novel approach utilizing copula regression to model the dependence structure through a Gaussian copula, allowing for joint modeling of high-dimensional response vectors with flexible marginal distributions. Here, Bayesian inference facilitates efficient estimation of the highly parameterized model, introducing a highly flexible and complementary approach to existing models.