title: Einsatz des Choquet Integrals für das maschinelle Lernen monotoner Klassifikationsmodelle
title: Learning nonlinear monotone classifiers using the Choquet Integral
Creators: name: Fallah Tehrani, Ali
Publisher: name: Philipps-Universität Marburg
Year: 2014
Subjects: Choquet integral
monotone classifier
Informatik
monotone Klassifizier
logistic regression

description: In der jüngeren Vergangenheit hat
      das Lernen von Vorhersagemodellen, die eine monotone
      Beziehung zwischen Ein- und Ausgabevariablen garantieren,
      wachsende Aufmerksamkeit im Bereich des maschinellen Lernens
      erlangt. Besonders für flexible nichtlineare Modelle stellt
      die Gewährleistung der Monotonie eine große Herausforderung
      für die Umsetzung dar. Die vorgelegte Arbeit nutzt das
      Choquet Integral als mathematische Grundlage für die
      Entwicklung neuer Modelle für nichtlineare
      Klassifikationsaufgaben. Neben den bekannten Einsatzgebieten
      des Choquet-Integrals als flexible Aggregationsfunktion in
      multi-kriteriellen Entscheidungsverfahren, findet der
      Formalismus damit Eingang als wichtiges Werkzeug für Modelle
      des maschinellen Lernens. Neben dem Vorteil, Monotonie und
      Flexibilität auf elegante Weise mathematisch vereinbar zu
      machen, bietet das Choquet-Integral Möglichkeiten zur
      Quantifizierung von Wechselwirkungen zwischen Gruppen von
      Attributen der Eingabedaten, wodurch interpretierbare Modelle
      gewonnen werden können. In der Arbeit werden konkrete
      Methoden für das Lernen mit dem Choquet Integral entwickelt,
      welche zwei unterschiedliche Ansätze nutzen, die
      Maximum-Likelihood-Schätzung und die strukturelle
      Risikominimierung. Während der erste Ansatz zu einer
      Verallgemeinerung der logistischen Regression führt, wird der
      zweite mit Hilfe von Support-Vektor-Maschinen realisiert. In
      beiden Fällen wird das Lernproblem imWesentlichen auf die
      Parameter-Identifikation von Fuzzy-Maßen für das Choquet
      Integral zurückgeführt. Die exponentielle Anzahl von
      Freiheitsgraden zur Modellierung aller Attribut-Teilmengen
      stellt dabei besondere Herausforderungen im Hinblick auf
      Laufzeitkomplexität und Generalisierungsleistung. Vor deren
      Hintergrund werden die beiden Ansätze praktisch bewertet und
      auch theoretisch analysiert. Zudem werden auch geeignete
      Verfahren zur Komplexitätsreduktion und Modellregularisierung
      vorgeschlagen und untersucht. Die experimentellen Ergebnisse
      sind auch für anspruchsvolle Referenzprobleme im Vergleich
      mit aktuellen Verfahren sehr gut und heben die Nützlichkeit
      der Kombination aus Monotonie und Flexibilität des Choquet
      Integrals in verschiedenen Ansätzen des maschinellen Lernens
      hervor.
description: The learning of predictive models
      that guarantee a monotonic relationship between the output
      (response) and input (predictor) variables has received
      increasing attention in machine learning in recent years.
      While being less problematic for linear models, the
      difficulty of ensuring monotonicity increases with the
      flexibility of the underlying model class. This thesis
      advocates the so-called Choquet integral as a mathematical
      tool for learning monotone nonlinear models for
      classification. While being widely used as a flexible
      aggregation function in fields such as multiple criteria
      decision making, the Choquet integral is much less known in
      machine learning so far. Apart from combining monotonicity
      and flexibility in a mathematically sound and elegant manner,
      the Choquet integral has additional features making it
      attractive from a machine learning point of view. For
      example, it offers measures for quantifying the importance of
      individual predictor variables and the interaction between
      groups of variables, thereby supporting the interpretability
      of a model. Concrete methods for learning with the Choquet
      integral are developed on the basis of two different
      approaches, namely maximum likelihood estimation and
      structural risk minimization. While the first approach leads
      to a generalization of logistic regression, the second one is
      put into practice by means of support vector machines. In
      both cases, the learning problem essentially comes down to
      identifying the fuzzy measure on which the Choquet integral
      is defined. Since this measure has a large number of degrees
      of freedom, learning the Choquet integral is critical not
      only from a complexity point of view but also with regard to
      proper generalization. Therefore, both methods are analyzed
      theoretically, and different approaches to regularization and
      complexity reduction are proposed. Experimental results
      conducted on a set of suitable benchmark data are quite
      promising and suggest that the combination of monotonicity
      and flexibility offered by the Choquet integral facilitates
      strong performance in practical applications.