Bundling classifiers with an application to glaucoma diagnosis
Creators: name: Hothorn, Torsten
Publisher: name: Universität Dortmund
Year: 2003
Subjects: subject: bagging
subject: combination
subject: method selection
subject: error rate estimation
subject: consistency
subject: 510

description: The combination of classifiers of arbitrary type, for example classification trees,linear discriminant analysis, nearest neighbors or the logistic regressionmodel, is most desirable for at least two reasons.Firstly, a combined classifier can be expected to improve any of the singleclassifiers with respect to misclassification error and, secondly, the needfor an explicit selection of one of the competitors for a special classificationproblem, usually causing a method selection bias for error rate estimation, disappears. In this work we propose to use the out-of-bag observations of a bootstrapsample, i.e. all observations ofa learning sample which are not part of the bootstrap sample itself, tolearn classifiers of arbitrary type. Thepredictions of those classifiers, for example predicted classes, estimatedconditional class probabilities or linear discriminant values, are computedfor the observations in the bootstrap sample and are used as predictorsoffered to a classification tree in addition to the original predictors. Theclassification tree implicitly selects the most informative predictors,either the original ones or transformations of them, in order to construct aclassifier. In this sense, the classification tree ``bundles'' theadditional classifiers. In analogy to bagging, the procedure is sufficiently repeated and the class of a new observation is predicted by majority voting. Consequently, we call the procedure ``bundling''.The superior performance of the proposed combined classifier is shown usingstandard benchmark classification problems from the UCI machine learningdatabase. Moreover, we prove the almost sure risk consistency of bundling using results of data driven random partitions.In the second part of this work, the methodology is used to classify eyes aseither normal or glaucomatous, based on predictors derived from laserscanning images of the eye background. Glaucoma is one of the major reasonsfor blindness worldwide and an early detection of a glaucomatous change ofthe optic nerve head morphology is important. The performance of differentcandidates for glaucoma classification is evaluated by using a simulation modelof the optic nerve head morphology. Bundling performs superior to otherclassifiers both in our simulation experiments as well as for the observationsof a case-control study.Finally, we illustrate how to combine classifiers via bundling withinthe R system for statistical computing, using the case-control studyon glaucoma as example.
description: Die Kombination mehrerer verschiedener Klassifikationsverfahren, wie zum Beispiel Klassifikationsbäume, lineare Diskriminanzanalyse, nächste Nachbarn oder logistische Regression, ist aus mindestens zwei Gründen wünschenswert.Zum einen ist zu erwarten, daß die Kombination verschiedener Verfahren zueiner Reduktion der Fehlerraten der einzelnen Komponenten führt. Zum anderen ist die explizite Schätzung der Fehlerrate eines jeden Verfahrens auf einem Datensatz, welche im allgemeinen zu einer Verzerrung bei der Schätzung der Fehlerrate des selektierten Verfahrens führt, nicht mehr notwendig.In dieser Arbeit wird vorgeschlagen, die unterschiedlichen Klassifikatoren auf den sogenannten ``out-of-bag'' Beobachtungen anzulernen, also auf den Beobachtungen einer Lernstichprobe, welche nichtTeil einer Bootstrapstichprobe sind. Die Vorhersagen dieserKlassifikatoren, dies können die vorhergesagte Klasse, geschätzte bedingteKlassenwahrscheinlichkeiten oder die Werte von linearenDiskriminanzfunktionen sein, werden zusätzlich zu den Originalvariablenbenutzt, um einen Klassifikationsbaum zu konstruieren. Das rekursivePartitionieren wählt implizit die für die Vorhersage derKlassenzugehörigkeit informativsten Variablen oder eben deren Transformationen aus und ``bündelt'' die zusätzlichen Klassifikatoren in diesem Sinne.Wie beim bagging wird nun diese Prozedur ausreichend oft wiederholt und dieKlasse einer neuen Beobachtung wird per Mehrheitsabstimmung über diemultiplen Bäume bestimmt. Wir bezeichnen daher unseren Vorschlag als``bundling''.Die sehr guten Eigenschaften des kombinierten Klassifikators werden in einemVergleich mittels mehrerer realer und künstlicher Standardklassifikationsprobleme nachgewiesen.Darüberhinaus zeigen wir unter Benutzung von Resultaten zu Zufallspartitionen, daß die Fehlerrate von bundlingasymptotisch fast sicher gegen die Fehlerrate des Bayes-Klassifikatorskonvergiert. Im zweiten Teil der vorliegenden Arbeit werden die methodischen Ergebnisse benutzt, umgesunde Augen von Augen mit einer beginnenden glaukomatösen Schädigungzu unterscheiden. Das Glaukom oder der grüne Star ist einer der häufigstenGründe für eine Erblindung und eine möglichst frühe Diagnose daherwichtig. Die Fehlerraten verschiedener Klassifikatoren für dieGlaukomdiagnose werden mittels eines Simulationsmodells des Sehnervenkopfesverglichen. Bundling erreicht sowohl in unseren Simulationsuntersuchungenals auch für die Daten einer Fall-Kontroll-Studie die kleinstenFehlerraten aller untersuchten Verfahren.Abschließend illustrieren wir die Kombination von Klassifikatoren in derstatistischen Programmierumgebung R anhand der Daten der Fall-Kontroll-Studie.