title: Klassifikation von Gangliogliomen und dysembryoplastischen neuroepithelialen Tumoren (DNTs) anhand von H.E. gefärbten Proben mittels Deep Learning
Creators: name: Popp, Alexander
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2025
Subjects: subject: Deep Learning
subject: Gangliogliom
subject: Dysembryoplastischer neuroepithelialer Tumor
subject: DNT
subject: DNET
subject: Ganglioglioma

description: Hintergrund und Ziele Geringgradige epilepsieassoziierte Hirntumoren sind die zweithäufigste Ursache von arzneimittelresistenter fokaler Epilepsie. Unter den LEATs sind Gangliogliome mit 53,6% und Dysembryoplastische neuroepitheliale Tumoren mit 30,6% die bedeutendsten Tumorentitäten. Diese beiden Entitäten ähneln sich histologisch jedoch sehr, sodass selbst bei einem Vergleich spezialisierter Zentren die Diagnosen nur in 40% der Fälle übereinstimmen. Nachdem die Nutzung von Deep-Learning in den vergangenen Jahren bei verschiedensten Klassifikationsproblemen innerhalb und außerhalb der Medizin beachtliche Erfolge zeigte, wollten wir prüfen, ob diese Methode auch in diesem Fall helfen könnte. Methoden Wir trainierten verschiedene konvolutionale neuronale Netzwerke anhand von mit Hämatoxylin und Eosin gefärbten Schnitten von 57 Patienten, um zwischen dysembryoplastischen neuroepithelialen Tumoren (DNTs) und Gangliogliomen (GGs) zu unterscheiden. Dafür erzeugten wir Tiles (kleine Bildausschnitte) der Größe 272x272 Pixel (ca. 60x60µm) von Whole-Slide-Images aus 24 DNT-Fällen und 33 GG-Fällen, welche von Neuropathologen des deutschen Neuropathologie Referenzzentrums für Epilepsie-Chirurgie in Erlangen annotiert wurden. Wir verteilten die Tiles für den vollständigen Datensatz in einem Verhältnis von ca. 5:1:1 auf Trainings-, Validierungs- und Testdatensätze. So bildeten je vier Fälle (insgesamt ca. 100.000 Tiles) pro Tumorentität die Validierungs- und Testdatensätze. Die restlichen Fälle verwendeten wir im Trainingsdatensatz. Zusätzlich bildeten wir für einen schnelleren Trainingsprozess noch einen kleineren Datensatz mit derselben Fallverteilung, jedoch maximal 10.000 Tiles pro Fall. An diesem kleinen Datensatz trainierten wir mithilfe der Fastai Bibliothek sechs an ImageNet vortrainierte CNN-Modelle und wählten die beiden Modelle mit der besten Performance am Validierungsdatensatz, um sie am großen Trainingsdatensatz zu trainieren. Diese acht Modelle bewerteten wir anhand ihrer Vorhersagen der acht Fälle im großen Testdatensatz auf Tile- und Fallebene. Zusätzlich testeten wir zwei der Modelle am großen Testdatensatz, indem nur die Tiles gewertet wurden, welche mit einer Wahrscheinlichkeitsschwelle über 80%, bzw. 90%, vorhergesagt wurden. Als Folgeexperiment wurden zwei Modelle am kleinen Trainingsdatensatz mit vertauschtem Validierungs- und Testdatensatz trainiert, um zu prüfen, ob die stark unterschiedlichen Ergebnisse an Validierungs- und Testdatensatz durch die zufällige Verteilung der Fälle bedingt waren. Ergebnisse Die am kleinen Trainingsdatensatz trainierten Modelle erreichten am kleinen Validierungsdatensatz Accuracy-Werte (Anzahl richtige Vorhersagen / Anzahl Gesamtvorhersagen) zwischen 79,3% (VGG 19) und 74,7% (AlexNet) und AUROC zwischen 0,850 (VGG 19) und 0,795 (ResNet 34). Die am großen Trainingsdatensatz trainierten Modelle erreichten am großen Validierungsdatensatz Accuracy-Werte von 72,5% (VGG 19) bzw. 70% (ResNeXt 101) und AUROCWerte von 0,790 (VGG 19), bzw. 0,751 (ResNeXt 101). Am Testdatensatz variierte die Accuracy auf Tile-Ebene zwischen 61,9% (ResNeXt 101, am vollen Datensatz trainiert) und 47,6% (AlexNet). Die AUROC variierte zwischen 0,640 (ResNeXt 101) und 0,563 (AlexNet). Bei der Vorhersage auf Fallbasis erzielte das am großen Datensatz trainierte ResNeXt 101 mit 75% den besten Wert. Die restlichen Modelle bestimmten bei vier oder fünf von acht Fällen die richtige Tumorentität. Die Modelle, welche am kleinen Trainingsdatensatz mit vertauschten Validierungs- und Testdatensätzen trainiert wurden, zeigten deutlich bessere Ergebnisse am neuen Testdatensatz (durchschnittlich: Accuracy = 73,3%, AUROC = 0,786) als am neuen Validierungsdatensatz (durchschnittlich Accuracy = 61,2%, AUROC = 0,656). Auf Fallebene erreichten diese Modelle eine Accuracy von 100% (VGG 19), bzw. 87,5% (ResNeXt 101). Schlussfolgerungen Unser erfolgreichstes Modell (ResNeXt 101, am großen Datensatz trainiert) erreichte Werte von 70% Accuracy / AUROC = 0,753 am großen Validierungsdatensatz, 61,9% Accuracy/ AUROC = 0,64 am Testdatensatz und auf Fallebene eine Accuracy von 75%. Diese Werte beurteilten wir als nicht ausreichend für eine sinnvolle Unterstützung in der medizinischen Diagnostik. Da wir hierdurch aber nur diesen spezifischen Ansatz als nicht erfolgreich genug bewerteten, jedoch keine allgemeine Aussage zum möglichen Einsatz von Deep Learning bei der Unterscheidung zwischen DNTs und Gangliogliomen treffen konnten, entschloss sich unsere Forschungsgruppe weitere Daten zu sammeln, um mit einem größeren Datensatz und leicht modifiziertem Ansatz die Fragestellung erneut zu bearbeiten. Eine Bewertung unserer Ergebnisse im Vergleich mit diesem neuen Ansatz von Neuner et al. bringt einige Erkenntnisse zu möglichen Einflussfaktoren: Wir vermuten, dass der wichtigste Einflussfaktor der deutlich größere Datensatz bei Neuneret al. ist. Zusätzlich könnte eine größere Tile-Größe von Vorteil sein, da eine solche Größe mehr Übersicht erlaubt. Durch unser Folgeexperiment mit vertauschten Validierungs- und Testdatensätzen konnten wir zeigen, dass die deutlich schlechtere Performance am Testdatensatz des ursprünglichen Experimentes zufällig durch die Verteilung der Fälle begründet war. Die Nutzung von kfacher Kreuzvalidierung könnte diese Zufallskomponente minimieren.
description: Objectives Low-grade epilepsy-associated brain tumors (LEATs) are the second most common cause of drug-resistant focal epilepsy. Among LEATs, gangliogliomas (GGs) with 53.6% and dysembryoplastic neuroepithelial tumors (DNTs) with 30.6% are the most significant tumor entities. However, these two entities are histologically very similar, so that even when specialized centers are compared, diagnoses are matched in only 40% of cases. As the use of deep learning has shown considerable success in recent years for a wide variety of classification problems, both within and outside medicine, we wanted to test whether this method could also help in this case. Design and Methods We trained different convolutional neural networks (CNN) on hematoxylin and eosin (H&amp;E) stained slides from 57 patients to distinguish between dysembryoplastic neuroepithelial tumors (DNTs) and gangliogliomas (GGs). For this purpose, we generated tiles (small image sections) of size 272x272 pixels (approximately 60x60µm) of whole slide images (WSIs) from 24 DNT cases and 33 GG cases, which were annotated by neuropathologists from the German Neuropathology Reference Center for Epilepsy Surgery in Erlangen, Germany. We distributed the tiles among training, validation, and test datasets in a ratio of approximately 5:1:1 for the complete dataset Four cases each (approximately 100,000 tiles in total) per tumor entity formed the validation and test datasets. The remaining cases were used in the training dataset. Additionally, for a faster training process, we formed a smaller dataset with the same case distribution, but with a maximum of 10,000 tiles per case. On this small dataset, we trained six CNN models, pre-trained on ImageNet, using the Fastai library and selected the two models with the best performance on the validation dataset to train on the large training dataset. We evaluated these eight models based on their predictions of the eight cases in the large test dataset at the tile and case levels. In addition, we tested two of the models on the large test dataset by evaluating only the tiles that were predicted with a probability threshold above 80%, respectively 90%. As a follow-up experiment, two models were trained on the small training dataset with the validation and test datasets interchanged to test whether the strongly different results on the validation and test datasets were due to the random distribution of the cases. Observations and Results The models trained on the small training dataset achieved accuracy values (correct predictions / all predictions) between 79.3% (VGG 19) and 74.7% (AlexNet), and AUROC values between 0.850 (VGG 19) and 0.795 (ResNet 34) on the small validation dataset. On the large validation dataset, the models trained on the large training dataset achieved accuracy values of 72.5% (VGG 19) and 70% (ResNeXt 101), and AUROC values of 0.790 (VGG 19) and 0.751 (ResNeXt 101). Tile-level accuracy of the test dataset varied between 61.9% (ResNeXt 101, trained on the full dataset) and 47.6% (AlexNet). The AUROC varied between 0.640 (ResNeXt 101) and 0.563 (AlexNet). For case-based prediction, ResNeXt 101 trained on the large dataset scored the best at 75%. The remaining models determined the correct tumor entity in four or five of eight cases. The models trained on the small training dataset with the validation and test datasets interchanged showed significantly better results on the new test dataset (average: Accuracy = 73.3%, AUROC = 0.786) than on the new validation dataset (average Accuracy = 61.2%, AUROC = 0.656). On the case level, these models achieved an accuracy of 100% (VGG 19) and 87.5% (ResNeXt 101), respectively. Conclusions Our most successful model (ResNeXt 101, trained on the large dataset) achieved values of 70% Accuracy / AUROC = 0.753 on the large validation data set, 61.9% Accuracy/ AUROC = 0.64 on the test data set and an Accuracy of 75% on the case level. We judged these values to be insufficient for meaningful support in medical diagnostics. However, since we could only evaluate this specific approach as not successful enough but could not make a general statement on the possible use of Deep Learning for the differentiation between DNTs and gangliogliomas, our research group decided to collect further data in order to work on the same question again with a larger data set and a slightly modified approach. An evaluation of our results in comparison with this new approach by Neuner et al (8) brings some insight into possible influencing factors: We suspect that the most important influencing factor is the significantly larger data set in Neuner et al. In addition, a larger tile size might be advantageous as it allows for a greater overview. Through our follow-up experiment with reversed validation and test datasets, we were able to show that the significantly worse performance on the test dataset of the original experiment was due to chance in the distribution of cases. The use of k-fold cross-validation could minimize this factor of randomness.