Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03531.jsonl.gz/286

Daten
Content-Klassifizierung
Ein Verlag benötigt die eindeutige Klassifizierung seiner rund 400’000 publizierten Artikel nach einer industrieweit verwendeten Liste bestimmter Artikeltypen. Diese Werte sind in der Verlagsdatenbank pro Artikel nicht vorhanden, werden jedoch von Datenempfängern verlangt und ermöglichten auch die Optimierung interner Prozesse und Analysen.
Eine manuelle Klassifizierung der Artikel ist zu diesem Zeitpunkt unrealistisch, aber ein bekannter Discovery Service hat über die Jahre rund die Hälfte der betroffenen Artikel indexiert. Dabei wurden auch Artikeltypen erfasst und diese Daten sind über eine API öffentlich zugänglich. Die Daten werden abgerufen, verarbeitet und validiert und auf einen Schlag können 200’000 Artikel mit entsprechenden Artikeltypen versehen werden.
Die jetzt vorhandenen Artikel mit Artikeltypen dienen als Grundlage, um die restlichen Inhalte mit einer Support Vector Machine zu klassifizieren und dadurch ebenfalls mit Artikeltypen zu versehen. Solche Machine Learning-Modelle sind in der Entwicklung zwar mathematisch anspruchsvoll, in der reinen Anwendung aber relativ einfach zu handhaben und als Open Source verfügbar. Benötigt wird das nötige Fingerspitzengefühl bei der Vorbereitung der Daten sowie bei der Validierung der Resultate und Anpassung einzelner Parameter für das Modell.
Nach Abschluss des Projekts sind 400’000 Artikel in der Datenbank mit einem eindeutigen Artikeltyp versehen wodurch die Datenintegrität gewährleistet ist. Neben dem Potential für Prozess- und Analysenoptimierungen wurde ausserdem ein Schritt in Richtung Machine Learning gemacht, der auf einer zukunftsorientierten Datenkultur basiert.