Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03199.jsonl.gz/537

Zu unterscheiden sind inbesondere der Erhalt der Datenstruktur ("bitstream") sowie die Lesbarkeit des Dateiformats selbst.
- Bitstream preservation: wird für LORY seitens Zenodo gewährleistet. Für jede Datei existieren zwei Kopien auf getrennten Servern. Die ZHB prüft zudem den Aufbau einer weiteren, hausinternen Kopie.
- Dateiformate: Verbindliche Standards fehlen bisher. Wichtig ist insbesondere der Verzicht auf Kopierschutz sowie auf proprietäre Formate, auch um mögliche Dateikonversionen zu ermöglichen.
- Metadaten / Datenkuration: Die ZHB besorgt eine möglichst standardisierte, explizierte und hohe Qualität aller Metadaten.