Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03485.jsonl.gz/1641

Das Problem: 44GB Daten von geleakten Accounts sollen möglichst schnell durchsucht werden. Zur Verfügung steht eine Workstation mit 128GB RAM und dual Xeon CPU. Ein Ubuntu 16.04 läuft in einer VM mit 12 zugewiesenen Cores, die Account Daten sind in einer RAM-Disk abgelegt.
Mit Grep sind 4min 15s fällig um die Daten einmal komplett zu durchsuchen, da nur ein Core verwendet wird.
Versuche die Daten in eine MariaDB zu importieren waren nicht sehr erfolgreich: Der Import aus den Text Dateien führte zu vielen Fehlern, und die Such-Performance überzeugte nicht.