Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03400.jsonl.gz/947

Ich habe für beim Schluss der Übungen ein Problem
Das zweitketzte Script schafft nur 10-11 Iterationen, danach bekomme ich einen MemoryError
MemoryError; Unable to allocate 36.6 MiB for array with shape (399999,12) and data type float64
An der menge Physikalischem RAM kann es nicht liegen. Plus habe ich versucht das Notebook mit mehr Speicher zu starten .
Code: Alles auswählen
jupiter notebook --NotebookApp.max_buffer_sizeInt=4294967296 # 4GB
Läuft das bei jemandem sauber durch?