Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03540.jsonl.gz/956

Im Zusammenspiel mit Datenbanken muss man höllisch aufpassen, dass man für den zu importierenden Text die richtige Kodierung wählt. Tut man dies nicht, werden insbesondere die Umlaute, das “Scharf-S” und viele Sonderzeichen falsch umgesetzt:
Besonders gemein ist, dass man eigentlich denkt, man hätte mit der Einstellung “Unicode” alles richtig gemacht – hat man aber nicht. Man muss das “Unicode Transformation Format”, kurz UTF-8 wählen, dann erst erhält man aus einer Datenbank, die (Stand heute) in der Regel in UTF-8 aufgebaut ist, auch die richtigen Zeichen heraus:
Wenn man Tabellen aus Excel-Dateien als Datenquelle nutzt, dann muss die Kodierung in der Regel auf “ANSI” stehen, weil das Excels Standardkodierung ist.