Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03442.jsonl.gz/92

Unter der Haube versuchen große Sprachmodelle, das nächste beste Wort anhand einer Eingabe vorherzusagen - ein Wort nach dem anderen. Sie weisen jedem Wort in ihrem Vokabular eine Wahrscheinlichkeit zu und wählen dann ein Wort aus.
Eine Temperatur von 0 bedeutet grob gesagt, dass das Modell immer das Wort mit der höchsten Wahrscheinlichkeit auswählt. Eine höhere Temperatur bedeutet, dass das Modell möglicherweise ein Wort mit etwas geringerer Wahrscheinlichkeit auswählt, was zu mehr Variation, Zufälligkeit und Kreativität führt. Eine sehr hohe Temperatur erhöht jedoch das Risiko von "Halluzinationen", was bedeutet, dass die KI Wörter auswählt, die keinen Sinn ergeben oder vom Thema abweichen.
- Für Transformationsaufgaben (Extraktion, Standardisierung, Formatkonvertierung, Grammatik-Korrekturen) empfiehlt sich eine Temperatur von 0 oder bis zu 0,3.
- Für Schreibaufgaben sollten Sie die Temperatur höher einstellen, näher an 0,5. Wenn Sie möchten, dass GPT besonders kreativ ist (zum Beispiel für Marketing- oder Werbetexte), sollten Sie Werte zwischen 0,7 und 1 in Betracht ziehen.