Die Theorie der Expressivität kann die praktische Lernfähigkeit von Problemen unter Gradientenabstieg erklären, indem sie aufzeigt, wie die Architektur von Modellen wie Transformers ihre Fähigkeit beeinflusst, bestimmte Funktionen zu erlernen. In dem vorliegenden Kontext wird deutlich, dass die Expressivität allein nicht ausreicht, um die praktische Lernfähigkeit von Modellen zu erklären. Die Theorie der Expressivität kann über- oder unterbewerten, wie gut ein Modell bestimmte Funktionen lernen kann, und daher ist es wichtig, auch die Form der Verlustlandschaft zu berücksichtigen. Die Theorie zeigt, dass die Effizienz von Modellen wie Transformers bei der Anpassung hochsensibler Funktionen stark von der Schärfe der Minima in der Verlustlandschaft abhängt, was ein wichtiger Faktor für ihre praktische Lernfähigkeit ist.