Fredrik var meget høy og tykk, og yndet mål for karikaturtegnere. Bak hans rygg var han kjent som «den store herskervommen». Napoléon skal ha bemerket at Gud hadde skapt fyrsten for å demonstrere den mest omfattende utstrekning menneskehuden kunne bli strukket uten å sprekke. I 1810 lot Fredrik komponisten Carl Maria von Weber bli forvist fra Württemberg ettersom Weber hadde vanskjøttet midlene til Fredriks bror Ludvig som Weber hadde vært sekretær for siden 1807.