Początkowo osada słowiańska, Grimma otrzymała prawa miejskie w 1220 roku. W latach 1494–1701 w Grimmie miały miejsce procesy o czary. W latach 1697-1706 i 1709-1763 miasto znajdowało się w granicach unijnego państwa polsko-saskiego. Od 1806 pod panowaniem Królestwa Saksonii, połączonego w latach 1807-1815 unią personalną z Księstwem Warszawskim. Od 1871 w granicach Niemiec. W latach 1949-1990 część NRD. W 2002 miasto nawiedziła powódź. Ucierpiał m.in. XVIII-wieczny most Pöppelmanna nad Muldą.