Tårnene har fått en hard medfart opp gjennom årene. Sydtårnet styret ned både i 1561 og på 1650-tallet. Ved det sistnevnte ble murverket benyttet til å bygge det opp igjen sammenbygget og da sto det til 1872. Arkitekt Christian Hansen sto for en ombygging av kirken i perioden 1872-1874. Han var inspirert av Oehlenschlägers episke dikt «De tvende Kirketaarne» og gjenskapte tvillingtårnene. Noe senere, på slutten av 1890-tallet, fikk de pyramideformen man ser i dag. Man hadde i mellomtiden funnet kalkmalerier i kirken som viste hvordan avslutningen av tårnene så ut tidligere.