Samtidig sto den katolske kirke sterkt, og Gimsøy kloster forvaltet store landområder. Med reformasjonen fra og med 1536 tilfalt klosteret kongen, som ble den største eiendomsbesitteren i Skien og omegn. Samme år som den saksiske bergmannen Hans Glaser satte i gang produksjonen av sølvdaleren på Klosterøya, i 1546, brant Gimsøy kloster. Denne brannen regnes ikke som bybrann. Omkring 20 år senere, skal byen ha blitt brent ned av svenskene under Den nordiske syvårskrigen. Dette regnes som den første av i alt ni bybranner som har herjet Skien. Allerede i 1583 brant tre fjerdedeler av middelalderbyen, deriblant gikk kirka og rådstua tapt.