Ned- og oppgangstider i Sølvverket gjorde at innbyggertallet svingte tilsvarende gjennom årene. 1750-årene og 1760-årene var de virkelig gode årene. Den vakre Kongsberg kirke, innviet 1761, vitner om den velstand og fremtidstro som preget byen i denne tiden. Dens størrelse, byggkvalitet og rike utsmykninger viser at den var beregnet på en kommende storby.