Men tidene endret seg. I 1802 fikk byen fulle kjøpstadsrettigheter. Begynnelsen av 1800-tallet ble likevel spesielt vanskelig for Kongsberg. Sølvverkets fallende produksjon og stigende driftsunderskudd, kombinert med Danmark-Norges alvorlige økonomiske og politiske problemer, gjorde situasjonen prekær. I 1805 ble verket nedlagt og mesteparten av gruvedriften innstilt. Krisen forverret seg ytterligere ved den store bybrannen i 1810. Det ble stor nød, og folketallet falt drastisk.