Bergseminarets bygning på Kirketorget 3 er en bygning i klassisistisk stil med mansardtak, oppført 1786. Huset ble bygget som undervisningslokaler for «Det Kongelige Norske Bergseminarium», og hadde denne funksjonen fram til 1814, da Bergseminaret ble nedlagt. Fra 1814 til 1956 ble bygningen brukt som bolig for direktører ved Kongsberg Sølvverk.