I 1786 flyttet undervisningen inn et patrisierhus på Kirketorget i Kongsberg. Til hovedbygningen hørte også et laboratorium og eget lysthus. Bygningen står den dag i dag og går ennå under navnet Bergseminaret.