De neste fire årene ble bygget brukt som militærsykehus. I 1812 ble bygningen kjøpt av Bergens Realskole, som holdt hus her fram til 1846. I tiden 1825–1831 ble bygningen i tillegg brukt som magasin for Bergens museums samlinger. Det borgerlige Pigeinstitutt holdt også til i bygget mellom 1849–1851.