Etter at Petronelle Schaft solgte Schafteløkken i 1847, fulgte en rekke eierskifter. Frem til 1856 ble eiendommen eid av Sigwardt Blumenthal Petersen, før Thomas Heftye var eier i to år. Fredrik Glad Balchen kjøpte i 1858 Schafteløkken og flyttet sin skole for døvstumme hit. Skolen byttet navn til Elisenberg Døvstuminstitut, og i 1860-årene hadde den nesten 100 elever og ni lærere. En av de to første elevene som tok examen artium på skolen, var Halvard Aschehoug, som senere grunnla forlaget Aschehoug. I 1891 flyttet skolen, og bygningene på Schafteløkken ble i de påfølgende tyve årene utleid som boliger.