Rosenkilde-familien sto som eiere frem til de økonomiske kriseårene kring 1880. Rosenkildehuset ble solgt til T. Rønneberg på tvangsauksjon i 1887. Flere av herskapshusene forfalt i Nedre Strandgate, og flere ble revet for å gjøre plass til hermetikkindustrien.