Perioden fra 1832 og fram til 1880-årene da gården hadde engelske eiere, blir betraktet som en forfallsperiode for Borregaard. I 1880-årene var gården igjen til salgs.