I 1702 skjedde en stor naturkatastrofe som fikk betydning for Borregaards videre skjebne. I februar dette året gikk et jordskred som dro hele gården med alle bygningene ut i elven. 14 mennesker og 200 husdyr ble tatt av raset, mens eieren, Jens Werenskiold og hans nærmeste familie ble reddet. Til tross for tapet ville Werenskiold bygge gården opp igjen. For å sikre at gården denne gangen ble liggende på trygg grunn ble den flyttet til der den er i dag. Huset som ble bygget den gangen var på halvannen etasje og dekker den sørligste delen av dagens hovedfløy.