Vuonna 1713 Västerby, josta oli tullut rustholli, myytiin adjutantti Georg Agricolalle, sillä Västerbyn nimeltä tuntematon rusthollari oli muuttanut Ruotsiin isoavihaa pakoon. Isovihan aikana venäläiset sotilaat tuhosivat Västerbytä pahoin; tilan rakennuksia ja aitoja poltettiin, ikkunat rikottiin, takat ja savupiiput tuhottiin ja irtaimisto ryöstettiin. Isovihan jälkeen Ruotsiin paennut rusthollari kuitenkin palasi ja osti tilan takaisin Agricolalta. Tila mainitaan verokirjoissa jälleen vuonna 1738.