I 1581, da Silje var 17 år, mistet hun hele sin famile i pesten, og Silje ble forvist fra gården.