I slutten av 1524 flyttet familien til Lier i Belgia. Der opplevde de en vanskelig tid, fylt med bekymringer og pengemangel. På grunn av de vanskelige forholdene ble Elisabeth syk. I slutten av 1525 reiste hun med sin mann til klosteret Zwijnaarde utenfor Gent.