Faren var en av de tidligste puritanerne i England, noe som førte til at han måtte flykte med familien til Sveits, antagelig til Basel, i Maria Is regjeringstid (1553–1558). Da Elizabeth tiltrådte i november 1558 vendte familien hjem. Francis ble , mens Catherine og Lettice ble hoffdamer.