Lucy Walter var datter av William Walter fra Haverfordwest og hans ektefelle, Elizabeth Protheroe, en walisisk adelsdame, født i født i hertugen av Norfolks andre ekteskap. Familien Walters var en høytstående familie som tok parti for kongen under borgerkrigen i England. Roch Castle ble beslaglagt av de parlamentariske styrkene i 1644, og Lucy Walters måtte søke tilflukt i London og deretter i Haag.