Lady Anne var datter av Ada Byron Lovelace, grevinne Lovelace, verdens første dataprogrammerer. Hennes besteforeldre på morssiden var Lord Byron og Anna Isabel Milbanke, 11. baronesse Wentworth. I barndommen var hun kjent som «Annabella», etter bestemoren som hun var oppkalt etter.