Hennes liv var uvanlig komplekst. Hun ble født i London som Anne Isabella Milbanke, det eneste barn av Sir Ralph Milbanke, 6. baronett, og hans hustru Lady Judith Milbanke, søster av Thomas Noel, lord Wentworth. Da Lord Wentworth døde, et par måneder etter Anne Isabellas bryllup, endret hennes far, som arvet en stor del av eiendommen, sitt navn til Sir Ralph Noel, noe hun og hennes ektemann også gjorde da hennes mor døde. Dette var et vilkår i arven; hennes mor skrev også et brev til prinsregenten, og ba om at han gjorde hennes datter til «Lady Wentworth» slik at hennes foreldre slapp å kalle henne «Byron».