Ada Byron Lovelace var datter av den britiske poeten Lord Byron og Anna Isabel «Annabella» Milbanke. Faren var ganske velstående, og moren var velutdannet og en svært selvstendig kvinne.