Il 16 gennaio del 1816 Annabella, per ordine di Byron, lasciò la casa del marito e si trasferì in quella dei suoi genitori a Kirkby Mallory, portando con sé la piccola Ada, che aveva appena un mese di vita. Nonostante la legge inglese desse al padre piena custodia dei figli in caso di separazione, Byron non rivendicò i suoi diritti di paternità. Il 21 aprile Byron firmò l'atto di separazione e, sebbene con riluttanza, lasciò per sempre l'Inghilterra alcuni giorni dopo. Byron non ebbe alcuna relazione con sua figlia e morì nel 1824, durante la guerra d’indipendenza greca, quando lei aveva solo 8 anni; per Ada la madre fu la sola figura familiare importante. La piccola era spesso malata, fin dalla prima infanzia: all'età di otto anni soffriva di cefalea, che le procurava problemi alla vista. Nel giugno del 1829, a causa del morbillo, rimase paralizzata e costretta a rimanere a letto per quasi un anno. Solo nel 1831 tornò a camminare con l'aiuto di grucce.