Narodila se 10. prosince 1815 jako jediné legitimní dítě básníka lorda Byrona a jeho manželky Anny Isabelly Byronové. Všechny ostatní Byronovy děti se narodily mimo manželství. Byron opustil svou ženu měsíc po dceřině narození a za další čtyři měsíce opustil nadobro i Anglii. Později když Adě bylo osm let, podlehl nemoci během Řecké osvobozenecké války. Skončila tak v opatrovnictví matky, spisovatelky, která nicméně podporovala její zálibu v matematice a logice (také jako součást pokusu předejít rozvinutí „šílenství“, které viděla v jejím otci – ovšem na otce nezanevřela a nechala se vedle něj i pohřbít). Jako jedna z mála žen ve viktoriánské Anglii proto studovala matematiku.