Han var far til Ada Byron Lovelace, kjent for sin store matematiske innsikt og en pioner innenfor programmering av datamaskiner. Byrons kone og Adas mor, Annabella (Anne Isabella), var en begavet matematiker. Ekteskapet var ulykkelig og ble oppløst året etter at Ada ble født. Offentligheten sympatiserte med Annabella og Ada, og Byron forlot Storbritannia og kom ikke tilbake i live. Byron ble feiret og omtalt i sin levetid for sin aristokratiske utsvevelser, inkludert store gjeld, tallrike kjærlighetsaffærer, rykter om en skandaløs incestuøs forbindelse med sin halvsøster, og selvpåførte landflyktighet. Påstandene om forhold til halvsøsteren ble ikke bevist.