Su madre, Anne Isabella Noel Byron, fue matemática y activista política y social.