Byron ble født i London og vokste opp i Aberdeenshire. Ti år gammel arvet han godset Newstead Abbey og lord-tittel etter en grandonkel. Han var som unggutt betatt av Mary Ann Chaworth (1786-1832) arving til Annesley Hall som var nabogodset til Newstead Abbey. Hun giftet seg istedet med John Musters noe som ga opphav til navnet Charworth-Musters. Chaworth-Musters var på den tiden en av de mektigste i Nottinghamshire. Lord Byrons dikt «The Dream» omhandler hjemstedet i Nottinghamshire og Mary Ann.