Byron fue hijo del capitán John «Mad Jack» Byron y de su segunda esposa, "lady" Catherine Gordon.