Його предки, вихідці з Нормандії, прийшли до Королівства Англія разом з Вільгельмом Завойовником і після битви при Гастінгсі були нагороджені багатими маєтками, відібраними у саксів. Первісне ім'я Байронів — Бурун. Це ім'я часто зустрічається в лицарських літописах доби середньовіччя.