Его предки, выходцы из Нормандии, пришли в Англию вместе с Вильгельмом Завоевателем и после сражения при Гастингсе были награждены богатыми поместьями, отнятыми у саксов. Это имя часто встречается в рыцарских летописях средних веков. Один из потомков этого рода уже при Генрихе II изменил, в соответствии с выговором, свою фамилию на фамилию "Байрон". Особенно Байроны возвысились при Генрихе VIII, который во время упразднения католических монастырей наделил сэра Байрона по прозвищу «сэр Джон малый с большой бородой» () имениями богатого Ньюстедского аббатства в Ноттингемском графстве.