Baptisé à St Benet à Londres, il est le fils de Robert Dormer (1er comte de Carnarvon) et de Lady Anna Sophia Herbert, fille de Philip Herbert (4e comte de Pembroke). Il étudie à l'Université d'Oxford, où il obtient une maîtrise en arts en 1648. En 1643, à la mort de son père lors de la Première bataille de Newbury, il devient le chef héréditaire Avenor et gardien des King's Hawks. Sa mère est morte quelques mois plus tôt.