Armstrong-Jones gikk på skole ved Eton og fikk sin universitetsutdannelse i arkitektur i Cambridge, der han også førte rolaget til seier i den berømte kapproingen mellom Cambridge og Oxford.