Antony Armstrong-Jones var eneste sønn av advokaten Ronald Armstrong-Jones og hans hustru Anne Messel. Foreldrene ble tidlig skilt. I barndommen ble Armstrong–Jones rammet av polio.