I 1978 giftet han seg med Lucy Lindsay-Hogg. Datteren Frances Armstrong-Jones ble født 17. juli 1979.