Ashdown syntyi New Delhissä Brittiläisessä Intiassa. Hänen sukunsa oli sotilaita ja siirtomaiden hallintomiehiä, mutta siirtomaa-ajan loppupuolella hänen ollessaan nelivuotias perhe muutti Pohjois-Irlantiin ja osti maatilan. Bedford Schoolissa irlantilainen korotus toi hänelle lempinimen "Paddy". Hän palveli 1959–1972 kuninkaallisessa merijalkaväessä kommandoupseerina (Special Boat Squadron) Borneolla Indonesian–Malesian konfrontaation aikana ja Persianlahdella.