Primogenito di sette figli (aveva 4 fratelli e 3 sorelle), Ashdown nasce a New Delhi, India britannica, il 27 febbraio 1941 in una famiglia di soldati e amministratori coloniali da tempi installati in India. Suo padre era cattolico non praticante, e sua madre protestante. La madre, nata Hudson, era infermiera nell'esercito. Il padre, John William Richard Durham Ashdown (1909–1980), era un ufficiale del British Indian Army. Durante la ritirata di Dunkirk del maggio 1940, John Ashdown ignorò l'ordine di abbandonare gli uomini della 32ª compagnia sotto il suo comando, conducendoli invece fino alle navi senza perdere un solo uomo. Benché sottoposto a corte marziale per aver disatteso gli ordini, venne esonerato, ed entro la fine della guerra ottenne il grado di colonnello.