La chance en Formule 1 l'abandonna au milieu des années 1970. Il fut la victime de 2 accidents sur des circuits qui furent plus tard abandonnés par la Formule 1 en raison de leur dangerosité : en 1975, au Grand Prix d'Allemagne au Nürburgring, pendant les essais libres, Ashley subit une effarante sortie de piste à Pflanzgarten et il s'en sortit miraculeusement avec une double fracture aux jambes ; ensuite en 1977, au Grand Prix du Canada au Motorsport Park, toujours pendant les essais libres, sa Hesketh s'envola sur une bosse, partit au-delà de la barrière et s'écrasa contre une tour de télévision. La carrière d'Ashley en Formule 1 s'arrêta là.