Mestaruuksien jälkeen kaudet 1954 ja 1955 eivät sujuneet hyvin: hän keskeytti jokaisen kilpailun, johon hän osallistui. Kauden 1954 pisteisiin Ascarille jäi ”kummittelemaan” 0,14 pistettä. Kyseiset pisteet hän sai Britannian Grand Prix'sta, jossa seitsemälle kuljettajalle merkittiin kilpailun nopein kierrosaika. Tuolloin nopeimmasta kierroksesta oli jaossa yksi piste. Tämä piste jaettiin näiden seitsemän kuljettajan kesken, ja jokainen sai 1/7 pistettä.