Poussé dehors par Ferrari, qui lui reproche un certain manque d'implication ainsi que des performances un peu ternes et le remplace par Carlos Reutemann, il est contraint de rejoindre en 1977 la modeste écurie Ensign, après avoir refusé des propositions de Brabham et de McLaren (Clay était persuadé que Ferrari allait prolonger son contrat). Malgré une combativité rarement prise en défaut, il n'inscrit que 5 points et n'obtient guère plus de succès (4 points) en 1978 chez Shadow Racing Cars, une écurie qu'il rejoint au pire moment puisque plusieurs membres clés de l'équipe, dont le directeur technique Tony Southgate, sont partis fonder Arrows durant l'inter-saison. En 1979, à l'âge de 39 ans, il est recruté par la jeune équipe Williams à laquelle il offre sa toute première victoire en Grand Prix à Silverstone. déclarera Clay. Mais ce succès ne parvient pas à faire oublier ses performances en retrait par rapport à son équipier Alan Jones et Williams ne lui renouvelle pas sa confiance et le remplace par Reutemann (à nouveau) pour la saison suivante.