C'est en 1969 qu'il débute en tant que titulaire dans l'équipe d'Ajax Amsterdam. Avec cette équipe il remporte trois Coupe d'Europe des clubs champions en 1971, 1972 et 1973, une coupe intercontinentale en 1972, deux supercoupes d'Europe en 1972 et 1973, six titres de champion des Pays-Bas et quatre coupes des Pays-Bas. Cette liste montre bien la domination de l'équipe d'Ajax Amsterdam au début des années 1970, Rudi Krol ayant eu une influence déterminante avec ses coéquipiers Johan Cruyff, Johan Neeskens et Johnny Rep.