Utover 1960-tallet gikk det dårligere med Wolves, og i september 1964 fikk Cullis sparken etter at klubben aldri kom seg ut av nedrykksstriden og endte opp med å spille sin første sesong utenfor toppserien siden 1931. Det tok bare to sesonger før klubben var tilbake i den øverste divisjonen, da de rykket opp igjen i 1967 etter at de klarte å vinne åtte kamper på rad.