Utover 1960-tallet begynte klubben å slite og Cullis ble overraskende sparket i 1964. Han uttalte at han aldri ville jobbe innen fotball igjen, men han returnerte ett år senere som trener for Birmingham City uten at han klarte å få samme suksess som han hadde hatt i Wolves.