Onder Rijvers werd het WK van 1982 niet gehaald na een 2-0 uitnederlaag bij Frankrijk in het laatste kwalificatieduel (november 1981). Ook het EK in 1984 werd net niet gehaald, mede omdat Spanje met 12-1 won van Malta in december 1983, en zo Nederland nipt op doelsaldo voorbleef. Kees Rijvers was in zijn woonplaats Knegsel bij de buren "gaan kaarten". Met een eventuele plaatsing van de Spanjaarden had hij geen rekening meer gehouden. Enkele krantenkoppen de volgende dag: Rijvers: "Harde klap"; Muñoz (de Spaanse bondscoach in 1983): "Gerechtigheid". De grootste thuisoverwinning onder Rijvers werd behaald op 14 maart 1984 in het oefenduel Nederland-Denemarken (6-0), in dit duel debuteerde André Hoekstra. In oktober 1984 nam Rijvers zelf na een 1-2 thuisnederlaag tegen Hongarije ontslag, het eerste kwalificatieduel voor het Wereldkampioenschap voetbal 1986 in Mexico, waarvoor Nederland zich uiteindelijk wederom niet zou weten te kwalificeren. Een lobby van een groep trainers onder leiding van Leo Beenhakker van FC Volendam lag mede ten grondslag aan het vertrek van Rijvers. Rijvers sprak eind 1982 de hoop uit, dat het ooit tot een centrumspitsen-duo Kieft-van Basten zou komen bij Ajax, een 4-mans-voorhoede, met Vanenburg en Jesper Olsen op de vleugels rechts en links ("Dat zou uiteraard ook voor mij heel interessant zijn.").