Nel campionato 1964-1965 la squadra perse lo scudetto lasciandosi rimontare sette punti dall'Inter e, tra il 1965 e il 1967, non andò oltre posizioni di metà classifica; racconta Tarozzi che in questa situazione Rivera seppe mantenere alti livelli: «"anche nei momenti di sbandamento, anzi soprattutto in quei periodi difficili, diventa sempre più un uomo simbolo per il Milan, una specie di uomo della Provvidenza"». Allo stesso tempo, anche in virtù delle vicende relative alla nazionale, erano tornate ad alimentarsi voci critiche sul suo conto: Rivera era accusato dalla critica «"di non aver raggiunto, con il passare degli anni, una maturità atletica e una completezza tecnica quali era lecito attendersi considerando i suoi notevoli mezzi potenziali"» e di «"non aver saputo diventare l'uomo guida del Milan ed anzi di aver contribuito allo sbandamento della squadra rossonera"». Nel 1966-1967 indossò per la prima volta la fascia di capitano (in Coppa Italia contro il Pisa) e segnò dodici reti, "record" personale fino a quel momento.