Il buon campionato 1975-1976 gli valse l'interessamento del Milan, che lo acquistò l'anno successivo come riserva di Albertosi. Chiuso dal compagno di squadra, Rigamonti trascorse tre anni in panchina collezionando solo 2 apparizioni in campionato e alcune presenze in Coppa Italia. La squalifica di Albertosi a causa dello scandalo del calcio scommesse del 1980 gli permise di disputare da titolare le ultime 10 partite congedandosi così da San Siro.