Nel 1950 si trasferisce nelle file del Milan, con il quale si mette definitivamente in luce. È una squadra rossonera stellare che poggiava sul celebre tridente Gre-No-Li e che in Silvestri trova un sicuro baluardo difensivo. Silvestri esordisce in rossonero il 10 settembre 1950 in Milan-Udinese (6-2). Con la squadra rossonera si aggiudica già nel suo primo anno lo scudetto e la Coppa Latina. È un momento molto significativo della storia rossonera dato che l'ultimo scudetto era datato 1907. Un secondo scudetto lo conquistò nel 1954-55, l'ultima stagione nella quale giocò per la squadra rossonera sotto la guida di Ettore Puricelli. La sua ultima gara in maglia rossonera risale al 19 giugno 1955 contro la Pro Patria (1-1). Si congeda nello stesso anno dopo aver totalizzato 163 presenze e 7 reti.