Największy sukces w karierze Silvestro Milani osiągnął w 1979 roku, kiedy wspólnie z Maurizio Bidinostem, Pierangelo Bincoletto i Sandro Callarim zdobył brązowy medal w drużynowym wyścigu na dochodzenie podczas torowych mistrzostw świata w Amsterdamie. Na rozgrywanych w 1980 roku igrzyskach olimpijskich w Moskwie Milani razem z kolegami z reprezentacji zajął czwarte miejsce w tej samej konkurencji, przegrywając walkę o brąz z Czechosłowakami. Startował także w wyścigach szosowych, ale nie odnosił większych sukcesów. Zajął między innymi drugie miejsce w klasyfikacji generalnej wyścigu Mediolan-Turyn w 1983 roku oraz trzecie w Giro di Campania w 1985 roku.