Han konkurrerte under 4 Sommer OL, 1964 1968 og 1976, men til tross for at Silvester var verdensrekordholder som første kaster over 60 meter i 1961 og førstemann over 70 meter i 1971 vant han kun en OL-medalje under Sommer-OL 1972, hvor han tok sølv i diskos.