Szilvásy saavutti olympiahopeaa kreikkalais-roomalaisen painin 73 kilogramman painoluokassa vuonna 1948 Lontoon olympialaisissa. Neljä vuotta myöhemmin 1952 Helsingin olympialaisissa hän voitti kultamitalin samassa painoluokassa. Napolin MM-kisoissa 1953 hän saavutti vielä hopeaa.