Vilmos Varjú sijoittui Tukholman EM-kilpailuissa 1958 seitsemänneksi tuloksella 16,77 m. Rooman 1960 olympialaiset jäivät häneltä väliin jalan murtumisen vuoksi. Kaksi vuotta myöhemmin Belgradin EM-kilpailuissa hän voitti ylivoimaisesti kultaa; hänen paras työntönsä kantoi 19,02 m ja hänen kaikki viisi mitattua työntöään olivat pidempiä kuin hopeamitalisti Viktor Lipsnisin paras tulos (18,38). Tokion 1964 olympialaisissa hän saavutti olympiapronssia tuloksella 19,39 m jättäen kaksinkertaisen olympiavoittajan Parry O'Brienin neljänneksi ja estäen yhdysvaltalaisten kolmoisvoiton.