I 1956 satte Vilhjálmur en ny olympisk rekord ved å hoppe 16,26 m, men rekorden ble ytterligere forbedret av brasilianeren Adhemar da Silva. Den islandske sølvmedaljen var et av de mest overraskende resultatene i lekene og var landets første medalje i et OL. I EM 1958 i Stockholm tok han en ny medalje, denne gangen var valøren bronse.