In 1956 wilde de Nederlandse verspringer, die sinds 1952 op dit nummer onafgebroken kampioen van Nederland was geweest, niets aan het toeval overlaten en dus was hij reeds op 29 oktober 1956 samen met zijn trainer Jo Grootewal naar Australië afgereisd, teneinde ruimschoots te kunnen acclimatiseren. De beslissing van het NOC van 7 november 1956 om de Spelen van Melbourne te boycotten in verband met de inval van de Sovjet-Unie in Hongarije en de bloedige strijd in de straten van Boedapest, die hiervan het gevolg was, kon voor Visser dan ook niet op een ongunstiger tijdstip plaatsvinden. Het beroofde hem van vrijwel zeker gewaand olympisch eremetaal en is van invloed geweest op het verdere verloop van zijn atletiekloopbaan.