Drei Staaten (Spanien, Niederlande, Schweiz) boykottierten die Spiele wegen des Einmarsches der Staaten des Warschauer Pakts in Ungarn (Ungarischer Volksaufstand) nur wenige Wochen vor den Spielen. Zwar hob das nationale Olympische Komitee der Schweiz am 11. November den Boykottbeschluss auf, nachdem das IOC interveniert hatte, aber auch nominierte Schweizer Olympiakandidaten protestiert hatten, doch nur wenige Tage später wurde die Nichtteilnahme definitiv. Der Grund war, dass es den Verantwortlichen nicht mehr gelungen war, eine Transportmöglichkeit nach Melbourne aufzutreiben. Es gab auch einen Zwischenfall im olympischen Dorf wegen der kommunistischen Symbole auf der ungarischen Nationalflagge. Drei weitere Staaten (Ägypten, Libanon, Irak) boykottierten die Spiele wegen der Sueskrise. An den vorgezogenen Reiterspielen im Juni hatten Spanien, die Niederlande, die Schweiz und Ägypten noch teilgenommen. Die Volksrepublik China gab zwei Wochen vor den Spielen bekannt, dass sie nicht teilnehmen werde, weil die Republik Taiwan zugelassen wurde.