Nach der Qualifikation wurden am 1. September 1956 in Zürich acht Spiele für das Achtelfinale ausgelost. Fünf der sechzehn qualifizierten Mannschaften sagten aber aus diversen Gründen ab: China da auch die Republik China zu den Olympischen Spielen zugelassen war, Ägypten aufgrund der Sueskrise, Titelverteidiger Ungarn aufgrund des Einmarsches der Sowjetunion und die anderen aus finanziellen Gründen. Daher fanden folgende fünf Spiele nicht statt (Die Mannschaften, die somit ohne Spiel weitergekommen waren, sind fett gedruckt.):