Melbournen olympialaisten jalkapalloturnaukseen osallistui 11 joukkuetta. Määrä oli vähäisin sitten vuoden 1912 olympiaturnauksen. Vuoden 1956 jalkapallon olympiaturnaus oli ensimmäinen johon järjestettiin karsinnat. Turnaukseen oli määrä osallistua 16 joukkuetta, mutta viisi turnaukseen selviytynyttä maata vetäytyi turnauksesta. Merkittävin näistä oli hallitseva olympiavoittaja Unkari, joka vetäytyi turnauksesta Unkarin kansannousun takia.