Поради суецката криза Египет, Ирак и Ливан отказват участие, защото на Израел е позволено да се включи в Олимпиадата. Испания, Холандия и Швейцария обявяват бойкот заради намесата на СССР в унгарската революция. Две седмици преди откриването Народна република Китай също бойкотира игрите, тъй като на Тайван е позволено да участва като самостоятелна страна под името Формоза. Камбоджа също не взема участие на Летните игри, но е от отборите явили се на състезанията по конен спорт в Стокхолм, Швеция. Египет, Холандия, Испания и Швейцария също участват в Стокхолм, въпреки обявеният от тях бойкот.