Likevel har det vært både opp og ned i antall deltakende land, blant annet på grunn av reisetid, boikotter og interesse. De tidligste lekene som ble arrangert i USA, samlet nesten bare utøvere fra vertsnasjonen på grunn av reisetid og kostnader for de europeiske nasjonene. Også historiske hendelser har vært med å senke deltakerantallet, for eksempel boikotten av Sommer-OL 1980.