Die Zahl der Teilnehmermannschaften wuchs schnell an, so waren 44 Mannschaften in Paris 1924 am Start (Deutschland war wieder nicht vom IOC eingeladen worden) und in Amsterdam 1928 nahmen 46 Mannschaften teil (auch Deutschland war wieder am Start). Die Weltwirtschaftskrise und die Tatsache, dass die Olympischen Spiele das zweite Mal nicht in Europa stattfanden, ließ die Zahl der teilnehmenden Mannschaften bei den Olympischen Spielen in Los Angeles 1932 auf 37 sinken – die Teilnehmerzahl sank sogar um mehr als die Hälfte im Vergleich zu den vorangegangenen Spielen. Bei den nächsten Spielen in Berlin 1936 gab es indes mit 49 Mannschaften wieder einen neuen Rekord. Die in Helsinki bzw. in London geplanten Olympischen Spiele von 1940 und 1944 wurden jeweils wegen des 1939 ausgebrochenen Zweiten Weltkrieges vom IOC abgesagt.