Després de l'èxit dels Jocs de 1896, l'esdeveniment entrà en un període d'estancament que amenaçà la seva pervivència. Els Jocs Olímpics celebrats a l'Exposició Universal de París de 1900 i a la de St. Louis de 1904 foren tan sols atraccions secundàries, de poca importància. Els Jocs de París no tingueren estadi, però foren notables pel fet que fou el primer cop que les dones hi prengueren part. Pel que fa als Jocs de St. Louis (Estats Units), hi participaren uns 650 atletes dels quals 580 eren estatunidencs. Aquesta naturalesa homogènia no fou gens positiva pel moviment olímpic. Els Jocs es recuperaren quan se celebraren a Atenes els Jocs Intercalats de 1906 (anomenats així perquè foren els segons Jocs celebrats durant la tercera olimpíada). Aquests Jocs no són reconeguts oficialment pel COI i des de llavors no s'han celebrat cap més Jocs amb aquesta particularitat. Els Jocs de 1906 atragueren gran quantitat de participants internacionals i generaren molt d'interès públic; de fet, marcaren el començament d'un increment de la popularitat i de la magnitud dels Jocs Olímpics.