Etter lekene i St. Louis var det ikke mye håp og optimisme for lekenes fremtid og 1904-lekene var en publikumsfiasko – kun 2000 var blitt registrert som oppmøtte tilskuere. Coubertin besluttet derfor at de olympiske leker skulle gjennomføres uavhengig av andre begivenheter og at lekene skulle arrangeres over et begrenset tidsrom.