På 200-tallet ble Olympia rammet av en rekke jordskjelv som førte til store skader. I 267 ble stedet angrepet av barbariske stammer fra nord. Bortsett fra ødeleggelser ble kostbart materiale stjålet fra monumentene, og førte til at stedet ble befestet. Til tross for ødeleggelsen fortsatt de olympiske lekene fram til den siste olympiade i 393. Etter dette la den romerske keiser Theodosius ned et forbud. Tempelet til Zevs ble tilsynelatende ødelagt i 426 under forfølgelsen av ikke-kristne og hedninger under det sene Romerriket som følge av forordning av keiser Theodosius II hvor forbød hedenske festivaler. Verkstedet til Feidias ble omgjort til en kristen basilika og Olympia ble bosatt av et kristent samfunn. Arkeologiske undersøkelser har antydet at olympiske hendelser i liten skale, muligens under kristen forkledning, ble fortsatt holdt i hemmelighet ved stedet, kanskje fram til den justinianske pesten og ytterligere to jordskjelv herjet stedet på midten av 500-tallet. Gjentatte oversvømmelser førte til at stedet ble oppgitt og helt fraflyttet tidlig på 600-tallet.