Olympia ligger i den brede dalen til ganske lille elven Alfeiós i den vestlige delen av den store halvøya Peloponnes, i dag rundt 18 km unna Det joniske hav, men antikken lå kysten kanskje bare halvparten så langt unna. Navnet Altis var avledet fra en forvanskning av det eliske ordet som hadde betydningen «lund» ettersom området var skogkledt med særlig oliven- og plantantrær. Altis, som helligdommen opprinnelig var kjent som, var et uregelmessig firkantet område på mer enn 183 meter på hver side og med en mur rundt, unntatt i nord hvor det ble avgrenset av Kronionfjellet.