Byen ligger i en skråning i fjellet Jebel al-Madhbah («Alterets fjell»), som utgjør den østlige siden av dalen Arabah, som går fra Dødehavet og til Akababukten. I henhold til Hieronymos fra Kardia ble navnet «Petra» gitt av greske handelsmenn som observerte at byens innbyggere om våren praktiserte ofringer til en guddom på en stor stein, det vil si en . Det er antatt at stedet har vært bosatt så tidlig som 9 000 f.Kr. og at det muligens var etablert på 300-tallet f.Kr. som hovedstad for nabateere. Dette var et arabisk, nomadisk folk som ble tiltrukket av Petras nærhet til handelsrutene og som der etablerte et regionalt sentrum for denne handelen.