Ruinene av byen er lokalisert på toppen av Monte Bàrbaro (som bokstavelig betyr «det barbariske fjellet»), 305 meter over havet. Byen var beskyttet av bratt skråning på flere sider og av en mur langs en slakere helning ned mot tempelet. Fra bakketoppen er det et utsyn utover dalen mot byen Castellammare del Golfo. Segesta kontrollerte i sin tid flere viktige veger mellom kysten mot nord og inn mot innlandet.