Oliva está edificada en la vertiente oriental del cerro de Santa Anna, sobre la que se asientan los restos del castillo y la ermita que da nombre al cerro.