El castillo de Castalla se encuentra sobre una colina que domina todo el valle y la localidad se encuentra a su alrededor, en las faldas de la colina, a 680 metros sobre el nivel del mar.