Los vestigios más antiguos hallados en la Peña del Castillo son íberos y romanos, aunque el origen de la actual fortaleza es andalusí, probablemente almohade.