Cerca del espolón sobre el que se sitúa el castillo, en 1578 se inicia la construcción del Santuario de la “Virgen de Agres” a partir de la pequeña ermita construida en 1484, para lo cual los materiales del castillo, en especial los sillares, son reutilizados en sus distintas dependencias.