Acrecentándose la devoción a la Virgen, aumentaron las visitas y aunque los vecinos disponían de un fraile santero que atendía con gran devoción y esmero al cuido de la ermita, eran sus deseos como también los del Duque el que se edificase un convento en el lugar.