En 1812, en plena Guerra de la Independencia, las tropas francesas saquearon la ermita y se llevaron la imagen titular de la Virgen del Rosario.