El 2 de diciembre de 1808, durante la invasión francesa, fueron desalojados los frailes y convertido el inmueble en cuartel de caballería de las tropas napoleónicas, que aparentemente fueron las responsables de la destrucción del altar mayor de la iglesia y del saqueo de los objetos de valor.