Pero no duró mucho su estancia en aquél, y tras recibir quejas de la administración de sus fundaciones (llevada por una cofradía que él había establecido, Cofradía de Santa María Magdalena), abandonó Guadalupe para residir en la Armedilla, también Jerónimo.