El edificio fue la vivienda de varios personajes destacados como el futuro san Pedro de Alcántara, el comunero castellano Juan de Padilla y la futura santa Teresa de Jesús.