Lo habitaron frailes de la llamada «Reforma de la Orden del Carmelo» hecha por San Pedro de Alcántara y vivieron en él "varones de probada santidad y muchas letras".