En 1438 un judío llamado Coler, consiguió del prior de los Agustinos el permiso para que los Franciscanos ocuparan aquella casa abandonada del Valle de Jesús.