En 1499 un incendio les obligó a desalojarlo siendo amparados por los canónigos de la colegiata de San Pedro que optaron algún tiempo después por expulsarlos sin aviso previo.