En esa área Diego Gómez de Torres levantó un edificio a partir de 1477, pero el edificio actual se debe a Lorenzo de Ulloa, que lo reformó completamente hacia 1600.