Inicialmente la cofradía utilizó para sus fines asistenciales algunos ambientes del hospital de San Andrés, hasta que en 1599 compró unos solares en los que construyeron el hospital y su capilla con licencia del Virrey Marqués de Montesclaros.