En el siglo XVI pasó a ser la residencia del gobernador de Almagro y en el XVIII fue cuartel de Caballería, momento en que sufrió un incendio, quedando sólo el patio y algunas dependencias.