Pero como los edificios, además de su fealdad, obstruían el campo de tiro de la Fortaleza que estaba instalada al este, frente a la costa del Río de la Plata, e impedían maniobrar a la artillería en caso de ataque, el gobernador don Alonso Mercado y Villacorta resolvió comprarles en 1661 la manzana en cuestión y demoler las construcciones existentes.