Posteriormente, cuando ocurrieron dos sitios consecutivos de Montevideo, el primero entre mayo y octubre de 1811 y el segundo entre 1812 y 1814, que afectaron agudamente la vida económica de la Banda Oriental, lo que provocó finalmente que el sitio quedara desuso y en progresivo deterioro, tomando el nombre vulgar de "Caserío de los Negros".