El edificio se encuentra sobre lo que fuera la "Real Fortaleza de Don Juan Baltazar de Austria", construida por el gobernador Fernando Ortiz de Zárate en 1594 en las entonces abarrancadas orillas del Río de la Plata.