El lugar original que había previsto Garay era sobre la mitad oriental de la Plaza Mayor (hoy sector oeste de la Plaza de Mayo) pero para permitir que ésta contara con más espacio se prefirió un terreno sobre la barranca del Río de la Plata, algo más al este de la plaza, donde hoy se encuentra la Casa Rosada, que se hallaba abandonado pues el fundador se lo había asignado al adelantado Juan Torres de Vera y Aragón, quien jamás lo ocupó.