Pero para infortunio de la localidad, Carondelet fue removido de su cargo en 1791 para dirigirse como gobernador de Luisiana y Florida, en donde también dejaría su huella en construcciones.