Era un adolescente aun cuando su padre —el paraguayo Juan Andrés Gelly— debió exilarse en Montevideo llevando consigo a su hijo, debido al apoyo que había prestado a la dictadura del general Juan Lavalle y su posición contraria a Juan Manuel de Rosas. Allí se sumó a la defensa contra el sitio que sufrió esa ciudad durante ocho años, llegando al grado de coronel, jefe de un regimiento de exiliados argentinos. Durante algún tiempo estuvo exiliado en el Brasil, donde administró una estancia. Durante su estadía en Montevideo entabló estrecha amistad con Bartolomé Mitre pero, a diferencia de este, sólo regresó a Buenos Aires en 1855.