Era un adolescente aún cuando su padre —el paraguayo Juan Andrés Gelly— debió exilarse en Montevideo llevando consigo a su hijo, debido al apoyo que había prestado a la dictadura del general Juan Lavalle y su posición contraria a Juan Manuel de Rosas.