Tras la caída de Lavalle frente a la reacción federal liderada por Juan Manuel de Rosas, Gelly se exilió en Montevideo, ejerciendo como secretario del gobernador general interino José Rondeau y del presidente Fructuoso Rivera.