En 1992, con 15 años, comenzó a competir en el circuito internacional. En 1993 compitió en los Juegos Mediterráneos de Languedoc-Rosellón. En 1994 se proclamó por primera vez campeón de España sénior, título que también consiguió en los años 1995, 1996 y 1998. La primera vez que destacó en una competición internacional fue en el Campeonato Europeo Júnior de Praga en el año 1994, donde consiguió la medalla de bronce. En 1995 compitió por primera vez como profesional en la Final de la Copa de Europa, celebrada en Roma, donde consiguió otra medalla de bronce en la final de paralelas, modalidad en la que Jesús se especializó. En el Mundial de San Juan (Puerto Rico) de 1996, Carballo demostró su progresión con una medalla de oro en la modalidad de barra fija, con un ejercicio en el que había varios elementos inventados por el propio Jesús. En los Juegos Olímpicos de Atlanta 1996 tuvo un resbalón en la final de la prueba de barra fija, prueba en la que era máximo favorito, lo que le privó de lograr una posible medalla en unos Juegos Olímpicos. Finalmente obtuvo el 7º puesto en la final de barra fija (logrando así el diploma olímpico) y el 13º en la general. En noviembre de 1996 sufrió una lesión en el brazo izquierdo al enganchársele la callera con la que se protegen los gimnastas. La lesión consistió en una doble fractura de cúbito y radio, por lo que tuvo que llevar escayola durante una temporada, consiguiendo recuperarse meses después con la ayuda de sus entrenadores, Marco Antonio Vázquez y Lev Galiandri.