Después de la rehabilitación, participó en varias pruebas en los años 2003 y 2004. En el Mundial de Anaheim de 2003 participó en tres de los seis aparatos, logrando el 10º puesto por equipos y clasificándose así el equipo para Atenas 2004. En el Europeo de Liubliana en 2004, participando solo en barra fija y paralelas fue 7º por equipos, metiéndose en la final de barra fija, en la que acabó 4º. En los Juegos Olímpicos de Atenas 2004, Carballo volvió a caerse en el ejercicio de barra fija al igual que en Atlanta' 96, esta vez en la clasificación, por lo que no pudo clasificarse para la final. Acabó en la 10ª posición por equipos. En Atenas, el equipo español lo integraban Jesús, Alejandro Barrenechea, Víctor Cano, Oriol Combarros, Gervasio Deferr y Rafael Martínez.