Carballo logró ser uno de los gimnastas españoles más importantes de finales de la década de 1960. Estuvo en varios clubes, como San Estanislao de Kostka, Real Madrid, Parque Móvil, etc... y tuvo varios entrenadores, como José Ángel Leal, Ramón García o José Novillo. Fue campeón de España individual en 1965, 1966, 1967 y 1968 en la especialidad de barra fija, y campeón de la Copa del Generalísimo por equipos con la sección de Gimnasia del Real Madrid Club de Fútbol. Internacionalmente, compitió como componente de la selección española de gimnasia artística masculina en el Campeonato Mundial de Gimnasia Artística de 1966 en Dortmund (siendo 16º por equipos y 115º en la general), en los Juegos Mediterráneos de 1967 en Túnez (logrando el bronce por equipos), y en los Juegos Olímpicos de México en 1968, donde sufrió una importante lesión. Tras estar apartado temporalmente de los gimnasios, regresó para el Campeonato Mundial de Gimnasia Artística de 1970 en Liubliana (siendo 16º por equipos y 107º en la general), donde una nueva lesión acabó con su carrera como gimnasta cuando contaba con 25 años de edad.