En début de saison 2004, Hoffa monte sur la deuxième marche du podium des Championnats du monde en salle de Budapest, se classant derrière son compatriote Christian Cantwell. Deuxième des sélections olympiques américaines, il obtient sa qualification pour les Jeux olympiques. A Athènes, il est éliminé au stade des qualifications avec la modeste performance de 19,40 m. Auteur de la sixième performance mondiale de l'année 2004 (21,67 m lors du meeting de Carson), il se classe quatrième de la finale mondiale de l'IAAF tenue à Monaco. L'année suivante, l'Américain remporte le meeting new-yorkais indoor des Millrose Games, ainsi que le meeting de Doha, compétition dans laquelle il réalise 21,29 m, quatrième performance de l'année aux bilans mondiaux. Il se classe par ailleurs troisième de la Finale mondiale de l'athlétisme.