Fin 2003, Jens Voigt signe pour la saison 2004 dans l'équipe danoise Team CSC, dirigée par Bjarne Riis et qui recrute également cette année-là les Italiens Michele Bartoli et Ivan Basso, en provenance de l'équipe Fassa Bortolo. Voigt réalise l'une des meilleures saisons de sa carrière. En mars, il est quatrième de Paris-Nice puis remporte le Critérium international en s'adjugeant deux des trois étapes, dont le contre-la-montre. Le mois suivant, il est vainqueur d'étape au Tour du Pays basque, dont il gagne également les classements de la montagne et des "metas volantes". En mai, il remporte le Tour de Bavière et se classe deuxième du Tour d'Allemagne, derrière Patrik Sinkewitz. Après un nouveau podium au championnat d'Allemagne du contre-la-montre, derrière Michael Rich et Sebastian Lang, il participe au Tour de France. L'équipe CSC y place deux coureurs parmi les dix premiers du classement général : Ivan Basso, troisième, et Carlos Sastre, huitième. Voigt est , son meilleur classement jusqu'alors. Après la « Grande boucle », il signe un contrat pour deux saisons supplémentaires avec CSC. Il gagne avec Bobby Julich du Luk Challenge, un contre-la-montre disputé en duo, puis termine deuxième du Tour du Danemark, remporté par son coéquipier Kurt Asle Arvesen, et dont il gagne une étape contre-la-montre. En août, il fait partie de l'équipe d'Allemagne lors de la course en ligne des Jeux olympiques, avec Jan Ullrich, Erik Zabel, Andreas Klöden et Michael Rich. Il termine à la tandis que Zabel remporte le sprint du peloton pour prendre la quatrième place. À la fin de l'année, Jens Voigt occupe la du classement UCI. Il y est le deuxième coureur de la CSC, derrière Basso, et le deuxième Allemand, derrière Erik Zabel.