Allerede som junior gjorde Cancellara seg bemerket, da han i 1998 og 1999 ble juniorverdensmester i temporitt. I de første proffårene 2001–2002 kjørte Cancellara for laget Mapei, men uten å oppnå større suksess. Dette lyktes ham først i 2003 med laget Fassa Bortolo. Her fikk han sin første etappeseire i Tour de Romandie og Sveits rundt. I 2004 oppnådde han sin hittil største triumf, da han vant prologen i sitt aller første Tour de France, og kunne kjøre første etappe med den gule ledertrøya. I 2005 markerte han seg blant annet med en sterke fjerdeplass i klassikeren Paris-Roubaix og byttet lag til CSC ettersom Fassa Bortolo ble oppløst. I 2006 vant han blant annet klassikeren Paris-Roubaix, og ble verdensmester i temporitt. Han forsvarte verdensmestertittelen året etter, og hadde et vellykket Tour de France der han vant prologen og tredje etappe, og kjørte med gul trøye frem til 7. etappe.