Han startet sin karriere i Nes Ishockeyklubb. 16 år gammel dro han til Lillehammer for å fortsette hockeykarrieren på hockeylinjen på Norges Toppidrettsgymnas. På Lillehammer ble hans talent for alvor oppdaget, og gjennom meget godt spill på juniorlagene fikk han allerede i sin første sesong i Lillehammer sjansen på klubbens A-lag. Han ble raskt kjent for sitt fysiske spill, og sesongen 2001/02 ble Tollefsens definitive gjennombrudd i norsk hockey. Han spilte fast på Lillehammer Ishockeyklubbs A-lag hele sesongen og vant NM-bronse med Lillehammers seniorlag, NM-sølv med NTG/Lillehammers eldre juniorlag og NM-gull med NTG/Lillehammers yngre juniorlag. Tollefsen ble i juni 2002 noe overraskende draftet i tredje runde, nummer 65 totalt, av NHL-klubben Columbus Blue Jackets.