I januar 2003 signerte han en kontrakt med Kongsvinger, hvor han i sin første sesong fikk fem innhopp i Tippeligaen. Hans definitive gjennombrudd som fotballspiller kom i 2006-sesongen, hvor han dannet en målfarlig trio på topp hos Kongsvinger sammen med svenskene Peter Lindau og John Pelu. Det var også i Kongsvinger han fikk sine første kamper for Norge U-21, med debuten mot Danmark i begynnelsen av oktober 2006. Da 2006-sesongen ble avsluttet, var Gundersen klubbens toppscorer med 14 mål på 25+5 kamper, noe som gjorde at interessen for spilleren økte ytterligere.