Holmén begynte sin fotballkarriere hos den lokale klubben Annelunds IF i 1993. I 1998 dro han videre til IF Elfsborg, hvor han etter å ha tilbragt noen år i ungdomssystemet ble tatt opp i førstelagstroppen. Han fikk sin debut for Elfsborg da han kom inn som innbytter i semifinalen mot under Svenska Cupen i september 2002. I den påfølgende sesongen ble han en fast del av laget som sentral midtbanespiller og markerte seg som en typisk boks-til-boks-spiller med ballvinnende og tilretteleggende egenskaper.