Gulsvik kommer opprinnelig fra Gulsvik i Flå i Buskerud og flyttet til Skien for å begynne på toppidrettsgymnaset. Her ble han hentet til Odd Grenlands juniorlag i august 2005, og før sesongen 2007 ble han hentet opp til A-laget. Skåringen hans mot Fotballklubben Lyn 22. april dette året, hans første mål for Odd, ble kåret til årets mål i Eliteserien i 2007.