Pedersen startet karrieren i Storsteinnes IL på 80-tallet. I 1990 gikk han til Brøndby IF, klubben ble da trent av Morten Olsen. I 1992 ble han kjøpt av Tromsø IL, hvor han etablerte seg som venstrekant/venstreback.