Fagermo ble født i Bærum, og bodde også en periode i Stavanger hvor faren jobbet og spilte håndball på toppnivå. Han vokste etter hvert opp på Raufoss, det var også her han startet både spillerkarrieren og trenerkarrieren. Fagermo ble tatt opp i A-stallen til Raufoss som 17-åring, men vonde akilleser satte til slutt en stopper for spillerkarrieren.