Fagermo spilte i sin aktive karriere for Mo/Bossmo og Stålkameratene, før han ble hentet til Aalesunds FK i 1. divisjon foran 2001-sesongen. Han var i 2002 med å rykke opp til Tippeligaen med AaFK. Fagermo la opp som fotballspiller i 2005.