Skarsfjord spilte for Fotballklubben Mjølner 1959–73 og 1977, og hadde en sesong i Kvik/Trondheim. Med Trygve Bornø ble han i 1960 den første fra Nord-Norge som trente med det norske juniorlandslaget. Skarsfjord var med på flere seiere i Nord-Norgesmesterskap i fotball, samt en sesong i 1. divisjon fotball for herrer 1972, der han ble bokført med 22 kamper og to scoringer. Videre spilte han for Landsdelslaget for Nord-Norge (13 kamper).