Skarholt var en god stafettløper. Han ble verdensmester i stafett i 1970. Han var også på det norske laget som tok stafettbronse i 1966 og 1968. I EM-sammenheng endte han opp med bronse i stafett fra europamesterskapet på Løten i 1962 og stafettsølv fra sveitsiske Le Brassus to år senere.