Skavoll vokste opp på Tjøtta i Nordland og Evje i Aust-Agder. Han er utdannet teolog ved Det teologiske menighetsfakultetet (MF) og har vært sokneprest på Vega (Helgeland) mellom 1979 og 1983, sjømannsprest i Antwerpen fra 1983 til 1985 og sokneprest i Våler i Solør i perioden 1986–98. Høsten 1998 begynte han som personalsjef ved , senere personaldirektør ved Sørlandet sykehus HF til høsten 2003. Skavoll var også personal- og organisasjonsdirektør i Avinor mellom 2003 og 2004 og administrerende direktør i Helse Stavanger HF / Stavanger universitetssjukehus fra 2004 til 09. Han var avdelingsleder ved Medisinsk avdeling i Arendal og Kristiansand fra 2009–13. Han var seniorrådgiver og prosjektleder i Sørlandet sykehus HF fra 2013 til 2016. Han ble pensjonist 1. oktober 2016.