Han ble medlem av Arbeiderpartiet i 1918. Etter partisplittelsen i 1923 var Skarholt formann i Orkdal avdeling av Norges Kommunistiske Parti fram til 1927. Han gikk over til AP, og ble fra 1928 sekretær i Orkdal arbeiderparti.