Svarstad satt i kommunestyret i Kvam 1922–31, og hadde ellers verv som leder av Noregs Ungdomsskulelærarlag 1920–1927, Hardanger og Voss krets av Det Norske Totalavholdsselskap 1931 og Institutt for Kristen Oppseding 1945–1953. Svarstad var med på å etablere IKO i 1945.