Rygg arbeidet som lærer i Ålesund, Høyanger og Kåfjord. I Kåfjord var han også skolesjef.