Rynning var samfunnsengasjert på mange områder. I Hornindal startet og drev han middelskole og var med og startet Firda gymnas. Han startet også kor alle steder han bodde, ofte var han også dirigent for korene. Han var også mye brukt som predikant utenfor sitt eget prestegjeld. Han skrev også artikler i pressen, etter hvert særlig om hymnologi.