I 1860-årene skrev han dikt og prosa i målbladet Svein Urædd og i redigert av Aasmund O. Vinje. Han ga fra høsten 1874 ut målbladet Måltrosten, men skrev senere for det meste i bygdeblad. Sammen med andre ungdommer startet Kinsarvik landets tredje folkehøgskole i Ullensvang i 1869. Han var dyktig felespiller og dommer under kappleik, og forsynte Edvard Grieg med stoff da Grieg drev innsamling av folkemusikk.