Gjelsvik var en aktiv skribent i dagspressen. I den norsk-svenske unionens siste år skrev han en rekke bidrag til utredning av de rettslige sidene ved unionsstriden. Han var også en av de ledende i målbevegelsen. Særlig arbeidet han for å gjøre landsmålet egnet som lovspråk, og han brukte dette språket i forelesningene sine ved universitetet og i avhandlingene sine. Fra 1903 til 1919 var han formann i Det norske Samlaget, og var 1906–1915 dessuten formann i Noregs Ungdomslag. Fra 1912 til 1915 var han formann i utvalget som utga , og leverte selv en del bidrag til disse.