Gjølberg har hatt sentrale verv i Norges forskningsråd og Universitets- og Høgskolerådet. Han har sittet i flere perioder i kommunestyret i Rygge, først for SV og senere for Arbeiderpartiet. I perioden 1987 til 1995 var han hovedredaktør for , som utgis av Universitetsforlaget.