Han var en sentral mann i politikken i Stavanger, og en drivende kraft da avisen ble etablert i 1899. De første årene var Gjøstein bladstyrer og avisens faktiske redaktør. Han var blant stifterne av Stavanger sosialdemokratiske forening i 1892 og var med å stifte flere fagforeninger i byen. I mange år var han formann i Stavanger arbeiderparti og medlem av partiets landsstyre. Under stridighetene i Arbeiderpartiet var han en markert talsmann for høyrefløyen, og han fulgte Norges Socialdemokratiske Arbeiderparti etter partisplittelsen i 1921.