Gjølstad var fra 1968 saksbehandler og fra 1973 kontorsjef ved Riksskattestyret. Fra 1979 til 1987 var han statsadvokat ved Riksadvokatembetet. Han var direktør i Skattedirektoratet en kort periode fra 1987-1988, før han i ble utnevnt til leder (ekspedisjonssjef) av Skattelovavdelingen.