Gullberg er forlagssjef ved Colombine Teaterförlag, et forlag hun startet i 1993. I sitt virke som teaterforlegger har Gullberg blant bidratt til å gjøre Jon Fosses dramatikk internasjonalt kjent. Hun har også formidlet dramatikk av Arne Lygre, Fredrik Brattberg og Petter Rosenlund til utlandet.