Gullberg ble født utenfor ekteskap og vokste opp hos fosterforeldre. Han studerte i Lund og ble blant annet poet i avisen Lundagård. Gullberg skrev en avhandling om Ola Hansson og redigerte hans etterlatte skrifter 1928–1930.