Bergman var ansatt som posttjenestemann i Stockholm, inntil han gikk av i 1933. Ved siden av arbeidet i postverket skrev han poesi. Hans første diktsamling, , utkom i 1903. Mange av Bergmans dikt har blitt tonesatt av kjente svenske komponister, blant andre Wilhelm Stenhammar, Ture Rangström og Karin Rehnqvist. Bergman var dessuten litteraturkritiker i i årene 1900–1904 og 1905–1939 i , hvor han også var teateranmelder.