Hagberg startet karrieren i den lokale klubben Bjuvs IF, og var innom Landskrona BoIS, før han i 1969 kom til Östers IF. Han ble en del av klubbens første storhetsperiode, da klubben kjempet i toppen av Allsvenskan, og spilte 242 kamper i Allsvenskan for Östers de neste ti årene.