Gunnar Larsson vokste opp i Majorna og senere på Hisingen. Hans far Torild Larsson spilte i IFK Göteborg 1929–1933. Gunnar Larsson spilte selv som gutt i IFK Göteborg men gikk i junioralderen over til Lundby IF. Hans karriere som sportsfunksjonær begynte som kasserer i Lundby IF der han ble ordførende i 1968. Han begynte til samme tid å engasjere seg i kommunalpolitikken i Göteborg for Socialdemokraterna der han ble kommunalråd og ordførende i [Göteborgs kommunfullmäktige.