Harry Persson vokste opp i en musikalsk familie på Långedragsvägen i Göteborg. Hans far, Bror Persson, var byens første jazzpianist, og brødrene Rune og Gösta var også de musikere. Moren Ester spilte piano og sang. Andre vanlige instrumenter i hjemmet var saksofon og klarinett.