Afzelius ble født den 27. januar 1947 i Huskvarna. Hans far var ingeniør og moren var hjemmeværende. Han hadde en yngre bror, Bengt (født 1952), som ble musikklærer. I 1954 flyttet familien til Hökarängen i Stockholm og i 1961 til Skåne, først til Landskrona og i 1963 til Malmö.