Hans Alfredson var sønn av annonsesjef Folke Alfredson og Aina, f. Eriksson. Da han var syv år gammel flyttet familien til Helsingborg. Alfredson gikk på S:t Jörgens skola i nordre Helsingborg og bodde på Tågaborg.