Han var sønn av Elsbeth «Elsie» Emma (født Mueller) og William Andrew Stassen. Han vokste opp på en gård i Dakota County med fire søsken. Faren var bonde og flere ganger borgermester i West Saint Paul. Farfaren var tysk og farmoren tsjekkisk. Moren var tysker, født i Vestpreussen, og kom til Amerika som barn. Hun skal også ha vært av norsk avstamning. Etniske skandinaver og tyskere dominerte Minnesotas politiske liv. Harold Stassen var medlem av losje «Oslo» i Sons of Norway.