Larsen flyttet ofte i sin barndom. I 1956 begynte han i 1. klasse på Hurup Kommuneskole. Han fikk som den eneste av de fire søsknene lov til å gå på realskole og egentlig ville han bli lærer. Hans storebror Hans fikk ham overtalt til å gå inn i handelsbransjen og skaffet ham en læreplass. Den 1. august 1966 begynte Larsen i lære i Magasin H & L i Thisted, som solgte dyner, sengetøy, gardiner, madrasser, kjolestoffer m.v.