Asbjørn Sunde vokste opp i Kopervik på Karmøy, som sønn av skomaker og fisker Anton Sunde fra Nord-Fosen (1876–1943), og Emma Sørensen fra Balsfjord (1881–1920). Asbjørn var fjerdemann i en søskenflokk på syv, moren døde da han var 11 år gammel, og faren satt igjen med ansvaret for barna. Faren var leder av Arbeiderpartiets lokallag i Kopervik i flere år, satt i kommunestyret og tilhørte arbeiderbevegelsens venstrefløy i mellomkrigstiden, som syndikalist. Etter hvert gikk familien i oppløsning, og flere av Asbjørns yngre brødre havnet på barnehjem.