Sigurhjörtur átti sjö systkini, en tvö þeirra, Jósef Pálmar og Auður, létust í æsku.