Sæmund var gift med Ingebjørg, datter av presten Andres Brunsson og hans kone Solveig fra Konghelle i norske Båhuslen. Deres sønner var Pål Flip, Gunnar Fis og Loft. Den som førte hans betydning videre var Loft. Sæmund hadde også en «uekte» sønn som var kalt Åsmund. Sæmund skal også ha vært gift med en Gudrun, som skal ha bidratt til mange av mytene om han etter hans død, f.eks. at han har behersket «svartekunst».