Tidlig i sin karriere deltok han på et hærtokt til Vendland og hvor han tok til fange en kvinne ved navn Edla, visstnok en datter av vendisk høvding, og som han gikk til sengs med og fikk sønnen Emund og datteren Astrid. Han giftet seg senere med Estrid av obotritterne, en kristen kvinne som også var av vendisk eller slavisk bakgrunn, og som fødte ham sønnen Anund Jakob og datteren Ingegjerd. Hos Snorre Sturlason får Estrid dårlig omtale som en vanskelig kvinne som behandlet stebarna så dårlig at de ble sendt vekk til fostring.