Asser var gift med Inger Eriksdatter (født før 1100, død 1157), datter av Cecilie Knudsdatter og datterdatter av Knut den hellige. Paret bodde på gården Fjenneslev (eller Fjenneslevlille) ved Ringsted og bygde Fjenneslev kirke hvor han også er begravd. Paret fikk tre barn, eldstesønnen Esbern Snare, den senere biskop Absalon og datteren Ingefred. De vokste opp i lag med fosterbroren og tronarvingen Valdemar.