Karl var sønn til Sverker den eldre og norske Ulvhild Håkonsdatter. I 1163 giftet han seg med Kristina Stigsdatter Hvide, datter til den skånske stormannen Stig Tokesson Hvitaled og Margareta av Danmark. De fikk ett barn (som vi kjenner til), Sverker Karlsson den yngre.