Skjalm Hvide var nært knyttet til Erik I Ejegod, hvis sønn Knud Lavard fra 1102 i noen år ble oppfostret sammen med hans egne sønner Asser Rig og Ebbe Skjalmsen (Hvide). Han fikk dessuten barna Margrete, Cecilie Skjalmsdatter (Hvide) og Toke Skjalmsen (Hvide), alle med hustruen Signe.