Elling giftet seg med Åse Sveinsdotter Brattåker fra Hol. De hadde tre døtre sammen, Ragnhild Ellingsdotter Villand, som ble gift med Blank-Ola, og Margit og Siri.