Det er ulike oppfatninger av Eilf Jonsons familie, og det er ikke ført bevis for oppfatningene. Andreas Faye skrev at biskop Eilif Jonson var sønn til Jon Amundson på Evje og Margrete Torgautsdatter. Oluf Kolsrud skrev at Eilif Jonson var søstersønn til Alf Torgardson, som var biskop i Stavanger. Tore Vigerust skrev at biskop Eilif Jonson var sønn til Jon Eilifson på Evje (nevnt 1436-1471) og Margrete Torgautsdatter av ”Fåle”-slekten (nevnt i 1478). Farfaren var Eiliv Torgautson på Evje (nevnt 1388-1422) og Gunhild Sigurdsdatter (Bolt). Oldefaren var Torgaut Jonson (nevnt 1350-1373) og tippoldefaren Jon Smør (nevnt 1320-1350).