På farssiden var Olav Engelbrektsson av gammel storbondeætt fra Romerike, og det hevdes ofte at slekten tilhørte lavadelen. Kronikøren Arild Huitfeldt hevdet at kong Christian I adlet Engelbrekt Gunnarsson og hans etterkommere en gang før 1480, men det har ikke blitt funnet bevis for dette. Familien hadde likevel et eget slektsvåpen, og dette ble også brukt av Olav. Fem av Olavs nære slektninger var presteutdannet, deriblant farbroren Sakse Gunnarsson og broren Gunnar Engelbrektsson. Gunnar ble senere kannik i Oslo, og noen av hans sønner fulgte også denne veien. Det var nok Sakse som sørget for den første kirkelige opplæringen for Olav. Det er videre kjent at fem av de seks, da medregnet Olav, studerte ved universiteter i utlandet. Olav kan ha vært en Aspa-ætling på morssiden. I så fall kan han ha vært morbror til Torbjørn Bratt, den første protestantiske biskopen i Nidaros.