Den første mann av slekten som kan påvises er Erik Nielsen (død 1345), lensmann på Aalborghus og marsk. En gren av hans etterkommere i mannslinjen tok senere navnet Høeg, men fortsatte å føre Banner-våpenet. Niels Eriksen Banner til Vinstrup og Asdal (riksråd 1438, lensmann på Aalborg 1447) ble stamfar for den grenen av slekten som fortsatt førte navnet Banner. Hans sønn med Johanne Andersdatter, Anders Nielsen Banner til Vinstrup, Asdal, Kokkedal m.m. (død ca. 1486) var riksråd. Hans sønnesønn var riksråd og riksmarsk Erik Eriksen Banner. Slekten eide hovedgården Høgholt på 1400 og 1500-tallet.