Skjalgsætten ble også selv etterhvert en mektig ætt. I Snorres kongesaga om Olav Tryggvason ser det ut som om flere medlemmer av ætten har båret tittelen herse. Ætten nådde sitt høydepunkt under Erling Skjalgsson som ble gift med Astrid, søster av Olav Tryggvason. I forbindelse med bryllupet skal kongen ha tilbudt Erling jarlsnavn, men Erling svarte da at «Herser har frendene mine vært, og jeg vil ikke ha høyere navn enn dem. Men jeg vil gjerne få ta det imot av Dem, konge, at De lar meg bli den største i landet med det navnet».