Slekten var opprinnelig del av Norges adel, og dens stamfar, lendmann Åge varg, var gift med en datter av kong Harald IV.