Anders Madsen hadde seks barn med Karen Olufsdatter, hvorav tre sønner og en datter vokste opp. Barna antok familienavnet Tonsberg (også de Tonsberg). Enkelte medlemmer av slekten fikk høye embetsstillinger som medførte såkalt «rangadel».