Stamfaren, Mads Torstensen Haugrim (f. 1594), var far til Odd Madsen (1637–ca. 1700), som var leilending på Mellom-Haneborg. En sønn Ole Oddsen (1675–1729) eide Haugrim. En annen sønn Mads Oddsen (ca. 1674–1749) brukte Haneborg, som også ble brukt av hans etterkommere. Sønnen Erik Madsen Haneborg (1700–75) var far til Halvor Eriksen Haneborg (1743–1800), lensmann i Aurskog. Dennes sønn Anders Halvorsen Haneborg (1767–1847) kjøpte gården 1804. Hans bror lensmann Ole Halvorsen (1775–1848) på Haugrim kalte seg Hanneborg. Fra disse brødrene stammer slektens to grener.