In 1481 moesten de pro-Hoekse heren van Montfoort Zuid-Polsbroek van de hand doen. Hun opvolgers waren de Heren van Bergen uit het Huis van Glymes (vanaf 1481/82). Maria van Bergen huwde met Lodewijk van Ligne en overgaf Zuid-Polsbroek aan haar zoon Jan van Ligne. Vanaf 1566 bezat het Huis Ligne en vanaf 1568 het Huis Arenberg-Ligne Zuid-Polsbroek. Na allerlei transacties kwam deze heerlijkheid in 1610 in bezit van de Amsterdamse regentengeslacht De Graeff. In 1870 werd Zuid-Polsbroek aan Dirk de Jongh verkocht.