Im 10. und 11. Jahrhundert nahmen die Herren van Arkel den Landstrich um Polsbroek in ihren Besitz. Im Laufe des 12. und 13. Jahrhunderts gelangten die "Herren van der Leede" aus dem Zweiten Haus der Herren van Arkel in den Besitz der Herrlichkeit Polsbroek. Im Jahre 1299 belehnte der holländische Graf Johan I. seinen Regenten Wolfhart I. von Borsselen mit der Herrlichkeit von Polsbroek. Im Jahre 1391 belief sich der Zehnt der Herrlichkeit auf 1000 Gulden pro anno. Über die Herren van Woerden van Vliet gelangte Polsbroek im Jahre 1423 des Weiteren an die Burggrafen von Montfoort aus dem Geschlecht "De Rover". Zuerst hatte Jan van Woerden van Vliet Polsbroek mit der hohen und niederen Gerichtsbarkeit sowie die Fähre von IJselver an Johan II. van Montfoort verpfändet, sein Pfand aber nicht eingelöst, so dass das Pfandgut an Montfoort fiel. Die holländische Regierung erkannte den Verkauf an, aber das Lehen stand formal noch 1439 unter dem Namen von Jans Sohn Gerrit ten Vliet. Belehnungen der Burggrafen von Montfoort mit Polsbroek fanden nicht mehr statt, so dass der Besitz offenbar wieder zum Allod wurde. Der über Jahrzehnte andauernde Versuch der Burggrafen von Montfoort, das Gebiet der Herrschaft (Zuid-)Polsbroek und diverser umliegender Gründe zu einem souveränen Landesteil zu erheben, scheiterte schlussendlich am Widerstand des Herzogs Phillipps des Guten. Trotzdem erreichte die mit vielen Privilegien ausgestattete Herrschaft einen "halbsouveränen Status", der ihr eine gewisse Unabhängigkeit gegenüber den Staaten von Holland und Utrecht gab. Im Jahre 1481 verloren die "pro-Hoekse" Burggrafen von Montfoort Zuid-Polsbroek (und viele andere "niedrige" und "mittlere" Herrlichkeiten) an die "Herren von Bergen" aus dem Haus Glymes.