Biggo van Duyvelant liet een kasteel bouwen dat tijdens de Sint-Elisabethsvloed van 1421 werd verwoest; dit is vervangen door het huidige Kasteel van Rhoon. Rhoon was officieel een ridderhofstad en kwam zodoende vaak in andere handen terecht. Toen in 1683 Pieter van Duyvelant van Rooden de ridderhofstad verkocht, betekende dit het einde van de lijn Van Duyveland. De koper was Hans Willem Bentinck tot Diepenheim, heer van Drimmelen en graaf van Portland. Het geslacht Bentinck hield de rechten als heer van Rhoon en Pendrecht tot 1830, toen Anthony van Hoboken, van het Rotterdamse redersgeslacht Van Hoboken, Rhoon met zijn rechten overkocht. Zijn kleinzoon Edward van Hoboken (1849-1913), was de laatste die de titel heer van Rhoon en Pendrecht droeg. Nakomelingen hebben de rechten van de heerlijkheid verzameld in de N.V. Maatschappij tot exploitatie van onroerende goederen "Rhoon, Pendrecht en Kortgene”, waartoe tot 1971 ook het Kasteel van Rhoon behoorde.