In de 14e eeuw werd de donjon uitgebreid met een zaalhuis. Het geslacht van Zuylen verdeelde zich in diverse takken: het geslacht Van Zuylen bleef tot aan de 14e eeuw heerser van het kasteel. In 1422 erfde Frank van Borssele het kasteel doordat hij aangetrouwd was. Het kasteel werd in datzelfde jaar met de grond gelijk gemaakt tijdens de Hoekse en Kabeljauwse twisten door de Utrechtse Hoeken.