Het oude slot Zuidewijn (of: "Zijdewinde") lag aan het Oude Maasje nabij Besoijen (en mogelijk in de Waarden/Eilanden bij Drongelen). Als eerste wordt "Johannes van Strijen" genoemd, die omstreeks 1290 heeft geleefd. Een document uit 1363 verklaart dat "Jan van Beloys", heer van Schoonhoven en stadhouder van Albrecht van Beieren, "het ambocht van den Hoeke van der Zijdwinne binnen ende buitendycs mit winde, mit vere, mit tiende, mit viskeriën, mit voghelien en met allen..." zou vermaken aan "Haedwien Janswijf van Bueren" en aan de kinderen die zij reeds had of zou krijgen van Jan van Buren, indien de huidige leenman, Willem Wildenesse, geen erfgenamen zou hebben. Jan van Buren was de oom van Willem en bij diens dood, in 1403, kreeg Jan van Buren het leen inderdaad. In 1420 kwam het goed aan Willem van Besoyen, daarna aan Floris van Wijtvliet die een nazaat was van Jan van Wijnvliet. Ten gevolge van de Sint-Elisabethsvloed van 1421 moesten de bewoners hun slot Zuidewijn (of: "Zijdwinde") prijsgeven. Ze gingen toen in "De Stenen Camer" wonen, en de naam "Zuidewijn" ging hierop over. Deze Stenen Camer was een reeds bestaande 15e-eeuwse edelmanswoning, op de locatie van het huidige kasteeltje.