Erstmals erwähnt wurde das rechteckige Wasserschloss Kasteel Swieten 1312. Im Jahre 1321 wurde "Swieten" erstmals als Lehensgut der "Heeren van S(Z)wieten" vermeldet, welche erstmals mit "heer Dirk van Zwieten", der im Jahre 1345 gemeinsam mit Graf Wilhelm IV. von Holland bei der Schlacht von Staveren in Friesland verstarb. Im Jahre 1359 gab der neue Graf Albrecht I. von Bayern-Holland den Auftrag, wegen unterlassener Lehenspflichten das Schloss schleifen zu lassen; dieses kam aber dann doch nicht zustande. Im Zuge des Haken-und-Kabeljau-Krieges kam es zu schweren Kämpfen um die Stadt Leiden, wobei auch das Kasteel Swieten in Mitleidenschaft gezogen und schlussendlich geplündert wurde.