In 1418 kwam de heerlijkheid aan Arents zoon, die ook Arent heette. In 1421 echter ging het kasteel grotendeels ten onder tijdens de Sint Elisabethsvloed. Slechts enkele kelders en delen van de torens bleven overeind staan. Vanaf 1422 tot 1467 werd het Land van Altena weer ingedijkt. Een halve eeuw later werd begonnen met het herstel. Arent echter was mogelijk in 1420 al verbannen en kreeg een vrijgeleide van Jacoba van Beieren, tijdens een korte wapenstilstand met haar oom, Jan VI van Beieren. Het goed kwam in handen van Arents zoon, eveneens Arent van der Dussen geheten. Deze stierf in 1445 en het goed kwam aan Arents oom, Jan IV van der Dussen. Deze droeg zijn rechten over aan zijn jongste broer, Floris I van der Dussen (ca. 1404-1456) "heer van Aartswaarde", die ook schout van Dordrecht was en in 1440 slotvoogd van Loevestein. In 1456 kwam Floris' zoon Jan V van der Dussen aan het bewind. Hij was het die het kasteel weer heeft opgebouwd tussen 1473 en 1474. Na zijn dood in 1496 kwam het goed aan Jans zoon Floris II van der Dussen. Daarna kwam het in 1509 aan Floris' zoon Jan VI van der Dussen, die in 1540 kinderloos overleed.