Aan de bloeiperiode kwam reeds een einde met de verovering in 1420 door het Kabeljauwse Dordrecht en de Sint-Elisabethsvloed van 1421. De stad werd zwaar beschadigd, verloor zijn handelsfunctie en raakte veel van zijn voorrechten kwijt. Daartegenover ontwikkelde zich nu de riviervisserij en werd Geertruidenberg een belangrijke marktplaats voor zalm, steur en elft.