In deze tijd werd ook de Martinuskerk gebouwd. In 1386 begon men met de bouw van de stadsmuur. Het was in dit jaar dat de Graaf van Holland het Land van Altena naar zich toetrok. Onderhandelingen tussen Jan IV van Brabant en Jan VI van Beieren leidden tot de Zoen van Woudrichem (1419). Hierna begon de economie te tanen, toen in 1420 de tol naar Gorinchem werd overgebracht en in 1421 de Sint-Elisabethvloed huishield. De situatie verslechterde verder, mede door militaire activiteiten.