I 1327 solgte Adelheid av Gaveren byen til hertug Johann III av Brabant (død 1355). I 1350 ble lenet solgt på nytt til Jan III van Polanen (død 1377) som ble herre av Breda. I 1403 giftet den kvinnelige arvingen av hans slekt, Johanna av Polanen (død 1445), seg med Engelbrecht I av Nassau (død 1442) som da ble den nye herre av Breda. Hans kiste står i kirken Grote Kerk i Breda. Via Johanna ble byen arvet av huset Nassau, hvor det ble eid fram til 1795 etter at det ble videreført til Vilhelm I av Oranien (død 1584), stadtholder av regionene Holland, Zeeland og Utrecht og leder av det nederlandske opprøret mot Spania. Således var baronen av Breda også greve av Nassau, Tyskland, prins av Oranien, og stadtholder av den nederlandske republikk (fra 1572–1650, 1672–1702, 1747–1795). Breda forble en del av baroniet Breda fram til byen ble erobret av de franske revolusjonsstyrkene i 1795.