Ettersom jernbanen ble lagt utenom Brazoria, gikk det tilbake med byen i 1890-årene, og sete for Brazoria County ble i 1897 flyttet til Angleton. Folketallet sank frem til 1904 til 633 innbyggere, men i 1929 var det igjen steget, nå til 1&nbso;050.