Til tross for disse tilbakeslagene utviklet økonomien i Castres seg stort på 1800-tallet, og byen vokste ut over sitt gamle middelaldersentrum. Så tidlig som i 1815 ble den første mekaniserte ullfabrikken etablert i byen. Castres tekstilindustri, som opprinnelig hadde spesialisert seg på luksustøy, vendte seg mot mer ordinære typer tøy, hvis markeder var langt større. Rundt 1860 var det 50 ullfabrikker i byen, med ansatte. På slutten av 1800-tallet dukket mekanisk industri opp ved siden av tekstilindustrien, som førte til at Castres ble et betydelig arsenal for den franske arme under første verdenskrig. Castres ble knyttet til det franske jernbanenettverket i 1865. Ved slutten på 1800-tallet var Castres den største byen i departementet Tarn, med flere innbyggere enn Albi.